课程涵盖了大数据领域常见的组件，如 Hadoop、Mapreduce、HBase、Mahout、Pig、Hive、Sqoop 等。我们将从理论出发，搭建环境并学习相应实践案例。

本课程将通过 13 个实验和 8 个挑战带领大家入门学习 Hadoop 相关的核心组件，主要包括 Hadoop、MapReduce、YARN、HBASE、Sqoop、Solr、Hive、Flume、Kafka、Pig 等等。并且针对各大组件设计了相应的实操练习，如 HDFS文件处理、数据导入、数据迁移、使用 Flume 和 Kafka 实现实时 web 日志收集和分析处理等等。

完全在线实验的 Spark 培训课程，从 Spark 的安装开始，带你逐步完成 Spark 技术入门。再通过一系列实践项目的动手操作，让你全面入门 Spark 相关技术。课程涵盖 Scala，Streaming，SparkSQL，MLlib，GraphX 等 Spark 相关技术，教程中提供尽可能丰富的步骤说明和截图，详细的理论知识会附上相关文章链接。

本课程将学习 Spark SQL 的基础概念，了解如何利用 SQL Context 及相关的 API 进行统计分析。同时，课程还将通过分析股票价格与石油价格关系，进一步学习如何利用 Spark SQL 完成数据分析。

Spark Streaming 是 Spark 引擎的一种扩展，适用于实时处理流式数据。本课程将带你学习 Spark Streaming 的工作机制，了解 Streaming 应用的基本结构，以及如何在 Streaming 应用中附加 SQL 查询。本课程难度为一般，属于初级级别课程，适合具有 Spark 基础的用户，熟悉 Spark Streaming 的工作机制。

本课程将可以学习到 Spark 的机器学习库 MLlib 的相关知识，掌握 MLlib 中的基本数据类型。同时，本课程还将通过一个电影推荐的实例，讲解如何利用机器学习算法解决实际问题。

本课程将针对飞行准点率数据集，通过一些简单的分析任务来学习 DataFrame 的由来、构建方式以及一些常用操作。在本课程中，你可以了解到 Spark 生态体系中，核心的 RDD 与 DataFrame 之间的区别和联系。同时，你还可以学习到在 Spark 中加载数据集的方式、如何配置和使用第三方库等等。

本课程将通过更加深入的讲解，使用真实的 SFPD 数据集，结合实际问题的分析过程，带你学习 DataFrame 的创建方式、常用操作、UDF 自定义函数 和重分区相关知识。

K-means 算法是集简单和经典于一身的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。本节课主要讲解 K-means 算法，并给出个聚类足球比赛案例。

出租车是我们生活中经常乘坐的一种交通工具，但打车难的问题也限制了我们更好地利用这种交通方式。在哪些地方出租车更容易打到？在什么时候更容易打到出租车？本课程将基于某市的出租车行驶轨迹数据，带你学习如何应用Spark SQL和机器学习相关技巧，并且通过数据可视化手段展现分析结果。

本节课将介绍如何用 Spark 分析日志。日志在计算机系统中是一个非常广泛的概念，操作系统内核、各种应用服务都有可能输出日志。日志包含很多有用的信息，例如访问者的 IP、时间、目标网页、来源地址等，分析日志能帮助企业营销做出决策。

本课程将通过一个航班数据分析实例来学习 Spark 综合技巧和数据可视化技术。在航班数据分析实验中，可以学习到如何使用 OpenRefine 进行简单的数据清洗，以及如何通过 Spark 提供的 DataFrame、 SQL 和机器学习框架等工具，对航班起降的记录数据进行分析，尝试找出造成航班延误的原因，以及对航班延误情况进行预测。在数据可视化实验中，可以学习到 D3.js 中的数据读取、插值、元素选取、属性设置等 API 的用法。

存款营销是银行吸收存款的主要经营模式，通过现有数据建立模型来判断客户是否订阅存款业务，从而帮助商业银行更好的分配人力资源，提高业务量，以满足现阶段营销活动对提高营销成功率的期望。 本实验会使用spark机器学习中的逻辑回归算法，分析银行营销数据，按照机器学习开发步骤，建立逻辑回归模型，预测客户是否会存款，并评估预测模型的精确度。

MLlib 是运行在 Spark 上一个机器学习算法库，借助 Spark 的内存计算，可以使机器学习的模型计算时间大大缩短。本节课基于协同过滤算法实现简易电影推荐。

本课程将使用 Scoket 来模拟用户浏览商品产生实时数据，并使用 Spark Streaming 构建实时数据处理系统。

本节课主要介绍 Spark 的算子，通过演示黑名单实时过滤案例来加深您对 Spark RDD 的理解， 适合刚有 Spark 基础 的人学习。

Spark 实时电商数据分析可视化系统是一个经典的大数据应用项目，技术栈主要有 Flume、Kafka、Spark Streaming、Flask 等，帮助大家了解和运用一些当前热门的大数据处理组件来亲自动手搭建一套大数据处理平台框架和熟悉大数据项目的基础开发流程。