Spark从入门到精通（Scala编程，案例实战，高级特性，Spark内核源码剖析，Hadoop高端）
用到技术：Scala，Spark，Spark SQL，Spark Streaming
涉及项目：每日uv和销售额统计，各品类top3热卖商品统计，每日top3热点搜索词统计，广告计费实时过滤，热点搜索词滑动统计，各品类TOP3商品热卖滑动实时统计

一，Scala的编程详解：
第1讲-Spark前世的今生
第2讲-课程介绍，与特色价值
第3讲-Scala编程详解：基础语法
第4讲-Scala编程详解：控制条件与循环
第5讲-Scala编程详解：入门函数
第6讲-Scala编程详解：函数入门之默认参数和带名参
第7讲-Scala编程详解：入门函数之变长参数
第8讲-Scala编程详解：函数入门之过程，懒惰状语从句：值异常
第9讲-Scala编程详解：数组操作之阵列，ArrayBuffer遍历以及数组
第10讲-Scala编程详解：操作数组之数组转换
第11讲-Scala编程详解：地图与元组
第12讲-Scala编程详解：面向对象编程之类
第13讲-Scala编程详解：面向对象编程之对象
第14讲-Scala编程详解：面向对象编程之继承
第15讲-Scala编程详解：面向对象编程之性状
第16讲-Scala编程详解：式函数编程
第17讲-Scala编程详解：式函数编程之集合操作
第18讲-Scala编程详解：匹配模式
第19讲-Scala编程详解：参数类型
第20讲-Scala编程详解：隐式转换与隐式参数
第21讲-Scala编程详解：演员入门

二，课程环境搭建：
第22讲 - 课程环境搭建：CentOS 6.5集群搭建
第23讲 - 课程环境搭建：Hadoop 2.4 .1集群搭建
第24讲 - 课程环境搭建：Hive 0.13搭建
第25讲 - 课程环境搭建：ZooKeeper 3.4.5集群搭建
第26讲 - 课程环境搭建：kafka_2.9.2-0.8.1集群搭建
第27讲 -课程环境搭建：Spark 1.3.0集群搭建

三，Spark核心编程：
第28讲--Spark核心编程：Spark基本工作原理与RDD
第29讲--Spark核心编程：使用Java，Scala和spark-shell开发w ordcount程序
第30讲-Spark核心编程：单词计数原理程序剖析深度
第31讲-Spark核心编程：火花架构原理
第32讲-Spark核心编程：创建RDD实战（集合，本地文件，HDFS文件）
第33讲-Spark核心编程：操作RDD实战（变换和动作案例实战）
第34讲-Spark核心编程：变换操作开发案例实战
第35讲-Spark核心编程：action操作开发案例实战
第36讲-Spark核心编程：RDD持久化详解
第37讲-Spark核心编程：共享变量（Broadcast Variable and Accumulator）
第38讲--Spark核心编程：高级编程之基于排序机制的单词计数程序
第39讲-Spark核心编程：高级编程之二次排序实战
第40讲-Spark核心编程：高级编程之TOPN与分组取TOPN实战

四，火花内核源码深度剖析：
第41讲-Spark内核源码深度剖析：火花架构内核深度剖析
第42讲-Spark内核源码深度剖析：依赖宽与窄依赖深度剖析
第43讲-Spark内核源码深度剖析：基于纱线的两种提交模式深度剖析
第44讲-Spark内核源码深度剖析：SparkContext原理初始化剖析与源码分析
第45讲-Spa RK内核源码深度剖析：主备主e月刊机制原理剖析与源码分析
第46讲-Spark内核源码深度剖析：大师机制注册原理剖析与源码分析
第47讲-Spark内核源码深度剖析：主状态改变处理机制原理剖析与源码分析
第48讲-Spark内核源码深度剖析：主调度资源算法剖析原理与源码分析
第49讲-Spark内核源码深度剖析：工作者剖析原理与源码分析
第50讲-Spark内核源码深度剖析：作业触发流程原理剖析源码与分析
第51讲-Spark内核源码深度剖析：DAGScheduler原理剖析与源码分析（阶段划分算法与任务最佳位置算法）
第52讲-Spark内核源码深度剖析：的TaskScheduler原理剖析与源码分析（任务分配算法）
第53讲-Spark内核源码深度剖析：执行人原理剖析与源码分析
第54讲-Spark内核源码深度剖析：任务原理剖析与源码分析
第55讲-Spark内核源码深度剖析：随机原理剖析与源码分析（普通洗牌与优化后的随机播放）
第56讲-Spark内核源码深度剖析：图块管理员原理剖析与源码分析（火花底层存储机制）
第57讲-Spark内核源码深度剖析：CacheManager的原理剖析与源码分析
第58讲-星火内核源码深度剖析：检查点原理剖析与 分析码

五，火花性能优化：
第59讲-Spark性能优化：性能优化概览
第60讲-Spark性能优化：内存诊断的消耗
第61讲-Spark性能优化：序列高性能化类库
第62讲-Spark性能优化：数据优化结构
第63讲-Spark性能优化：对多次使用的RDD进行持久化或检查点
第64讲-Spark性能优化：序列使用化的持久化级别
第65讲-Spark性能优化：爪哇机虚拟垃圾回收调优
第66讲-Spark性能优化：parallel-提高度
第67讲-Spark性能优化：广播共享数据
第68讲-Spark性能优化：数据
本地化第69讲-Spark性能优化：reduceByKey和groupByKey
第70讲--Spark性能优化：shuffle性能优化

六，Spark SQL：
第71讲 - 课程环境搭建：Spark 1.5 .1新版本特性，源码编译，集群搭建
第72讲-Spark SQL：前世今生
第73讲-Spark SQL：DataFrame的使用
第74讲-Spark SQL：使用反射方式将RDD转换为DataFrame
第75讲--Spark SQL：使用编程方式将RDD转换为数据帧
第76讲-Spark SQL：数据源之通用的负载和节省操作
第77讲-Spark SQL：镶木源数据之使用编程方式加载数据
第78讲-Spark SQL：镶木数据源之自动分区推断
第79讲-Spark SQL：Parquet数据源之合并元数据
第80讲-Spark SQL：JSON数据源复杂案例实战
第81讲-Spark SQL：Hive数据源复杂 综合案例实战
第82讲-Spark SQL：JDBC数据源复杂综合案例实战
第83讲-Spark SQL：内置函数以及每日uv和销售额统计案例实战
第84讲-Spark SQL：开窗函数以及top3销售额统计案例实战
第85讲-Spark SQL：UDF自定义函数实战
第86讲--Spark SQL：UDAF自定义聚合函数实战
第87讲--Spark SQL：工作原理剖析以及性能优化
第87讲--Spark SQL：与Spark Core整合之每日top3热点搜索词统计案例实战
第87讲-Spark SQL：核心源码深度剖析（DataFrame lazy特性，Optimizer优化策略等）
第87讲--Spark SQL：延伸知识之Hive On Spark

七，Spark Streaming：
第88讲-Spark Streaming：大数据实时计算介绍
第89讲 - Spark Streaming：DStream以及基本工作原理
第90讲-Spark Streaming：与Storm的对比分析
第91讲-Spark Streaming：实时wordcount程序开发
第92讲-Spark Streaming：StreamingContext详解
第93讲-Spark Streaming：输入DStream和Receiver详解
第94讲-Spark Streaming：输入DStream之基础数据源以及基于HDFS的实时wordcount案例实战
第95讲-Spark S treaming：输入DSTREAM之卡夫卡数据源实战（基于接收器的方式）
第96讲-Spark Streaming：输入DStream之Kafka数据源实战（基于Direct的方式）
第97讲-Spark Streaming：DStream的转换操作概述
第98讲-Spark Streaming：updateStateByKey以及基于缓存的实时wordcount案例实战
第99讲--Spark Streaming：转换以及广告计费日志实时黑名单过滤案例实战
第100讲-Spark Streaming：window滑动窗口以及热点搜索词滑动统计案例实战
第101讲--Spark Streaming：DStream的输出操作以及foreachRDD性能优化详解
第102讲-Spark Streaming：与Spark SQL结合使用之top3热门商品实时统计案例实战
第103讲-Spark Streaming：缓存与持久化机制详解
第104讲-Spark Streaming：Checkpoint机制详解（Driver高可靠方案详解）
第105讲--Spark Streaming：部署，升级和监控实时应用程序
第106讲--Spark Streaming：容错机制以及事务语义详解
第107讲--Spark Streaming：架构原理深度剖析
第108讲--Spark Streaming：StreamingContext初始化与接收器 原理动剖析与源码分析
第109讲-Spark流：数据接收原理剖析与源码分析
第110讲--Spark Streaming：数据处理原理剖析与源码分析（block与batch关系透彻解析）
第111讲--Spark Streaming：性能调优详解
第112讲 - 课程总结（学到了什么？达到了什么水平？）

火花开发进阶（升级内容！）

一，Scala的编程进阶：
第113讲-Scala编程进阶：Scaladoc使用的
第114讲-Scala编程进阶：跳出循环语句的3方法种
第115讲-Scala编程进阶：多维数组，Java数组与Scala数组的隐式转换
第116讲-Scala编程进阶：Tuple拉链操作，Java Map与Scala Map的隐式转换
第117讲-Scala编程进阶：扩大内部类作用域的2种方法，类内部电子杂志外部类引用
第118讲-Scala编程进阶：包与进口详解实战
第119讲-Scala编程进阶：重写字段的提前定义，Scala的继承层级，相等对象性
第120讲-Scala编程进阶：操作文件实战详解
第121讲-Scala编程进阶：函数偏实战详解
第122讲-Scala编程进阶：外部执行命令
第123讲-Scala编程进阶：正则 式达请立即获取iTunes
第124讲-Scala编程进阶：器提取实战详解
第125讲-Scala编程进阶：类样例的器提取实战详解
第126讲-Scala编程进阶：一个只有参数的提取器
第127讲-Scala编程进阶：注解实战详解
第128讲-Scala编程进阶：注解常用介绍
第129讲-Scala编程进阶：XML操作基础实战详解
第130讲-Scala编程进阶：XML中嵌入阶代码
第131讲-Scala编程进阶：XML元素修改详解实战
第132讲-Scala编程进阶：XML状语从句：加载外部写入文档
第133讲-Scala编程进阶：元素集合操作
第134讲-Scala编程进阶：的集合常用操作方法
第135讲- Scala编程进阶：map，flatMap，collect，foreach实战详解
第136讲-Scala编程进阶：reduce和fold实战详解

二，Spark核心编程进阶：
第137讲 - 环境搭建-CentOS 6.4虚拟机安装
第138讲 - 环境搭建-Hadoop 2.5伪分布式集群搭建
第139讲 - 环境搭建-Spark 1.5伪分布式集群搭建
第140讲 - 第一次课程升级大纲介绍以及要点说明
第141讲--Spark核心编程进阶 - Spark集群架构概览
第142讲-Spark核心编程进阶-Spark集群架构的几点特别说明
第143讲-Spark核心编程进阶-Spark的核心术语讲解
第144讲-Spark核心编程进阶-Spark Standal 一个架构集群
第145讲-Spark核心编程进阶-单独启动主和工人详解脚本
第146讲-Spark核心编程进阶-实验：单独启动主和工人进程以及启动日志查看
第147讲-Spark核心编程进阶-worker配置节点以及spark-evn.sh参数详解
第148讲-Spark核心编程进阶-实验：本地模式提交火花作业
第149讲-Spark核心编程进阶-实验：独立客户端模式提交spark作业
第150讲--Spark核心编程进阶 - 实验：独立集群模式提交spark作业
第151讲--Spark核心编程进阶 - 标准模式下的多作业资源调度
第152讲--Spark核心编程进阶-standalone下模式的作业监控点与日志记录
第153讲-Spark核心编程进阶-实验：中运行监控点作业以及手工打印日志
第154讲-Spark核心编程进阶-yarn客户端原理模式讲解
第155讲-Spark核心编程进阶-yarn簇原理模式讲解
第156讲-Spark核心编程进阶-实验：纱的客户机模式提交火花作业
第157讲-Spark核心编程进阶-yarn下模式查看日志详解
第158讲-Spark核心编程进阶-yarn相关模式参数详解
第159讲-Spark核心编程进阶-spark工程打包以及火花提交详解
第160讲-Spark核心编 进阶-spark提交以及示例基础参数讲解
第161讲-Spark核心编程进阶-实验：火花提交简单版本提交火花作业
第162讲-Spark核心编程进阶-实验：火花提交给主类传递参数
第163讲-Spark核心编程进阶-spark提交示例多个常用以及参数详解
第164讲-Spark核心编程进阶-SparkConf，火花提交以及火花defaults.conf
第165讲-Spark核心编程进阶-spark提交第三方配置依赖
第166讲-Spark核心编程进阶-spark子算闭的包原理详解
第167讲-Spark核心编程进阶-实验：闭对包变量进行累加操作的无效现象
第168讲-Spark核心编程进阶-实验：算在子内打印数据的无法看到现象
第169讲-Spark核心编程进阶-mapPartitions学生以及查询成绩案例
第170讲-Spark核心编程进阶-mapPartitionsWithIndex以开学案例分班
第171讲-Spark核心编程进阶-sample公司以及会年案例抽奖
第172讲-Spark核心编程进阶-union公司以及部门合并案例
第173讲-Spark核心编程进阶-intersection以及公司跨项目多查询人员案例
第174讲-Spark核心编程进阶-distinct以及网站UV案例统计
第175讲-Spark核心编程进阶-aggregateByKey以及单词计数案例
176讲-Spark核心编程进阶-cartesian服装以及搭配案例
第177讲-Spark核心编程进阶-coalesce公司以及部门整合性案例
第178讲-Spark核心编程进阶-repartition以及公司新增部门案例
第179讲-Spark核心编程进阶-takeSampled公司以及会年案例抽奖
第180讲-Spark核心编程进阶-shuffle原理操作详解
第181讲-Spark核心编程进阶-shuffle过程操作中进行数据排序
第182讲-Spark核心编程进阶-会触发洗牌的操作算子
第183讲-Spark核心编程进阶-shuffle对操作性能消耗的原理详解
第184讲-Spark核心编程进阶-shuffle操作所有相关参数详解以及性能调优
第185讲-Spark核心编程进阶-综合案例1：移动端应用流量访问日志分析
第186讲-Spark核心编程进阶-综合案例1：文件日志格式分析
第187讲-Spark核心编程进阶-综合案例1：读取日志文件并创建RDD
第188讲-Spark核心编程进阶-综合案例1：自创建定义的柯林斯序列化类
第189讲-Spark核心编程进阶-综合案例1：将RDD映射为键-值格式
第190讲-Spark核心编程进阶-综合案例1：基于设备ID聚合进行操作
第191讲-Spark核心编程进阶-综合案例1：自定义二次排序关键
第192讲-Spark核心编程进阶-综合案例1：将二次排序键映射为RDD的键
第193讲-Spark核心编程进阶-综合案例1：执行二次排序以及获取TOP10数据
第194讲-星火核心编程进阶-综合案例1：运行程序测试以及代码调试
第195讲-Spark核心编程进阶-部署第二台CentOS的机器
第196讲-Spark核心编程进阶-部署第二个Hadoop的节点
第197讲-Spark核心编程进阶-将第二个Hadoop的动态节点集群加入
第198讲-Spark核心编程进阶-使用纱线的客户机和纱线簇提交火花作业

三，火花内核原理进阶：
第199讲-Spark内核原理进阶-union子算内部实现原理剖析
第200讲-Spark内核原理进阶-groupByKey子算内部实现原理剖析
第201讲-Spark内核原理进阶-reduceByKey子算内部实现原理剖析
第202讲-Spark内核原理进阶-distinct子算内部实现原理剖析
第203讲-Spark内核原理进阶-cogroup子算内部实现原理剖析
第204讲-Spark内核原理进阶-intersection算子内部实现原理剖析
第205讲-Spark内核原理进阶-join算子内部实现原理剖析
第206讲-Spark内核原理进阶-sortByKey算子内部实现原理剖析
第207讲-Spark内核原理进阶-cartesian子算内部实现原理剖析
第208讲-Spark内核原理进阶-coalesce子算内部实现原理剖析
第209讲-Spark内核原 进阶-repartition子算内部实现原理剖析

四，星火SQL实战开发进阶：
第210讲-Spark SQL实战开发进阶-Hive 0.13安装与测试
第211讲-Spark SQL实战开发进阶-Thrift JDBC，ODBC Server
第212讲-Spark SQL实战开发进阶-CLI命令行使用
第213讲-Spark SQL实战开发进阶 - 综合案例2：新闻网站关键指标
离线统计第214讲-Spark SQL实战开发进阶 - 综合案例2：页面pv统计以及排序和企业级项目开发流程说明
第215讲--Spark SQL实战开发进阶 - 综合案例2：页面uv统计以及排序和count（distinct）bug说明
第216讲-Spark SQL实战开发进阶 - 综合案例2：新用户注册比例统计
第217讲-Spark SQL实战开发进阶 - 综合案例2：用户跳出率统计
第218讲-Spark SQL实战开发进阶 - 综合案例2：版块热度排行榜统计
第219讲--Spark SQL实战开发进阶 - 综合案例2：测试与调试

五，Spark Streaming实战开发进阶：
第220讲--Spark Streaming实战开发进阶-flume安装
第221讲-Spark流实战开发进阶-接收水槽实时数据流-flume风格的基于推方式的
第222讲-Spark流实战开发进阶-接收水槽实 数据流-自定义水槽的基于轮询方式的
第223讲-Spark流实战开发进阶-高阶技术之自定义接收机
第224讲-Spark流实战开发进阶-kafka安装
第225讲-Spark Streaming实战开发进阶 - 综合案例3：新闻网站关键指标实时统计
第226讲-Spark Streaming实战开发进阶 - 综合案例3：页面pv实时统计
第227讲--Spark Streaming实战开发进阶- 综合案例3：页面uv实时统计
第228讲--Spark Streaming实战开发进阶 - 综合案例3：注册用户数实时统计
第229讲--Spark Streaming实战开发进阶 - 综合案例3：用户跳出量实时统计
第230讲--Spark Streaming实战开发进阶 - 综合案例3：版块pv实时统计

六，Spark运维管理进阶：
第231讲--Spark运维管理进阶 - 基于ZooKeeper实现HA高可用性以及自动主备切换
第232讲-Spark运维管理进阶-实验：基于动物园管理员实现HA可用性高以及自动主备e月刊
第233讲-Spark运维管理进阶-基于文件系统实现HA可用性高以及手动主备e月刊
第234讲-星火运维管理进阶-实验：基于文件系统实现HA可用性高以及手动主备e月刊
第235讲-Spark运维管理进阶-作业监控-实验：通过 Spark Web UI进行作业监控
第236讲-Spark运维管理进阶 - 作业监控 - 实验：standalone模式下查看历史作业的Web UI
第237讲--Spark运维管理进阶 - 作业监控 - 实验：启动HistoryServer查看历史作业的Web UI
第238讲--Spark运维管理进阶 - 作业监控 - 实验：使用curl + REST API进行作业监控
第239讲--Spark运维管理进阶 - 作业监控 - 实验：Spark Metrics系统以及自定义Metrics Sink
第240讲--Spark运维管理进阶 - 作业资源调度 - 静态资源分配原理
第241讲--Spark运维管理进阶-作业资源调度-资源动态分配原理
第242讲-Spark运维管理进阶-作业资源调度-实验：独立下模式使用动态资源分配
第243讲-Spark运维管理进阶-作业资源调度- 实验：yarn模式下使用动态资源分配
第244讲--Spark运维管理进阶 - 作业资源调度 - 多个职业资源调度原理
第245讲--Spark运维管理进阶 - 作业资源调度-Fair Scheduler使用详解

Spark2.0（升级内容！）

七，Spark 2.0深入浅出
第246讲-Spark 2.0-新特性介绍
第247讲-Spark 2.0-新特性介绍 - 易用性：标准化SQL支持以及更合理的API
第248讲 - Spark 2.0-新特性介绍 - 高性能：让Spark作为编译器来运行
第249讲--Spark 2.0-新特性介绍 - 智能化：结构化流媒体介绍
第250讲--Spark 2.0-新特性介绍-Spark 1.x的Volca no Iterator Model技术缺陷分析
第251讲-Spark 2.0-新特性介绍-whole-stage code generation技术和矢量化技术
第252讲-Spark 2.0-Spark 2.x与1.x对比以及分析，学习建议以及使用建议
第253讲-Spark 2.0-课程环境搭建：虚拟机，CentOS的，Hadoop的，火花等
第254讲-Spark 2.0-开发环境搭建的：Eclipse + Maven的+的Scala +火花
第255讲-Spark 2.0- SparkSession，数据帧，数据集入门开发
第256讲-Spark 2.0-数据集开发详解-初步体验untypd操作案例：部门计算平均年龄与薪资
第257讲-Spark 2.0-数据集开发详解-action操作：收集，计数，的foreach，减少等
第258讲-Spark 2.0-数据集开发详解-基础操作：持久化，临时视图，DS与DF互转换，数据写等
第259讲-Spark 2.0-数据集开发详解-typed操作：聚结，重新分区
第260讲-Spark 2.0-数据集开发详解-typed操作：distinct，dropDuplicates
第261讲-Spark 2.0-Dataset开发详解-typed操作：except，filter，intersect
第262讲-Spark 2.0-Dataset开发详解-typed操作：map，flatMap，mapPartitions
第263讲-Spark 2.0-Dataset开发详解-typed操作：joinWith
第264讲-Spark 2.0-Dataset开发详解-typed操作：sort
第265讲-Spark 2.0-Dataset开发详解-typed操作：randomSplit，sample
第266讲-Spark 2.0-Dataset开发详解-untyped操作：select，where，groupBy，agg，col，join
第267讲-Spark 2.0-Dataset开发详解 - 聚合函数：avg，sum，max，min，count，countDistinct
第268讲-Spark 2.0-Dataset开发详解 - 聚合函数：collect_list，collect_set
第269讲-Spark 2.0-Dataset开发详解 - 其他常用函数
第270讲--Spark 2.0-Structured Streaming：深入浅出的介绍
第271讲-Spark 2.0-Structured Streaming：wordcount入门案例
第272讲-Spark 2.0-Structured Streaming：编程模型
第273讲-Spark 2.0-Structured Streaming：创建流式的dataset和
dataframe第274讲-Spark 2.0-Structured Streaming：对流式的数据集和数据帧执行计算操作
第275讲-Spark 2.0-Structured Streaming：输出模式，sink以及foreach sink详解
第276讲-Spark 2.0-Structured Streaming：管理流查询
第277讲--Spark 2.0-Structured Streaming：基于checkpoint的容错机制
第278讲--Spark面试，简历中的项目编写以及实际生产环境的集群和资源配置等