课程详情

【课程简介】

学习方式：

直播/录播视频学习+在线答疑+每周作业+沙盘演练+毕业考试

共8周课程56课时，每周至少一次直播

直播后提供录制回放视频，在线反复观看，有效期1年

课程目标：

具备Spark研发能力

具备Spark运维能力

具备Spark性能调优能力

适合人群：

热爱大数据人员

想从事spark研发的人员

大数据研发人员

全面提升spark运维能力的人员

大学生热爱spark的人员

企业Spark研发人员及运维人员

价格：1888

内容介绍：

Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用并行框架，Spark，拥有Hadoop

MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

Spark课程包括Scala语言学习、Spark生态系统概述与编程模型、深入Spark内核、SparkonYarn&Sparkas

aservice、SparkStreaming原理及实战、Shark与SparkSQL。

课程大纲：

章：Scala基础

节：值与变量的声明

第2节：常用类型简介

第3节：函数与方法的定义与使用

第4节：条件表达式

第5节：循环与高级for循环使用

第6节：lazy值

第7节：默认参数、带名参数及变长参数

第8节：异常处理

第9节：数组相关操作

0节：Map操作

第2章：Scala面向对象编程

节：类定义

第2节：类的属性

第3节：主构造器

第4节：辅助构造器

第5节：object对象

第6节：apply方法

第7节：类的继承

第8节：方法重写与字段重写

第9节：抽象类

0节：trait

1节：包的定义与使用

2节：包对象定义与使用

3节：文件访问

第3章：Scala函数式编程

节：高级函数的定义

第2节：值函数

第3节：匿名函数

第4节：高阶函数示例

第5节：集合简介

第6节：caseclass

第7节：模式匹配

第4章：Scala高级编程

节：泛型类

第2节：泛型函数

第3节：Lowerbounds与Upperbounds

第4节：Viewbounds

第5节：Contextbounds

第6节：协变与逆变

第7节：隐式转换

第8节：隐式参数

第9节：隐式类

第5章：Spark生态系统概述与编程模型

节：Spark生态系统概述

第2节：回顾HadoopMapReduce

第3节：Spark运行模式

第4节：RDD

第5节：Spark运行时模型简介

第6节：缓存策略介绍

第7节：transformation

第8节：action

第9节：lineage

0节：容错处理

1节：宽依赖和窄依赖

2节：集群配置

第6章：深入Spark内核

节：spark术语解释

第2节：集群概览

第3节：核心组建

第4节：数据本地性

第5节：常用RDD

第6节：任务调度

第7节：DAGScheduler

第8节：TaskScheduler

第9节：Task细节

0节：性能调优

第7章：SparkonYarn&Sparkasaservice

节：SparkonYarn原理

第2节：SparkonYarn实战

第8章：SparkStreaming原理及实战

节：DStreaming

第2节：数据源

第3节：无状态transformation与有状态transformation

第4节：checkpoint

第5节：容错

第6节：性能优化

第9章：Shark与SparkSQL

节：SparkSQL结构

第2节：Parquet支持

第3节：DSL

第4节：SQLonRDD

第5节：Hive支持

第6节：JDBCServer