Hadoop课程介绍
这是一个信息爆炸的年代。经过数十年的积累,很多企业都聚集了大量的数据。这些数据也是企业的核心财富之一,怎样从累积的数据里寻找价值,变废为宝则成为当务之急。但数据增长的速度往往比CPU和MEMORY性能增长的速度还要快得多。要处理海量数据,如果求助于昂贵的专用主机甚至超级计算机,成本无疑很高,有时即使是保存数据,也需要面对高成本的问题,因为具有海量数据容量的存储设备,价格往往也是天文数字。成本和IT能力成为了海量数据分析的主要瓶颈。
Hadoop这个开源产品的出现,打破了对数据力量的压制。Hadoop源于Nutch这个小型的搜索引擎项目。而Nutch则出自于知名的开源搜索引擎解决方案Lucene,而Lucene则来源于对Google的学习模仿。在Hadoop身上有着明显的Google的影子。HDFS是GFS的山寨版,Map-Reduce的思想来源于Goolge对Page rank的计算方法,HBase模仿的是Big Table,Zookeeper则学习了Chubby。Google巨人的力量尽管由于商业的原因被层层封锁,但在Hadoop身上得到了完美的重生和发展。从2006年Apache基金会接纳Hadoop项目以来。Hadoop已经成为云计算软件的一个事实标准,以及开源云计算解决方案的几乎少有选择。对于想用低成本(包括软硬件)实现云计算平台或海量数据分析平台的用户,Hadoop集群是明智选择的对象。正是由于此新兴技术的产生,才给当下大数据企业带来了新方向,为此我们特意编辑此专业技术课程,提升大家的小宇宙。帮助大家从传统数据库领域提升到分布式计算领域。
授课群体
该课程设计内容采用逐层递进,对Hadoop生态圈的了解逐步加深,课程服务的群体包括:
1,未毕业的大学生
2,职场小白,工作经验在1-2年
3,想要从事大数据开发却没有Hadoop基础
4,对Hadoop有过了解,未系统学习
5,有过Hadoop程序编写经验,未参与企业级大数据项目开发的
6,想从事Hadoop集群管理
7,未来想从事Hadoop首席架构师
培训目标
该课程的培训目标是让学员对Hadoop生态圈的常用组件有所了解,对Hadoop产生整体认知,理解分布式存储和分布式计算的原理,对Hive、HBase、HDFS、MR、Yarn、Impala等达到入门级别。经过培训,提高学员在大数据方向的核心竞争力,面对面试官的提问,可以灵活应对,从而找到心仪的大数据相关工作。
课程介绍
该培训课程主要从课程模块设计、授课时间、授课内容三方面进行细化,课程中包括普通课程和高级课程,普通课程即对初级学员或零基础学员开课,高级课程是针对有一定开发基础或者想深入学习的学员开课。
课程的具体情况如下:
? 所有课程共计130小时,共26天
? 基础课程共80小时,共计16天
? 高级课程共50小时,共计10天
初级课程大纲(Hadoop生态圈基础知识为主)
模块 | 子模块 | 课时(时) | 初级 | 内容 |
---|---|---|---|---|
了解Hadoop | 初识 | 1 | 初级 | 自我介绍、培训目的、目标,大纲介绍 |
认识大数据 | 1 | 初级 | 对大数据整体认知 | |
Hadoop起源、发展 | 1 | 初级 | 了解Hadoop的由来 | |
Hadoop生态圈介绍 | 2 | 初级 | 对生态圈组件认识 | |
岗位特点 | 1 | 初级 | 对于不同技能所从事的岗位整体认知 | |
Hadoop部署 | Hadoop部署方式 | 2 | 初级 | 初步了解Hadoop的部署方式 |
环境准备 | 2 | 初级 | 部署Hadoop需要的基础环境介绍,准备 | |
介绍CM | 3 | 初级 | 对CM有整体认知,可以使用CM中的基本功能 | |
实战CM | 3 | 初级 | 利用CM安装集群,让学员学会快速搭建集群 | |
手动安装集群 | 3 | 初级 | 如何手动安装开源Hadoop | |
HDFS管理 | HDFS原理 | 3 | 初级 | 介绍HDFS文件存储原理 |
HDFS参数配置 | 2 | 初级 | 了解HDFS的基本参数配置情况 | |
HDFS常用操作 | 2 | 初级 | 了解HDFS常用命令 | |
HA介绍 | 2 | 初级 | NameNode 高可靠性介绍 | |
Yarn介绍 | MapReduce介绍 | 2 | 初级 | 介绍分布式计算框架原理 |
Yarn框架介绍 | 2 | 初级 | Hadoop2.0后新框架与0.23的不同 | |
参数讲解 | 3 | 初级 | 主要参数用途讲解 | |
Yarn配置 | 3 | 初级 | Yarn框架下基本配置 | |
Yarn队列调度原理 | 2 | 初级 | 介绍Yarn框架中队列调研的原理 | |
Hive介绍 | Hive体系介绍 | 2 | 初级 | 介绍Hive基本原理,架构 |
Hive安装配置 | 2 | 初级 | 介绍如何安装Hive,如何进行配置 | |
HQL介绍 | 1 | 初级 | 介绍Hive的基本SQL | |
Spark介绍 | Sqoop介绍 | 1 | 初级 | 介绍sqoop数据原理 |
Spark简介 | 1 | 初级 | 介绍Spark的基本原理 | |
Spark参数配置 | 2 | 初级 | 讲解Spark中参数基本配置 | |
Spark编程 | 2 | 初级 | 介绍Spark的程序开发过程 | |
Spark Shell介绍 | 2 | 初级 | 介绍spark shell基本操作 | |
Spark on Yarn介绍 | 1 | 初级 | 介绍Spark on Yarn的原理和框架 | |
Spark SQL | 2 | 初级 | 介绍Spark SQL的开发过程 | |
Impala介绍 | Impala原理 | 2 | 初级 | 介绍Impala实时计算框架的原理 |
Impala参数配置 | 2 | 初级 | 介绍Impala在使用过程中参数情况 | |
Impala安装 | 3 | 初级 | Impala安装部署 | |
Impala使用 | 2 | 初级 | 讲解Impala命令及元素 | |
HBase介绍 | HBase简介 | 1 | 初级 | 介绍HBase的基本原理 |
HBase架构分析 | 2 | 初级 | 讲解HBase架构与其他架构的异同点 | |
HBase参数配置 | 2 | 初级 | 介绍HBase的参数配置情况 | |
HBase Shell介绍 | 2 | 初级 | 介绍HBase Shell的使用 | |
MapRedue | MR开发简介 | 2 | 初级 | 介绍MR程序开发基本原理 |
MR语法介绍 | 2 | 初级 | 介绍MR的语法规则,开发规则 | |
MR任务分配 | 3 | 初级 | 介绍MR任务分配方式 | |
MR作业监控 | 3 | 初级 | 监控作业运行状态、进度等 |
高级课程大纲(实战企业级应用案例为主)
模块 | 子模块 | 课时(时) | 高级 |
---|