Hadoop课程介绍

这是一个信息爆炸的年代。经过数十年的积累,很多企业都聚集了大量的数据。这些数据也是企业的核心财富之一,怎样从累积的数据里寻找价值,变废为宝则成为当务之急。但数据增长的速度往往比CPU和MEMORY性能增长的速度还要快得多。要处理海量数据,如果求助于昂贵的专用主机甚至超级计算机,成本无疑很高,有时即使是保存数据,也需要面对高成本的问题,因为具有海量数据容量的存储设备,价格往往也是天文数字。成本和IT能力成为了海量数据分析的主要瓶颈。

Hadoop这个开源产品的出现,打破了对数据力量的压制。Hadoop源于Nutch这个小型的搜索引擎项目。而Nutch则出自于知名的开源搜索引擎解决方案Lucene,而Lucene则来源于对Google的学习模仿。在Hadoop身上有着明显的Google的影子。HDFS是GFS的山寨版,Map-Reduce的思想来源于Goolge对Page rank的计算方法,HBase模仿的是Big Table,Zookeeper则学习了Chubby。Google巨人的力量尽管由于商业的原因被层层封锁,但在Hadoop身上得到了完美的重生和发展。从2006年Apache基金会接纳Hadoop项目以来。Hadoop已经成为云计算软件的一个事实标准,以及开源云计算解决方案的几乎少有选择。对于想用低成本(包括软硬件)实现云计算平台或海量数据分析平台的用户,Hadoop集群是明智选择的对象。正是由于此新兴技术的产生,才给当下大数据企业带来了新方向,为此我们特意编辑此专业技术课程,提升大家的小宇宙。帮助大家从传统数据库领域提升到分布式计算领域。

授课群体

该课程设计内容采用逐层递进,对Hadoop生态圈的了解逐步加深,课程服务的群体包括:

1,未毕业的大学生

2,职场小白,工作经验在1-2年

3,想要从事大数据开发却没有Hadoop基础

4,对Hadoop有过了解,未系统学习

5,有过Hadoop程序编写经验,未参与企业级大数据项目开发的

6,想从事Hadoop集群管理

7,未来想从事Hadoop首席架构师

培训目标

该课程的培训目标是让学员对Hadoop生态圈的常用组件有所了解,对Hadoop产生整体认知,理解分布式存储和分布式计算的原理,对Hive、HBase、HDFS、MR、Yarn、Impala等达到入门级别。经过培训,提高学员在大数据方向的核心竞争力,面对面试官的提问,可以灵活应对,从而找到心仪的大数据相关工作。

课程介绍

该培训课程主要从课程模块设计、授课时间、授课内容三方面进行细化,课程中包括普通课程和高级课程,普通课程即对初级学员或零基础学员开课,高级课程是针对有一定开发基础或者想深入学习的学员开课。

课程的具体情况如下:

? 所有课程共计130小时,共26天

? 基础课程共80小时,共计16天

? 高级课程共50小时,共计10天

初级课程大纲(Hadoop生态圈基础知识为主)

模块	子模块	课时(时)	初级	内容
了解Hadoop	初识	1	初级	自我介绍、培训目的、目标,大纲介绍
	认识大数据	1	初级	对大数据整体认知
	Hadoop起源、发展	1	初级	了解Hadoop的由来
	Hadoop生态圈介绍	2	初级	对生态圈组件认识
	岗位特点	1	初级	对于不同技能所从事的岗位整体认知
Hadoop部署	Hadoop部署方式	2	初级	初步了解Hadoop的部署方式
	环境准备	2	初级	部署Hadoop需要的基础环境介绍,准备
	介绍CM	3	初级	对CM有整体认知,可以使用CM中的基本功能
	实战CM	3	初级	利用CM安装集群,让学员学会快速搭建集群
	手动安装集群	3	初级	如何手动安装开源Hadoop
HDFS管理	HDFS原理	3	初级	介绍HDFS文件存储原理
	HDFS参数配置	2	初级	了解HDFS的基本参数配置情况
	HDFS常用操作	2	初级	了解HDFS常用命令
	HA介绍	2	初级	NameNode 高可靠性介绍
Yarn介绍	MapReduce介绍	2	初级	介绍分布式计算框架原理
	Yarn框架介绍	2	初级	Hadoop2.0后新框架与0.23的不同
	参数讲解	3	初级	主要参数用途讲解
	Yarn配置	3	初级	Yarn框架下基本配置
	Yarn队列调度原理	2	初级	介绍Yarn框架中队列调研的原理
Hive介绍	Hive体系介绍	2	初级	介绍Hive基本原理,架构
	Hive安装配置	2	初级	介绍如何安装Hive,如何进行配置
	HQL介绍	1	初级	介绍Hive的基本SQL
Spark介绍	Sqoop介绍	1	初级	介绍sqoop数据原理
	Spark简介	1	初级	介绍Spark的基本原理
	Spark参数配置	2	初级	讲解Spark中参数基本配置
	Spark编程	2	初级	介绍Spark的程序开发过程
	Spark Shell介绍	2	初级	介绍spark shell基本操作
	Spark on Yarn介绍	1	初级	介绍Spark on Yarn的原理和框架
	Spark SQL	2	初级	介绍Spark SQL的开发过程
Impala介绍	Impala原理	2	初级	介绍Impala实时计算框架的原理
	Impala参数配置	2	初级	介绍Impala在使用过程中参数情况
	Impala安装	3	初级	Impala安装部署
	Impala使用	2	初级	讲解Impala命令及元素
HBase介绍	HBase简介	1	初级	介绍HBase的基本原理
	HBase架构分析	2	初级	讲解HBase架构与其他架构的异同点
	HBase参数配置	2	初级	介绍HBase的参数配置情况
	HBase Shell介绍	2	初级	介绍HBase Shell的使用
MapRedue	MR开发简介	2	初级	介绍MR程序开发基本原理
	MR语法介绍	2	初级	介绍MR的语法规则,开发规则
	MR任务分配	3	初级	介绍MR任务分配方式
	MR作业监控	3	初级	监控作业运行状态、进度等

高级课程大纲(实战企业级应用案例为主)

模块	子模块	课时(时)	高级

课程详情

Hadoop大数据培训课程

课程详情

该课程设计内容采用逐层递进,对Hadoop生态圈的了解逐步加深,课程服务的群体包括:

培训目标

高级课程大纲(实战企业级应用案例为主)

猜您喜欢