【课程详情】
课程描述：本课程以大数据架构与案例为驱动，采用一个完整地案例贯穿整个课程，让学员体验大数据架构的企业价值。在课程中学员将被赋予企业架构师角色，通过剖析企业对大数据的主要需求，使学员感悟大数据架构设计的过程与价值。
培训目标：
1、全面掌握Hadoop的架构原理和使用场景；
2、全程项目实战训练；
3、彻底掌握使用Hadoop进行MapReduce程序开发；
4、熟悉分布式计算领域的常用算法；
5、掌握Hive、HBase使用与优化技巧。
6、了解云计算的发展历史
7、掌握云计算的实践应用
8、学习云计算的核心技术
9、通晓云计算的商业价值。
培训对象：软件工程师、数据库开发人员、网络后台开发人员、运维人员；地方政府云计算物联网产业负责人；各地云计算中心负责人；云计算物联网产业规划负责人；云计算产业投资团队；云计算应用开发商；云计算硬件设备提供商；云服务运营服务提供商；高校、科研院所云计算项目负责人。
培训内容：
| 时间 | 课程主题 | 内容简介 |
| 第一部分 | 云计算与虚拟化 | 计算机的发展 当前企业所面临的挑战 当前企业级数据中心面临的挑战 驱动IT转型的源动力 IT的过去与未来 The Hype Cycle生命周期 两种最常见的“云计算”定义 两种“云计算”的核心技术比较 工作负载 技术架构——从实例推导 将服务方式交付的IT资源 云平台的发展现状 IaaS的特性 PaaS的特性 云计算的基石 云计算技术架构 虚拟化带来的支出与收益 服务器虚拟化技术对比 0penStack云操作系统 Power服务器云部署方案介绍 高端小型机部署原则 VMware云部署方案介绍 NAS云存储设计实践 虚拟中间件设计实践 |
| 第二部分 | 云计算与数据中心建设 | 容量评估内容 开放系统容量评估内容 开放系统评估流程 开放系统数据采集方法 开放系统建立不同类别评估模型 开放系统CPU评估模型 开放系统CPU评估样例 |
| 第三部分 | 云计算与数据存储分析挖掘 | 存储子系统 传统文件系统 松耦合网络文件系统 共享存储文件系统 基于对象的存储子系统 大数据存储子系统 Google GFS Facebook Haystack Amazon Dynamo Yahoo PNUTS Google BigTable 云存储服务 Amazon Simple Storage Service Google Storage for Developers |
| 第四部分 | Hadoop概述 | 数据存储与分析 数据的并行访问 Hadoop的核心组件 Hadoop的基本特征 Hadoop的生态圈 Hadoop与大数据 Hadoop与关系型数据库 Hadoop与网格计算 Hadoop与志愿者计算 Hadoop发展简史 |
| MapReduce | 什么是MapReduce MapReduce示例 使用MapReduce进行数据分析 使用Java编写Map函数 使用Java编写Reduce函数 使用Java编写Run函数 数据流 bine函数 非Java语言支持 |
| HDFS | 什么是HDFS HDFS的优势与劣势 数据块 Namenode与Datanode 客户端 Hadoop文件系统 Hadoop的各种语言接口 文件访问的数据流 一致性模型 Hadoop归档文件 |
| 第五部分 | MapReduce应用开发 | MapReduce程序编写的基本流程 配置开发环境 配置文件管理 Generic0ptionsParser，Tool和ToolRunner 编写单元测试 本地运行测试数据 集群环境运行作业 |
| HIVE | 什么是HIVE 数据模型 HiveQL Hive的优化 Hive的扩展性 |
| ZooKeeper | 什么是ZooKeeper ZooKeeper的特点 ZooKeeper服务的数据模型 ZooKeeper服务的高可用 ZooKeeper服务的一致性 使用ZooKeeper构建配置服务 使用ZooKeeper实现锁服务 |
| HBASE | Hbase概述 HBase的数据模型 HBase的运行时 HBase与关系型数据库 |
| Sqoop | 什么是Sqoop Sqoop导入示例 Sqoop如何导入数据 Sqoop如何导出数据 |
| 第六部分 | 其他互联网公司大数据存储系统参考架构 | Google GFS Facebook Haystack Amazon Dynamo Yahoo PNUTS Google BigTable |
| 云存储服务 | 亚马逊S3 谷歌开发者存储 |
