【课程详情】
大数据处理—Hadoop实践
适合对象
希望将原有业务迁移到云平台的项目经理,产品经理,设计师。
课程目标
通过一个Wap日志系统的案例,讲解如何将原有的数据库,系统设计思想转移到现有的云平台上,深入浅出,帮主项目设计者转变思维。
了解Hadoop生态系统的相关技术
课程长度2天(学时)
课程大纲
天 |
主题 | 由案例引入云平台技术 |
大纲 | 案例背景 案例需求 出现的问题 为什么要引入云平台 为什么要选择Hadoop平台 案例功能模块简介 数据导入:Flume 什么是Flume 体系结构架构 应用场景 数据分析: Hadoop平台简单介绍 Hadoop集群规划与管理 MapReduce MapReduce 架构详解 MapReduce 流程 MapReduce 特点 MapReduce 容错性 MapReduce 服务 Job Tracker Task Tracker MapReduce调优与Debug Hive Hive介绍 Hive体系结构 Hive QL(类SQL) Hive 自定义函数 Hive调优 分词训练 Mahout 什么是Mahout Mahout架构 定时任务管理0ozie 什么是0ozie 0ozie架构 0ozie 工作流 答疑交流 |
第2天 |
主题 | 由案例引入云平台技术(二) |
大纲 | 前台查询: mysql 数据存储: HDFS HDFS 定义 HDFS设计目标 HDFS系统特点 HDFS工作原理 HDFS服务进程 HDFS应用场景 HDFS调优经验分享 HBase 对比:为什么要选择Hbase MongoDB HBase Cassandra 介绍HBase 什么是HBase HBase体系结构 HBase数据模型 HBase Shell 简单介绍 HBase row-key 设计及Scheme 设计 Hive与HBase整合的一些问题 协调组件-Zookeeper Zookeeper简介 体系结构 Zookeeper应用场景经验分享 自有产品实时计算系统(Rain)的简单介绍(商业案例分析) 产品介绍 核心价值 产品定位 目标客户 产品愿景 商业案例分析 电力分析统计业务 业务背景 性能指标 数据比对系统 业务背景 性能指标 |