Hadoop大型应用开发实战-猎学网

【课程详情】

开课安排

4.26-28（北京）6.21-23（青岛）8.29-31（珠海）10.25-27（杭州）

课程介绍

互联网企业和云计算服务企业每天都会产生大量的数据并面临高并发的严峻考验，传统的关系型数据库已经无法满足大数据量高并发的要求，何以解忧？Hadoop！本课程针对目前企事业单位信息技术研发人员对Hadoop大数据处理技术的紧迫需求，设计推出了Hadoop大型应用开发实战课程。

适合对象

软件工程师、数据库开发人员、网络后台开发人员、运维人员等。

学员要求有一定的Java编程基矗

课程目标

全面掌握Hadoop的架构原理和使用场景

全程项目实战训练

彻底掌握使用Hadoop进行MapReduce程序开发

熟悉分布式计算领域的常用算法

课程师资

王老师国内最早从事于Hadoop框架应用程序软件开发以及Hadoop解决方案专家。业界知名资深IT技术培训讲师、多家著名公司的技术顾问。

课程长度

3天（18学时）

课程内容

天
上午	下午
Hadoop MapReduce Hadoop JobTracker 剖析 Hadoop TaskTracker 剖析 Hadoop 任务提交流程剖析 Hadoop MapReduce Streamig编程 Hadoop Streamig 和 Java MapReduce Api 差异使用 MapReduce 实现数据库功能 MapReduce分布式程序 MapReduce流程剖析一个MapReduce程序基本MapReduceAPI 概念驱动代码	Mapper Reducer API 使用Ecipse进行快速开发新MapReduce API Hadoop 核心代码剖析 Hadoop Mapper 类核心代码剖析 Hadoop Reducer 类核心代码剖析 HDFS分布式文件系统编程 Hadoop HDFS 剖析 Hadoop ameode 剖析 Hadoop Dataode 剖析 Hadoop I/0 操作使用Hadoop HDFS API对HDFS编程
第二天
上午	下午
Hadoop Mapreduce高级编程 TooRuer介绍使用MRUit进行测试利用biers来减少中间数据使用Cofigure和Cose方法来进行Map/Reduce设置和关闭编写Partitioer来优化负载平衡直接访问Hadoop分布式文件系统（HDFS）使用分布式缓存（Distributed Cache） MapReduce的优化 map优化 reduce优化小文件优化	MapReduce的任务调度 Queue调度的使用公平调度的使用能力调度的使用 MapReduce编程实战 Hadoop的joi操作 Hadoop的二次排序 Hadoop的海量日志分析 fume+hadoop日志收集实战 fume介绍 fume核心组件讲解 fume自带的组件分析 fume二次开发实战
第三天
上午	下午
Hadoop的来源和动机传统大规模系统存在的问题对一种新的解决方案的需求 Hadoop安装和部署准备 Hadoop系统模块组件概述 Hadoop试验集群的部署结构 Hadoop 安装依赖关系 Hadoop 生产环境的部署结构 Hadoop集群安装和部署 Red hat iux基础环境搭建上机实验 Hadoop 单机系统版本安装配置上机实验 Hadoop 集群系统版本安装和启动配置上机实验 Hadoop 集群异常Debug 方法 Hadoop 集群简单测试方法使用 Hadoop MapReduce Streamig 快速测试系统 Hadoop组件详解 Hadoop HDFS 基本结构 Hadoop HDFS 副本存放策略 Hadoop ameode 详解 Hadoop Secodaryameode 详解 Hadoop Dataode 详解 Hadoop JobTracker 详解 Hadoop TaskTracker 详解 Hadoop集群配置详解 Hadoop core-site,hdfs-site,mapred-site 配置详解 Hadoop 高可用配置方法	Hadoop集群配置:机架感知,开启压缩和任务均衡 Hadoop 集群安装和开启Z0压缩 Hadoop 配置集群具备机架感知 Hadoop 集群开启公平任务调度器 Hadoop 集群开启能力任务调度器 Hadoop 集群维护与管理查看集群状态 HDFS数据管理 Mapreduce 任务管理 HDFS安全模式模拟集群ameode,jobtrack失效添加删除节点数据平衡文件数据跨集群拷贝集群升级 Hadoop 集群规划和测试集群规划(硬件,系统,网络) 集群性能测试 Hadoop 集群监控和运维使用Gagia 监控Hadoop集群使用Cacti 监控操作系统 Hadoop HDFS高可用 Hadoop 元数据FS备份方案 Hadoop Secodaryameode备份方案 Hadoop Checkpoitode备份方案 Hadoop Backupode备份方案 Hadoop Coudera HA ameode 方案

Hadoop大型应用开发实战

课程详情

猜您喜欢