知道美河 | 上传资料 | VIP申请 | 精品课程 | 资料搜索 | 问题反馈 | 会员手册 | 积分消费 | 积分充值 | 帐号保护
设为首页收藏本站
美河学习学习在线赞助VIP

美河学习在线(主站) eimhe.com

 找回密码
 建立账号
千峰教育 全栈Linux云计算运维
查看: 870|回复: 1

Hadoop集群原理与运维实践 [复制链接]

Rank: 32Rank: 32

金币
176
代金券
0
阅读权限
200
精华
0
帖子
88
UID
712607

美河技术精英勋章 美河荣誉会员勋章

发表于 2019-6-22 06:11:36 |显示全部楼层
下载服务器:五号服务器---\VIP资料下载八区\数据库专区
游客,如果您要查看本帖隐藏内容请回复

Hadoop集群原理与运维实践

课程简介
Hadoop已经成为目前大数据处理的事实标准,各大互联网公司均在用Hadoop来作为数据平台的重要组成部分。在小规模数据量场景下,并不关心Hadoop集群的规划与性能问题,能用即可。然而,随着业务的增长和数据量的增长,在上百台甚至上千上万台集群规模、上PB的数据量下,如何合理的规划和使用Hadoop集群、如何优化集群,发挥更高的效率,就显得尤为重要。

本课程将从Hadoop集群运维的角度着手,从零开始手把手规划、部署、安装、优化和管理集群,综合互联网一线大规模Hadoop集群运维的实践经验,更深入的剖析Hadoop集群原理,教授如何零基础构建更加高效、稳定、可扩展的大规模Hadoop集群。通过本课程的学习,有助于深入理解Hadoop原理,能够胜任PB级大规模Hadoop集群运维管理的工作。

课程大纲
第一课.        预备知识
1.1.        大数据与Hadoop
1.2.        Hadoop发展历程与现状
1.3.        Hadoop的基本组成与原理

第二课.     集群部署前的准备
2.1.     硬件选型
2.2.     网络规划
2.3.     操作系统选型与配置
2.4.     Hadoop版本选型

第三课.     从零开始安装部署Hadoop集群
3.1.     伪分布式模式
3.2.     分布式生产环境部署
3.3.     节点规划
3.4.     集群安装部署HDFS
3.5.     集群安装部署MRv2和YARN
3.6.     Hadoop集群benchmark

第四课.     开始使用Hadoop集群
4.1.     Hadoop命令手册解读
4.2.     HDFS使用与权限
4.3.     MapReduce Job开发、运行与管理
4.4.     YARN管理

第五课.     Hadoop集群性能优化
5.1.     集群常用配置文件解读
5.2.     HDFS配置优化
5.3.     MapReduce配置优化
5.4.     YARN配置优化

第六课.     HDFS高可用配置
6.1.     NameNode HA
6.2.     HDFS Federation

第七课.     YARN高可用配置
7.1.     ResourceManager HA
7.2.     NodeManager Recovery

第八课.     Hadoop安全模式与权限控制
8.1.     Hadoop安全模式原理与架构
8.2.     Kerberos原理与Hadoop应用
8.3.     权限控制

第九课.     Hadoop集群管理
9.1.     HDFS权限规划和Quota管理
9.2.     HDFS扩容与故障节点处理
9.3.     HDFS Balancer
9.4.     HDFS FSCK
9.5.     HDFS distcp
9.6.     YARN Scheduler配置管理
9.7.     YARN扩容与故障节点处理
9.8.     集群版本升级与回滚

第十课.     Hadoop其他组件安装配置与管理
10.1.     HBase安装配置管理
10.2.     Hive安装配置管理
10.3.     Pig安装配置管理
10.4.     Spark安装配置与管理

第十一课.     Hadoop集群监控方案
11.1.     JMX监控
11.2.     Ganglia监控
11.3.     Nagios/Zabbix监控

第十二课.     Hadoop新版本特性概述与展望
12.1.     HDFS集中式缓存
12.2.     HDFS分级存储
12.3.     YARN Node Label
12.4.     YARN Timeline Server
12.5.     YARN Docker执行器
12.6.     Hadoop 3.0展望

发这套是为了配合这个学习 华为大数据认证HCIA HCIP-Big Data Developer视频教程

Rank: 32Rank: 32

金币
93
代金券
10
阅读权限
200
精华
0
帖子
19
UID
654042
发表于 10 小时前 |显示全部楼层
您需要登录后才可以回帖 登录 | 建立账号

Archiver|美河学习在线 ( 浙网备33020302000026号 )  

GMT+8, 2019-7-18 20:57

Powered by Discuz! X2

© 2001-2011 Comsenz Inc.

回顶部 考研视频 考研视频博客 考研视频论坛