课程共七大模块, 26 个课时,引用大量大数据运维的实战案例,来讲述大数据平台的架构设计与部署、大数据平台的监控告警、性能调优,涵盖了大数据运维工作的全方位技能点。 模块一:Hadoop 大数据平台的规划与部署,主要讲解 Hadoop 大数据平台的搭建与基础配置; 模块二:Hadoop 分布式架构解析,主要讲解分布式文件系统 HDFS 和分布式资源管理器 Yarn 的运行机制以及内部实现细节; 模块三:Hadoop 外围应用整合实战,主要讲解大数据平台下如何整合一些外围应用,主要是 Spark、Flink 与 Yarn 的整合应用,以及 HBase 集群的部署; 模块四:Hadoop 大数据平台数据收集应用实践,主要讲解数据收集方法以及如何实现快速查询,Filebeat 、 Logstash、Elasticsearch ; 模块五:大数据平台日志传输与可视化应用实践,主要讲解海量数据环境中如何实现数据的实时传输,并实现可视化展示 ; 模块六:大数据平台运维监控体系的构建,主要讲解如何对大数据平台下每个组件的运行状态、服务状态进行监控; 模块七:大数据平台性能调优与运维经验汇总,主要讲解大数据运维中常见的故障处理方法、集群扩缩容、集群调度策略选型等。
课程目录
第1章:开篇词
开篇词:掌握大数据,把握未来
00:12:59
第2章:Hadoop 大数据平台的规划与部署
第01讲:大话 Hadoop 生态圈
00:29:34
第02讲:Hadoop 发行版选型和伪分布式平台的构建
00:25:48
第03讲:自动化运维工具 Ansible 在部署大数据平台下的应用(上)
00:19:48
第04讲:自动化运维工具 Ansible 在部署大数据平台下的应用(下)
00:25:05
第05讲:手动模式构建双 Namenode+Yarn 的 Hadoop 集群(上)
00:21:16
第06讲:手动模式构建双 Namenode+Yarn 的 Hadoop 集群(下)
00:19:15
第07讲:通过 Ambari 工具自动化构建 Hadoop 大数据平台和外围应用(上)
00:31:21
第08讲:通过 Ambari 工具自动化构建 Hadoop 大数据平台和外围应用(下)
00:16:58
第09讲:如何通过 Hive/tez 与 Hadoop 的整合快速实现大数据开发(上)
00:21:20
第10讲:如何通过 Hive/tez 与 Hadoop 的整合快速实现大数据开发(下)
00:20:05
第3章:Hadoop 分布式架构解析
第11讲:HDFS 组件运行机制剖析及 HDFS Shell 的使用
00:26:56
第12讲:Hadoop 分布式资源管理器 Yarn、MR 运行机制剖析
00:15:50
第4章:Hadoop 外围应用整合实战
第13讲:Spark Standalone 模式的构建以及 Spark 与 Yarn 的整合
00:22:47
第14讲:HBase 与 Hadoop 的整合应用实践
00:28:51
第15讲:Flink Standalone、Flink on Yarn 集群构建与应用场景
00:23:25
第5章:Hadoop 大数据平台数据收集应用实践
第16讲:轻量级日志收集工具 Filebeat 应用案例
00:14:38
第17讲:日志收集、分析过滤工具 Logstash 应用实战
00:26:43
第18讲:Elasticsearch 应用架构的实现与调优
00:26:13
第6章:大数据平台日志传输与可视化应用实践
第19讲:Kafka 应用场景、集群容量规划、架构设计应用案例
00:19:45
第20讲:日均数据量 30 亿的 Filebeat+Kafka+Mirrormaker 跨机房实时日志传送案例
00:18:55
第21讲:Filebeat+Kafka+Logstash+Elasticsearch 构建可视化日志分析系统
00:16:41
第7章:大数据平台运维监控体系的构建
第22讲:通过 Ganglia 实现对 HDFS、Yarn、Spark 运行状态监控
00:19:40
第23讲:Namenode、Datanode、Nodemanager 等服务状态监控策略
00:23:51
第24讲:通过 Kafka Eagle 实现对 Kafka 消息队列的监控
00:12:08
第8章:大数据平台性能调优与运维经验汇总
第25讲:Yarn 资源调度 Fair Schedule 与 Capacity Scheduler 配置选型
00:16:01
第26讲:HDFS 存储权限 ACL 控制策略以及与系统权限整合应用
00:15:58
第27讲:Yarn、HDFS、Kafka 内存调优策略以及性能瓶颈
00:19:40
第28讲:Hadoop 平台常见故障汇总以及操作系统性能调优
00:16:17
第29讲:大数据平台的硬件规划、网络调优、架构设计、节点规划
00:17:51
第30讲:Hadoop 跨集群数据迁移应用实践
00:12:27
第9章:结束语
结语:大数据运维,大有作为
00:06:36
讲师介绍
拉勾网
讲师
拉勾,互联网人的职业成长平台,专门为互联网人才提供求职机会,提纲职业能力,同时为各行业培养和输送优秀的互联网人才。 拉勾与2013年5月成功上线至今,已经完成D轮融资,成功孵化出拉勾招聘、拉勾猎头、拉勾教育三个核心板块,服务国内众多的金融、通信、互联网、大数据等行业人才。 拉勾教育作为拉勾教育专属板块,以企业培训、技术咨询、在线专栏、训练营的不同模式,服务企业的初、中、高尖人才,覆盖产品管理、运营管理、架构设计、大数据、人工智能、运维管理、技术管理等全角色人才的全链路服务体系,并且与国内外来自Google、苹果、微软、阿里、腾讯、头条等头部企业的技术专家建立长期友好合作,将更多经验和知识体系源源不断为国内IT人才成长赋能。
立即购买¥200/人