这几年,随着越来越多的业务对数据的实时性提出了高要求,实时流计算技术变得越来越火,阿里、字节、京东等互联网大厂都在用它来处理用户兴趣分析,实时异常检测、在线反欺诈和金融风控等实时业务。 然而,想要真正搞懂并会运用实时流计算并不容易,NIO和异步编程、高并发编程、分布式处理、实时算法开发......这些都是阻碍你掌握实时流计算的拦路虎。 为了帮你攻克相关技术难点,本课程设计了一条系统、高效的学习路径,共四个模块,从“系统架构”和“实时算法”两方面入手,由浅入深、自底而上带你扎实掌握实时流计算。 ① 模块一:实时流计算入门 这部分会介绍流计算系统的整体架构和使用场景,以及入门需掌握的编程基础,比如 NIO 和异步编程,以及异步系统中的 OOM 和反向压力问题,学完你会对实时流计算有个整体的认识,对“流”的本质有个初步理解。 ②模块二:自己动手做一个流计算框架 这部分会介绍如何从 JDK 里最基础的工具类,一步步开发出一个分布式流计算框架。通过这种自己动手的方式,你会更深刻理解流计算系统的核心概念及实现原理。 ③模块三:核心技术篇 这部分详细讲解流计算能够解决哪些类型的问题(流数据操作、时间维度聚合计算、关联图谱分析、事件序列分析、模型学习和预测)。还讨论了流计算过程中重要的状态管理问题,带你思考如何将前面的流计算框架扩展为分布式系统。你会掌握实时流计算中的各种算法,帮你解决各种实时业务场景中的问题。 ④模块四:开源流计算框架原理解析及实战 这部分会对比分析 4 种开源流计算框架的具体实现,来巩固你对流计算核心概念和技术的理解,并带你正确理解这些框架的 API 设计,以便你在实际业务场景中灵活应用,实现各种复杂的业务逻辑。 此外,课程还会通过两个实践案例(实时风控和实时数据同步),带你将开源流计算框架运用到具体的业务场景中。
课程目录
第1章:开篇词
开篇词 | 攻克实时流计算难点,掌握大数据未来!
00:09:45
第2章:实时流计算入门
01 | 实时流计算的通用架构
00:16:35
02 | 异步和高并发:为什么 NIO 是异步和高并发编程的基础?
00:10:27
03 | 反向压力:如何避免异步系统中的 OOM 问题?
00:10:16
04 | 流与异步:为什么说掌握流计算先要理解异步编程?
00:14:57
第3章:自己动手做一个流计算框架
05 | 有向无环图(DAG):如何描述、分解流计算过程?
00:14:02
06 | CompletableFuture:如何理解 Java 8 新引入的异步编程类?
00:13:07
07 | 死锁:为什么流计算应用突然卡住,不处理数据了?
00:09:15
08 | 性能调优:如何优化流计算应用?
00:10:23
第4章:流计算到底在计算什么
09 | 流数据操作:最基本的流计算功能
00:16:10
10 | 时间维度聚合计算:如何在长时间窗口上实时计算聚合值?
00:12:03
11 | 关联图谱分析:如何用 Lambda 架构实现实时的社交网络分析?
00:24:47
12 | 事件序列分析:大家都在说的 CEP 是怎么一回事?
00:16:42
13 | 模型学习和预测:如何检查流数据异常?
00:18:46
14 | 状态管理:为什么说流计算是有“状态”的?
00:19:36
15 | 扩展为集群:如何实现分布式状态存储?
00:13:30
第5章:开源流计算框架原理解析及实战
16 | Apache Storm:最早的开源流计算框架
00:21:29
17 | Spark Streaming:从批处理走向流处理
00:12:53
18 | Apache Samza:最简洁的开源流计算框架
00:16:56
19 | Apache Flink:最惊艳的开源流计算框架
00:19:48
20 | 场景案例:如何用 Flink 实现实时风控引擎?
00:19:24
21 | 场景案例:如何用 Flink SQL CDC 实现实时数据同步?
00:14:03
第6章:彩蛋
彩蛋 1 | 竟然还有分布式的 JVM?
00:12:31
彩蛋 2 | 穷途末路的选择:Lambda 架构
00:08:22
第7章:结束语
结束语 | Java 程序员的成长之路和从业方向
00:14:12
讲师介绍
拉勾网
讲师
拉勾,互联网人的职业成长平台,专门为互联网人才提供求职机会,提纲职业能力,同时为各行业培养和输送优秀的互联网人才。 拉勾与2013年5月成功上线至今,已经完成D轮融资,成功孵化出拉勾招聘、拉勾猎头、拉勾教育三个核心板块,服务国内众多的金融、通信、互联网、大数据等行业人才。 拉勾教育作为拉勾教育专属板块,以企业培训、技术咨询、在线专栏、训练营的不同模式,服务企业的初、中、高尖人才,覆盖产品管理、运营管理、架构设计、大数据、人工智能、运维管理、技术管理等全角色人才的全链路服务体系,并且与国内外来自Google、苹果、微软、阿里、腾讯、头条等头部企业的技术专家建立长期友好合作,将更多经验和知识体系源源不断为国内IT人才成长赋能。
立即购买¥200/人