课程介绍

注意0：欲购买此课程，获取安全购买链接，索要正版授权学习平台账号，务必加咨询QQ：2536379620
注意1：由于编码原因，试听课程视频画面清晰度不如最终购买的视频。最终购买视频的画面清晰度可参见以下两张图。图1   图2
注意2：正版良心视频，购买后有机会和原作者直接短暂技术交流。
    
注意3：感觉课程太难？没有信心？还在犹豫自己学的会学不会？我们的师傅带徒弟模式（5倍下单）会给您信心。我们承诺，商品详情，教学大纲，视频内容，所涉及技术，可获得原创作者老师微信或QQ和针对视频范围的精心指导。线上一对一师带徒辅导问答，针对视频内代码调试，使命必达，视频之外相关技术内容，行业内信息人脉，企业内推(如有)，原创作者老师会竭诚帮助。

以上所示价格，只能自行学习视频和获取少量解答。师傅带徒弟课程（5倍下单左右，可以先和客服联系，可获得老师的联系方法和针对视频范围的精心指导。线上一对一师带徒辅导问答，针对视频内代码调试，使命必达。）
      

使用 Flink 可以开发实时流处理和批处理的应用，本课程主要是聚焦在 Flink 在实时流处理这个方面，我们把 Flink 在实时流处理方面应用的技术称为 Flink Streaming。

Flink Streaming 特点

1：同时支持 Event-time 和 Processing-time 语义，而且切换很方便
      a. Event-time 语义主要是保证数据乱序情况下计算结果的一致性和精确性
      b. Processing-time 语义主要是满足低延迟的应用
2：保证 Exactly-once 状态一致性
3：Flink 应用可以运行在上千个 cores 上，所以在处理每秒百万事件，延迟只是毫秒级
4：简单易用且非常灵活的 API ，包括各种场景的窗口 API、各种状态类型的 API 等
5：可以连接 Kafka、ES、HDFS 等常用数据存储系统，也可通过 JDBC 连接各种数据库

Flink Vs Spark

Spark 是批处理起家的，它的本质是批处理，Spark Streaming 是基于 Spark 的批处理开发的。所以，Spark Streaming 是一种近实时计算技术，适合秒级别延迟的应用。

Flink Streaming 是一种真正意义上的实时处理技术，适用于对延迟要求很高的应用。Flink 也支持批处理，但是 Flink 的批处理是基于 Flink Streaming 的流处理而开发的。

1：批处理：数据不能实时计算，但是批处理的逻辑可以非常的复杂
2：实时流处理：数据可以实时计算，但是计算逻辑相对比较简单

所以，对于计算逻辑非常复杂的应用，建议使用 Spark，对于实时要求非常高的场景，建议使用 Flink Streaming。Flink Streaming 在处理复杂点的实时流处理场景 (比如各种窗口、状态等) 真的要比 Spark Streaming 要好用多了，谁用谁知道。

学完本课程你的收获

1：掌握 Flink Streaming 核心原理
2：可以使用 Flink Streaming 开发企业中的项目

本课程四大特色

1：案例驱动：所有 API 的讲解都是以实际应用案例为背景进行讲解
2：手写代码：课程中所有的代码都是手把手的带你编写的
3：原理精辟：对于原理的讲解，没有一句啰嗦话，每句都直指要点，并清晰讲解
4：实战丰富：从集群的安装，到集群上运行丰富的实战案例，再到集群集成到 Hadoop 生态体系，一路实战到底

适用人群

1：具备 Java SE 基础
2：具备 Linux 基础知识，会 Linux 基本命令
3：熟悉 Kafka 消息中间件
4：如果有大数据相关经验的话更佳，如果没有的话，后面的和 Hadoop 集成章节可能听不懂

课程大纲

01
课程内容

课程内容(8分钟)
02
Flink 介绍

数据形状(5分钟)

批处理 vs 流处理(13分钟)        暂无试看

Flink 介绍(10分钟)

模拟 unbounded 数据源(8分钟)
03
Flink 编程模型(一)

map 和 flatMap(14分钟)

本地运行 Flink WordCount(20分钟)

Stateful 计算框架(16分钟)

并行度(23分钟)

Scala 版本的 WordCount(9分钟)

补充(4分钟)

单节点安装 Flink(8分钟)

全分布式安装 Flink(10分钟)

程序优化修改(10分钟)

集群提交 Flink 任务(8分钟)
04
Flink 编程模型(二)

集群中 subtask 的位置(8分钟)

Flink 分布式运行时环境(8分钟)

数据传输策略(10分钟)

Flink 读写 Kafka(17分钟)

集群运行 Flink 读写 Kafka(16分钟)

配置 Task slots(12分钟)

Operator Chain(12分钟)

默认情况下 task 的分配(16分钟)

Flink 四层图结构(14分钟)

Flink 编程模型小结(10分钟)
05
案例驱动讲解常用 API

案例数据源讲解(14分钟)

自定义 Source(16分钟)

map 和 filter(19分钟)

网格 id 计算(13分钟)

flatMap(14分钟)

keyBy(12分钟)

keyBy练习(17分钟)

RichFunction(18分钟)
06
Flink 状态管理(一)

Flink 中的状态(6分钟)

Flink 中的状态种类(11分钟)

keyed state 之 ValueSate(22分钟)

keyed state 之 ListSate(15分钟)

keyed state 之 MapState(8分钟)

keyed state 之 ReducingState(10分钟)

keyed state 之 AggregatingState(13分钟)

Connected Stream(15分钟)

使用 connect 实现关联(23分钟)

Managed Operator State(19分钟)
07
Flink 状态管理(二)

三种 StateBackend(13分钟)

怎么设置 StateBackend(8分钟)

简单的 checkpoint 机制(10分钟)

Flink checkpoint 机制(12分钟)

checkpoint 配置(15分钟)

Flink 程序重启策略(10分钟)

Broadcast State(25分钟)
08
Time And Window(一)

timeWindow(9分钟)

ProcessWindowFunction(18分钟)

Flink 时间种类(10分钟)

Event Time VS Processing Time(7分钟)

模拟发送带有 Event Time 的数据(15分钟)

处理有序的事件(12分钟)

处理乱序的事件(7分钟)

Event Time 处理乱序事件(9分钟)

Event Time 加 WaterMark 机制(9分钟)

AssignerWithPeriodicWatermarks(9分钟)
09
Time And Window(二)

Watermark 定义(10分钟)

Watermark 深入需求代码(16分钟)

window 计算触发的条件(18分钟)

watermark 加 window 处理乱序事件(11分钟)

默认丢弃迟到太多的事件(7分钟)

allowedLateness 指定允许数据延迟的时间(12分钟)

sideOutputLateData 收集迟到的数据(10分钟)

多并行度下的 watermark(8分钟)

两种 watermark 生成机制(7分钟)

Keyed vs Non-Keyed Windows(17分钟)
10
Time And Window(三)

tumbling window(14分钟)

sliding window(6分钟)

KeyedProcessFunction 注册定时器(23分钟)

session window(9分钟)

global window(10分钟)
11
窗口处理

Window Trigger(26分钟)

Window Evictor(17分钟)

Window Function 之 reduce(10分钟)

Window Function 之 aggregate(9分钟)

Process Window Function(8分钟)

Join API(12分钟)
12
阶段项目实战(一)

计算赚钱最多的司机(13分钟)

代码优化(7分钟)

window 增量计算(10分钟)

Connected Car Event Stream(7分钟)

实时对无序事件排序(15分钟)

处理每个事件(16分钟)

定时输出有序事件(15分钟)

迟到太多事件的处理(13分钟)

Segment 的定义(12分钟)

计算一个 car 的所有 StopSegment(14分钟)
13
阶段项目实战(二)

数据清除策略(11分钟)

计算 StopSegement 的值(9分钟)

GapSegment 的计算(7分钟)
14
Flink On Yarn

Flink 集成 Hadoop(8分钟)

提交单个 Flink Job 到 Yarn 上(8分钟)

Fink On Yarn 配置讲解(16分钟)

杀掉 Yarn Application 的另一种方式(3分钟)

Flink yarn-session(11分钟)

yarn-session 的配置讲解(10分钟)
15
Flink Streaming - Kafka Connector

开发环境和集群环境的准备(7分钟)

Flink Streaming Kafka 序列化一(19分钟)

Flink Streaming Kafka 序列化二(10分钟)

Flink Streaming Kafka 序列化总结(9分钟)

推荐使用的 FlinkKafkaProducer(15分钟)

Flink 集成 Kafka 0.10.x 版本(7分钟)

FlinkKafkaConsumer 消费策略(8分钟)

offset 提交策略(5分钟)
16
Flink Streaming - File Connector

Flink Streaming 写本地文件(12分钟)

数据分配器(BucketAssigner)(9分钟)

文件滚动策略(19分钟)

StreamFileSink 配合checkpoint(7分钟)

Flink Streaming 写 HDFS 文件(5分钟)