大数据平台架构与课程体系

讲师简介
赵渝强
近20年的IT行业从业经历,清华大学计算机软件工程专业毕业,京东大学大数据学院院长,Oracle中国有限公司高级技术顾问;华为认证讲师。曾在BEA、甲骨文、摩托罗拉等世界500强公司担任高级软件架构师或咨询顾问等职位,精通大数据、数据库、容器技术和中间件技术。

在这里插入图片描述在这里插入图片描述





















第三本书:
容器技术 Docker + K8s
预计2022年5月上市

在这里插入图片描述











1.课程介绍

在这里插入图片描述

2.什么是大数据
大数据(Big Data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据的5个特征(IBM提出):
Volume (大量)
Velocity(高速)
Variety (多样)
Value (价值)
Veracity(真实性)

3.电商网站的商品推荐
在这里插入图片描述

4.基于大数据的天气预报
在这里插入图片描述

5.大数据平台的核心问题
数据的存储
数据的计算

6.什么是数据仓库
数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。

在这里插入图片描述
7.大数据平台的整体架构

在这里插入图片描述
8.Hadoop的生态圈组件
在这里插入图片描述
9.Spark的生态圈组件
在这里插入图片描述
10.Flink的生态圈组件
在这里插入图片描述

11.大数据开发工程师课程体系
在这里插入图片描述