课程介绍

注意0：欲购买此课程，获取安全购买链接，索要正版授权学习平台账号，务必加咨询QQ：2536379620
注意1：由于编码原因，试听课程视频画面清晰度不如最终购买的视频。最终购买视频的画面清晰度可参见以下两张图。图1   图2
注意2：正版良心视频，购买后有机会和原作者直接短暂技术交流。
    
注意3：感觉课程太难？没有信心？还在犹豫自己学的会学不会？我们的师傅带徒弟模式（5倍下单）会给您信心。我们承诺，商品详情，教学大纲，视频内容，所涉及技术，可获得原创作者老师微信或QQ和针对视频范围的精心指导。线上一对一师带徒辅导问答，针对视频内代码调试，使命必达，视频之外相关技术内容，行业内信息人脉，企业内推(如有)，原创作者老师会竭诚帮助。

以上所示价格，只能自行学习视频和获取少量解答。师傅带徒弟课程（5倍下单左右，可以先和客服联系，可获得老师的联系方法和针对视频范围的精心指导。线上一对一师带徒辅导问答，针对视频内代码调试，使命必达。）

Spark SQL 是 Spark 在结构化数据处理领域中的一项技术，我们可以通过 Spark SQL 使用 SQL 语言来处理分析大数据，从而降低对大量数据处理以及分析的门槛。
对于熟悉 SQL 语言的同学，学习 Spark SQL 将会变的非常简单。

大数据高级工程师课程体系
经受3年的市场检验
内容持续更新
系统学习大数据技术

为什么学习大数据技术？
随着社会的发展，各行各业能收集到的数据越来越多，需要处理数据量也是越来越大，因此，各行各业与大数据技术的结合势在必行！
人们都知道云计算、人工智能、区块链是未来的趋势但是你知道它们三者的基础还是大数据技术吗？

课程大纲

01
需要的基础

【录播】课程内容(5分钟)

【录播】DSL(11分钟)

【录播】SQL(7分钟)

【录播】数据格式的种类及其特点(8分钟)

【录播】Spark SQL的初衷(8分钟)

【录播】SQL On Hadoop - Hive(8分钟)

【录播】SQL On Hadoop - Imapla(11分钟)
02
Spark SQL 的前生今世以及未来

【录播】Shark(8分钟)

【录播】大事记(5分钟)

【录播】Spark SQL四大目标(7分钟)

【录播】Spark SQL架构及其处理流(16分钟)

【录播】API实现的发展(13分钟)

【录播】DataFrame(18分钟)

【录播】Dataset(8分钟)

【录播】API演化的合理性(必须掌握)(10分钟)

【录播】Dataset API分类(5分钟)

【录播】Spark SQL未来会成为Spark的新核心(11分钟)
03
Spark SQL 基本概念

【录播】spark SQL基本概念(18分钟)

【录播】浅尝spark SQL的API(17分钟)

【录播】SparkSession的讲解(15分钟)

【录播】DataFrame的创建(必须掌握)(17分钟)

【录播】Dataset的创建(必须掌握)(16分钟)

【录播】RDD/Dataset/DataFrame的转换(9分钟)

【录播】schema的定义以及复杂数据类型的用法(20分钟)

【录播】实战：schema api的用处(16分钟)
04
Spark SQL 读写常见文件

【录播】数据源-基本操作load和save(20分钟)

【录播】数据源-parquet和orc文件的读写(13分钟)

【录播】数据源-json文件的读写一(16分钟)

【录播】数据源-json文件的读写二(14分钟)

【录播】数据源-csv文件的读写一(19分钟)

【录播】数据源-csv文件的读写二(17分钟)
05
Spark SQL 使用 JDBC 读写关系型数据库

【录播】Mysql的JDBC驱动包放置在Spark的安装目录下(3分钟)

【录播】Spark SQL读写Mysql的权限问题(3分钟)

【录播】数据源-通过jdbc读写mysql数据库(必须掌握)(10分钟)

【录播】通过jdbc写mysql数据库需要注意的点(12分钟)

【录播】通过jdbc读mysql数据库需要注意的点(16分钟)
06
Spark SQL 读写表

【录播】数据源-text文件和table数据源的读写(10分钟)

【录播】数据源实战之数据分区(必须掌握)(16分钟)

【录播】catalog元数据管理讲解(20分钟)
07
SQL、DataFrame 以及 Dataset

【录播】DDL-表的类型种类及其创建方式(20分钟)

【录播】DQL-sql查询及其sql函数讲解(11分钟)

【录播】SQL内置函数(很全)(14分钟)

【录播】Column的表达(必须掌握)(15分钟)

【录播】DataFrame中Untyped API讲解(20分钟)

【录播】DataFrame Untyped API与SQL对比(8分钟)

【录播】Dataset typed API(23分钟)
08
Dataset 常见 API

【录播】group分组聚合(必须掌握)(16分钟)

【录播】join关联相关(必须掌握)(17分钟)

【录播】sort排序相关API(8分钟)

【录播】实战：自定义UDAF(20分钟)

【录播】Action API和其他API(6分钟)

【录播】RDDs\DataFrames\Datasets各自使用场景(13分钟)

【录播】实战一：json格式数据处理(21分钟)

【录播】实战二：物联网设备信息的ETL(14分钟)