最新版Spark视频教程 – 带源码课件

【尚硅谷】最新版Spark视频教程 – 带源码课件是一套面向大数据开发人员精心打造的Spark系统化课程，内容涵盖Spark核心原理、RDD编程、Spark SQL、Spark Streaming、性能优化以及企业级项目实战等多个模块，并配套完整源码、课件和案例，帮助学习者从零基础逐步成长为具备Spark开发能力的大数据工程师。

课程从Spark生态体系入手，介绍Spark的发展历程、核心优势、运行架构以及与Hadoop生态的关系，让学员理解Spark在离线计算、实时计算、机器学习等场景中的应用价值。随后深入讲解Spark开发环境的搭建，包括Linux环境配置、Scala开发环境、IDEA集成开发以及集群部署，为后续学习打下扎实基础。

在核心内容方面，课程重点讲解RDD的创建、转换算子、行动算子、缓存机制、分区管理、共享变量（Broadcast、Accumulator）、Shuffle原理、容错机制及任务调度流程，并结合大量代码案例帮助学员深入理解Spark计算模型。同时，课程还详细介绍Spark SQL的数据读取、DataFrame与Dataset、UDF自定义函数、窗口函数、SQL优化等内容，使学员能够熟练完成结构化数据分析任务。

针对实时计算需求，课程系统讲解Spark Streaming及Structured Streaming，包括流数据处理、窗口计算、Kafka集成、状态管理、容错恢复等关键知识点，帮助学员掌握实时数据处理开发流程。此外，还会介绍Spark与Hive、HDFS、MySQL、Redis等常见大数据组件的整合应用，提高企业开发能力。

为了增强实战经验，课程安排了多个企业级案例，如日志分析、用户行为统计、广告点击分析、热门商品推荐、实时数据监控等项目，通过完整项目演练，让学员掌握需求分析、数据处理、代码开发、性能调优及结果展示等完整开发流程。

在性能优化部分，课程深入分析Spark运行机制，讲解内存管理、缓存优化、数据倾斜处理、小文件优化、Shuffle优化、资源调度、任务并行度调整等高级技巧，帮助学员提升程序运行效率，满足企业生产环境需求。

课程采用理论结合实践的教学方式，讲解细致、案例丰富，配套完整源码、实验数据、课件资料及学习笔记，方便学员边学边练、反复巩固。无论是准备大数据岗位面试、提升Spark开发能力，还是系统学习Apache Spark生态，本套《【尚硅谷】最新版Spark视频教程》都是一套内容全面、实战性强、适合长期学习与参考的优质课程。

课程目录：

最新版Spark视频教程 – 带源码课件/
│ ├── 课件/
│ │ ├── 01_尚硅谷大数据技术之Spark入门（V5.0）.docx (2.73 MB)
│ │ ├── 02_尚硅谷大数据技术之SparkCore（V5.0）.docx (8.38 MB)
│ │ ├── 03_尚硅谷大数据技术之SparkSQL（V5.0）.docx (1.08 MB)
│ │ ├── 04_尚硅谷大数据技术之Spark内核及调优（V5.0）.docx (5.98 MB)
│ │ ├── 05_尚硅谷大数据技术之SparkStreaming（V5.0）.docx (1.35 MB)
│ │ ├── 06-课程内容讲解.bmpr (6.07 MB)
│ │ └── 课件资料.zip (1.83 MB)
│ └── 视频/
│ │ ├── 002-Spark-文件结构-介绍.mp4 (6.55 MB)
│ │ ├── 003-Spark-基础概念-介绍-分布式.mp4 (20.90 MB)
│ │ ├── 007-Spark-基础概念-介绍-Spark和MR的关系.mp4 (59.99 MB)
│ │ ├── 008-Spark-介绍.mp4 (39.40 MB)
│ │ ├── 011-Spark-部署环境-Local.mp4 (61.49 MB)
│ │ ├── 012-Spark-部署环境-Local-演示.mp4 (114.68 MB)
│ │ ├── 013-Spark-部署环境-Yarn-演示.mp4 (127.63 MB)
│ │ ├── 014-Spark-部署环境-Yarn-历史服务.mp4 (63.42 MB)
│ │ ├── 015-Spark-部署环境-Yarn-2种执行方式Cluster和Client.mp4 (146.45 MB)
│ │ ├── 016-Spark-部署环境-几种模式的对比.mp4 (22.54 MB)
│ │ ├── 017-Spark-数据结构-说明.mp4 (42.55 MB)
│ │ ├── 019-Spark-RDD-数据处理流程简介.mp4 (42.44 MB)
│ │ ├── 020-Spark-RDD-计算原理.mp4 (54.99 MB)
│ │ ├── 021-Spark-RDD-计算原理-补充.mp4 (138.22 MB)
│ │ ├── 023-Spark-RDD-代码-对接内存数据源构建RDD对象.mp4 (34.61 MB)
│ │ ├── 025-Spark-RDD-代码-RDD的理解.mp4 (35.07 MB)
│ │ ├── 026-Spark-RDD-代码-RDD的分区.mp4 (64.72 MB)
│ │ ├── 028-Spark-RDD-代码-磁盘文件数据源-分区数量的设定.mp4 (134.52 MB)
│ │ ├── 029-Spark-RDD-代码-内存数据源-分区数据的分配.mp4 (85.40 MB)
│ │ ├── 030-Spark-RDD-代码-磁盘文件数据源-分区数据的分配.mp4 (70.89 MB)
│ │ ├── 031-Spark-RDD-代码-磁盘文件数据源-分区数据的分配-演示.mp4 (34.49 MB)
│ │ ├── 032-Spark-RDD-课件梳理.mp4 (34.36 MB)
│ │ ├── 033-Spark-RDD-方法-介绍.mp4 (67.86 MB)
│ │ ├── 034-Spark-RDD-方法-方法的2大类-转换和行动.mp4 (38.11 MB)
│ │ ├── 035-Spark-RDD-方法-数据处理的2大类-单值和键值.mp4 (65.48 MB)
│ │ ├── 036-Spark-RDD-方法-转换-map.mp4 (135.83 MB)
│ │ ├── 039-Spark-RDD-方法-转换-map-3.mp4 (137.03 MB)
│ │ ├── 042-Spark-RDD-方法-转换-flatMap.mp4 (131.57 MB)
│ │ ├── 044-Spark-RDD-方法-转换-groupBy.mp4 (66.14 MB)
│ │ ├── 046-Spark-RDD-回顾-方法.mp4 (31.56 MB)
│ │ ├── 047-Spark-RDD-Shuffle.mp4 (55.45 MB)
│ │ ├── 048-Spark-RDD-Shuffle-原理.mp4 (67.01 MB)
│ │ ├── 049-Spark-RDD-Shuffle-原理-补充.mp4 (49.15 MB)
│ │ ├── 051-Spark-RDD-方法-distinct.mp4 (38.41 MB)
│ │ ├── 052-Spark-RDD-方法-sortBy.mp4 (83.69 MB)
│ │ ├── 053-Spark-RDD-方法-KV类型数据介绍.mp4 (78.10 MB)
│ │ ├── 056-Spark-RDD-方法-KV-wordCount.mp4 (57.83 MB)
│ │ ├── 057-Spark-RDD-方法-KV-groupByKey.mp4 (73.48 MB)
│ │ ├── 060-Spark-RDD-方法-KV-reduceByKey和groupByKey的区别.mp4 (122.65 MB)
│ │ ├── 063-Spark-RDD-行动算子-介绍.mp4 (176.59 MB)
│ │ ├── 065-Spark-RDD-行动算子-collect-补充.mp4 (74.09 MB)
│ │ ├── 066-Spark-RDD-行动算子-其他方法-1.mp4 (39.91 MB)
│ │ ├── 067-Spark-RDD-行动算子-其他方法-2.mp4 (57.06 MB)
│ │ ├── 070-Spark-RDD-序列化-1.mp4 (93.67 MB)
│ │ ├── 072-Spark-案例-数据格式说明.mp4 (103.13 MB)
│ │ ├── 073-Spark-案例-需求介绍.mp4 (35.16 MB)
│ │ ├── 074-Spark-案例-需求分析.mp4 (55.81 MB)
│ │ ├── 075-Spark-案例-需求设计.mp4 (33.06 MB)
│ │ ├── 078-Spark-案例-代码实现-2.mp4 (230.41 MB)
│ │ ├── 079-Spark-案例-代码实现-3.mp4 (137.01 MB)
│ │ ├── 080-Spark-案例-代码实现-4.mp4 (90.51 MB)
│ │ ├── 082-Spark-RDD-依赖关系-介绍.mp4 (84.03 MB)
│ │ ├── 084-Spark-RDD-依赖关系-血缘关系.mp4 (43.12 MB)
│ │ ├── 085-Spark-RDD-依赖关系-依赖关系.mp4 (35.39 MB)
│ │ ├── 087-Spark-RDD-依赖关系-作业，阶段和任务的关系.mp4 (336.03 MB)
│ │ ├── 088-Spark-RDD-依赖关系-任务的数量.mp4 (64.59 MB)
│ │ ├── 089-Spark-RDD-依赖关系-分区的数量.mp4 (67.55 MB)
│ │ ├── 090-Spark-RDD-持久化和序列化的关系.mp4 (9.31 MB)
│ │ ├── 094-Spark-RDD-持久化-shuffle算子的持久化.mp4 (132.34 MB)
│ │ ├── 096-Spark-RDD-自定义分区器.mp4 (85.62 MB)
│ │ ├── 098-Spark-第一个案例问题原因.mp4 (37.79 MB)
│ │ ├── 100-Spark-RDD的局限性.mp4 (129.28 MB)
│ │ ├── 101-SparkSQL-介绍.mp4 (117.04 MB)
│ │ ├── 103-SparkSQL-模型对象的封装.mp4 (31.32 MB)
│ │ ├── 105-SparkSQL-不同场景下环境对象的转换.mp4 (72.26 MB)
│ │ ├── 107-SparkSQL-使用SQL的方式来访问数据模型.mp4 (35.89 MB)
│ │ ├── 108-SparkSQL-使用DSL的方式来访问数据模型.mp4 (15.96 MB)
│ │ ├── 109-SparkSQL-自定义udf函数对象.mp4 (121.20 MB)
│ │ ├── 111-SparkSQL-自定义udaf函数的底层实现原理.mp4 (44.88 MB)
│ │ ├── 112-SparkSQL-自定义udaf函数的实现步骤-1.mp4 (60.21 MB)
│ │ ├── 113-SparkSQL-自定义udaf函数的实现步骤-2.mp4 (91.21 MB)
│ │ ├── 115-SparkSQL-数据源-CSV.mp4 (105.08 MB)
│ │ ├── 118-SparkSQL-数据源-JDBC.mp4 (66.58 MB)
│ │ ├── 119-SparkSQL-数据源-Hive.mp4 (76.43 MB)
│ │ ├── 120-SparkSQL-案例-数据准备.mp4 (54.42 MB)
│ │ ├── 122-SparkSQL-案例-需求分析.mp4 (82.17 MB)
│ │ ├── 124-SparkSQL-案例-SQL实现-1.mp4 (112.79 MB)
│ │ ├── 125-SparkSQL-案例-SQL实现-2.mp4 (48.36 MB)
│ │ ├── 126-SparkSQL-案例-SQL实现-3.mp4 (100.36 MB)
│ │ ├── 127-SparkSQL-案例-SQL实现-4.mp4 (98.79 MB)
│ │ ├── 128-SparkSQL-案例-SQL实现-5.mp4 (51.55 MB)
│ │ ├── 130-SparkSQL-案例-SQL实现-7.mp4 (96.65 MB)
│ │ ├── 133-SparkStreaming-介绍.mp4 (78.78 MB)
│ │ ├── 135-SparkStreaming-原理-补充.mp4 (22.24 MB)
│ │ ├── 139-SparkStreaming-Kafka数据流处理演示.mp4 (64.64 MB)
│ │ ├── 140-SparkStreaming-DStream方法介绍.mp4 (63.63 MB)
│ │ ├── 142-SparkStreaming-窗口操作.mp4 (119.04 MB)
│ │ ├── 143-SparkStreaming-回顾-1.mp4 (151.56 MB)
│ │ ├── 144-SparkStreaming-回顾-2.mp4 (130.70 MB)
│ │ ├── 146-SparkStreaming-关闭-2.mp4 (42.69 MB)
│ │ ├── 148-Spark-内核-运行流程-1.mp4 (216.95 MB)
│ │ ├── 149-Spark-内核-运行流程-2.mp4 (167.93 MB)
│ │ ├── 150-Spark-内核-运行流程-3.mp4 (56.83 MB)
│ │ ├── 151-Spark-内核-核心对象.mp4 (72.45 MB)
│ │ ├── 152-Spark-内核-核心对象通信流程-Netty.mp4 (160.12 MB)
│ │ ├── 153-Spark-内核-Task任务的调度执行.mp4 (271.38 MB)
│ │ ├── 155-Spark-内核-Shuffle底层的实现原理-2.mp4 (160.17 MB)
│ │ ├── 156-Spark-内核-内存管理.mp4 (113.59 MB)
│ │ ├── 157-Spark-内核-内存管理-补充.mp4 (101.61 MB)
│ │ └── 视频说明.png (0.48 MB)