Spark进阶 大数据离线与实时项目实战

《Spark进阶 大数据离线与实时项目实战》是一套面向大数据开发工程师、数据分析人员及希望深入学习分布式计算技术的学习者打造的进阶实战课程。课程以Apache Spark为核心，围绕大数据离线处理与实时计算两大应用方向展开，结合实际业务场景，系统讲解Spark的核心原理、开发技术与项目实践方法，帮助学员从基础应用逐步迈向复杂数据处理任务的开发，提升大数据平台构建、数据加工与实时分析能力。

课程重点讲解Spark核心组件及其运行机制，帮助学习者理解RDD、DataFrame、Dataset等核心抽象，掌握常见算子、任务调度、数据分区、缓存机制与性能优化等重要知识。在离线计算方面，课程结合批量数据处理需求，学习如何使用Spark SQL进行数据清洗、转换、关联查询与统计分析，并了解其与Hadoop、Hive等大数据技术生态的协作方式。通过实际案例，学员能够逐步掌握从原始数据接入、数据加工到结果输出的完整离线数据处理流程。

在实时计算方面，课程围绕流式数据处理展开，帮助学习者理解Structured Streaming等技术的基本原理与应用方式，掌握实时数据接入、窗口计算、状态管理及结果输出等核心操作。结合日志分析、业务指标统计和实时数据监控等典型场景，进一步了解如何构建持续运行的数据处理任务，实现数据的实时汇总与业务分析。同时，课程注重离线与实时计算的应用差异，帮助学员根据数据规模、业务时效性及系统需求选择合适的技术方案。

此外，课程还强调项目实战与问题排查，通过完整的数据处理流程训练，帮助学员积累任务开发、运行调试、资源管理及性能调优经验，提升解决复杂数据处理问题的能力。完成课程学习后，学员能够进一步完善Spark技术知识体系，为从事大数据开发、数据平台建设、实时计算及数据工程相关工作打下基础，也为后续深入学习Flink、数据仓库建设与大数据架构设计做好准备。

课程截图：

课程目录：

└── 357 – Spark进阶 大数据离线与实时项目实战 Spark-Hbase-Redis-Hadoop 大技术栈的企业级应用/
├── 第1章 课程介绍&学习指南/
│ └── 1-1 课程介绍_[2].mp4
├── 第2章 Redis入门/
├── 第3章 HBase入门/
│ ├── 3-1 数据存储现状-_[2].mp4
│ ├── 3-2 hbase是什么-_[2].mp4
│ ├── 3-3 hbase在生态圈中的位置以及列式存储带来的好处-_[2].mp4
│ ├── 3-4 hbase的特点-_[2].mp4
│ ├── 3-5 hbase vs rdbms vs hdfs-_[2].mp4
│ ├── 3-6 hbase的优势-_[2].mp4
│ ├── 3-7 hbase数据模-_[2].mp4
│ ├── 3-8 jdk环境搭建-_[2].mp4
│ ├── 3-9 hadoop环境部署(详解一个常见的错误解决方案-_[2].mp4
│ ├── 3-10 zookeeper环境部署-_[2].mp4
│ ├── 3-11 hbase环境部署-_[2].mp4
│ ├── 3-12 hbase shell ddl操作-_[2].mp4
│ ├── 3-13 hbase shell dml操作-_[2].mp4
│ ├── 3-14 hbase api编程之开发前置准备工作-_[2].mp4
│ ├── 3-15 hbase api编程之创建表以及查询表和所有列族-_[2].mp4
│ ├── 3-16 hbase api编程之添加和修改记录-_[2].mp4
│ ├── 3-17 hbase api编程之通过rowkey获取值-_[2].mp4
│ ├── 3-18 hbase api编程之scan-_[2].mp4
│ ├── 3-19 hbase api编程之filter-_[2].mp4
│ └── 3-20 hbase api编程之总结-_[2].mp4
├── 第4章 离线项目实战V1/
│ ├── 4-1 课程目录-_[2].mp4
│ ├── 4-2 项目背-_[2].mp4
│ ├── 4-3 项目处理流程-_[2].mp4
│ ├── 4-4 项目离线和实时架构-_[2].mp4
│ ├── 4-5 明确架构图中每个步骤使用的技术以及职责所-_[2].mp4
│ ├── 4-6 项目指标需求-_[2].mp4
│ ├── 4-7 功能开发之useragent解析(掌握如何获取技-_[2].mp4
│ ├── 4-8 功能开发之ip解析思路-_[2].mp4
│ ├── 4-9 功能开发之spark和hbase依赖整合-_[2].mp4
│ ├── 4-10 开发环境依赖使用说-_[2].mp4
│ ├── 4-11 功能开发之解析日志成dataframe并为dataframe添加字段信-_[2].mp4
│ ├── 4-12 功能开发之将df内容转成hbase要存储的-_[2].mp4
│ ├── 4-13 功能开发之整体etl流程详解及如何传参设计-_[2].mp4
│ ├── 4-14 功能开发之创建hbase表-_[2].mp4
│ ├── 4-15 功能开发之hbase rowkey设计_-_[2].mp4
│ ├── 4-16 功能开发之完成etl数据到hbase落地的全过程-_[2].mp4
│ ├── 4-17 功能开发之完成第一个指标的统计分析-_[2].mp4
│ ├── 4-18 功能开发之完成第二个指标的统计分析-_[2].mp4
│ ├── 4-19 性能优化之缓存的使用-_[2].mp4
│ ├── 4-20 功能开发之统计功能使用dataframe api以及sql api来完成-_[2].mp4
│ └── 4-21 本章小结-_[2].mp4
├── 第5章 离线项目实战优化/
│ ├── 5-1 课程目录-_[2].mp4
│ ├── 5-2 spark on yarn-_[2].mp4
│ ├── 5-3 linux时间获取-_[2].mp4
│ ├── 5-4 shell封装spark作业提交脚本-_[2].mp4
│ ├── 5-5 将统计结果写入到mysql中-_[2].mp4
│ ├── 5-6 统计结果写入到mysql调优-_[2].mp4
│ ├── 5-7 spark etl到hbase优化之禁用wal-_[2].mp4
│ ├── 5-8 spark etl到hbase的hfile思路-_[2].mp4
│ ├── 5-9 spark产生hfile文件格式准备工作-_[2].mp4
│ └── 5-10 spark产生hfile整个流程实现并总结-_[2].mp4
├── 第6章 实时项目实战/
│ ├── 6-1 课程目录-_[2].mp4
│ ├── 6-2 项目背景-_[2].mp4
│ ├── 6-3 项目架构及处理流程-_[2].mp4
│ ├── 6-4 项目需求-_[2].mp4
│ ├── 6-5 开发环境准备及参数配置统一管理-_[2].mp4
│ ├── 6-6 kafka部署及测试-_[2].mp4
│ ├── 6-7 mock数据-_[2].mp4
│ ├── 6-8 发送数据到kafka-_[2].mp4
│ ├── 6-9 sparkstreaming对接kafka数据-_[2].mp4
│ ├── 6-10 功能实现之每天的粒度统计1-_[2].mp4
│ ├── 6-11 功能开发之调优-_[2].mp4
│ ├── 6-12 功能实现小结-_[2].mp4
│ ├── 6-13 功能实现之每小时统计及代码重构-_[2].mp4
│ └── 6-14 sparkstreaming对接kafka offset管理-_[2].mp4
├── 第7章 初识Alluxio/
│ ├── 7-1 课程目录-_[2].mp4
│ ├── 7-2 概述-_[2].mp4
│ ├── 7-3 spark应用存在的问题分析-_[2].mp4
│ ├── 7-4 alluxio能为我们带来什么-_[2].mp4
│ ├── 7-5 alluxio特点-_[2].mp4
│ ├── 7-6 在spark实战项目中引入alluxio-_[2].mp4
│ ├── 7-7 alluxio部署-_[2].mp4
│ ├── 7-8 alluxio文件系统命令行操作-_[2].mp4
│ ├── 7-9 alluxio整合hdfs使用-_[2].mp4
│ ├── 7-10 alluxio整合mapreduce使用-_[2].mp4
│ ├── 7-11 alluxio整合spark使用-_[2].mp4
│ ├── 7-12 alluxio案例分享之在百度的使用-_[2].mp4
│ └── 7-13 alluxio案例分享之在去哪儿的应用-_[2].mp4
├── 第8章 Spark优化/
│ ├── 8-1 课程目录_[2].mp4
│ ├── 8-2 调优之资源设置_[2].mp4
│ ├── 8-3 调优之算子的合理选择_[2].mp4
│ ├── 8-4 扩展之自定义排序一-_[2].mp4
│ ├── 8-5 扩展之自定义排序二(附带经典面试题-_[2].mp4
│ ├── 8-6 扩展之自定义排序(隐式转换-_[2].mp4
│ ├── 8-7 spark streaming调优之kafka限速-_[2].mp4
│ ├── 8-8 spark streaming对接kafka能真正做到仅消费一次吗-_[2].mp4
│ ├── 8-9 调优之序列化-_[2].mp4
│ └── 8-10 调优之广播变量-_[2].mp4
└── 课程资料/
├── spark进阶安装包/
│ ├── access.log.tar.gz
│ └── spark-2.4.2-bin-2.6.0-cdh5.15.1_20190731_104546.tgz
└── coding357-master.zip