数据湖架构开发Hudi

《黑马程序员数据湖架构开发Hudi》是一套面向大数据开发人员打造的数据湖技术实战课程，重点围绕Apache Hudi这一主流数据湖框架展开，结合企业级大数据应用场景，系统讲解数据湖架构、Hudi核心原理以及实时数据处理与数据管理实践，帮助学习者建立完整的数据湖开发知识体系。

课程从数据湖基础概念入手，介绍传统数据仓库与数据湖的区别，以及数据湖在海量数据存储、实时分析和数据治理中的应用价值。在Hudi核心技术部分，将深入学习Copy On Write、Merge On Read等表类型，理解Hudi的写入、更新、删除、查询以及数据版本管理机制，并掌握时间轴、索引、文件管理等核心组件的工作原理。

在实战环节，课程结合Spark、Hive等大数据技术，讲解Hudi数据写入、增量读取、数据同步、CDC数据处理以及实时数仓建设等常见业务场景，帮助学习者理解如何利用Hudi解决传统数据湖中数据更新困难、实时性不足以及数据管理复杂等问题。同时通过项目实践，将理论知识融入真实的数据开发流程，提升独立解决数据湖开发问题的能力。

课程适合大数据开发工程师、数据工程师、数仓开发人员以及希望深入学习数据湖技术的学习者。通过系统学习，可以掌握Hudi从基础原理到项目落地的完整技术路线，为构建实时数据湖、湖仓一体架构以及企业级大数据平台打下扎实基础。

课程目录：

黑马程序员数据湖架构开发Hudi/
│ ├── 1.Hudi 基础入门篇视频/
│ │ ├── 00–Apache Hudi 课程内容提纲.mp4 (12.83 MB)
│ │ ├── 01–Hudi 基础入门篇–课程内容大纲和学习目标.wmv (7.52 MB)
│ │ ├── 02–为什么要学习Apache Hudi–什么是数据湖DataLake.wmv (10.10 MB)
│ │ ├── 03–为什么要学习Apache Hudi–数据仓库和数据湖区别.wmv (14.16 MB)
│ │ ├── 04–为什么要学习Apache Hudi–三大流式数据湖框架.wmv (10.50 MB)
│ │ ├── 05–为什么要学习Apache Hudi–Hudi 框架基本介绍.wmv (27.65 MB)
│ │ ├── 06–为什么要学习Apache Hudi–Hudi 快速发展.wmv (14.42 MB)
│ │ ├── 07–Hudi 快速体验使用–编译Hudi 源码.wmv (57.99 MB)
│ │ ├── 08–Hudi 快速体验使用–大数据环境准备概述.wmv (7.57 MB)
│ │ ├── 09–Hudi 快速体验使用–HDFS 安装部署测试.wmv (38.48 MB)
│ │ ├── 10–Hudi 快速体验使用–Spark 安装部署测试.wmv (27.32 MB)
│ │ ├── 11–Hudi 快速体验使用–启动spark-shell添加jar包.wmv (23.10 MB)
│ │ ├── 12–Hudi 快速体验使用–模拟产生乘车Trip数据.wmv (17.81 MB)
│ │ ├── 13–Hudi 快速体验使用–保存数据到Hudi表.wmv (22.11 MB)
│ │ ├── 14–Hudi 快速体验使用–查询Hudi表数据.wmv (28.38 MB)
│ │ ├── 15–Hudi 快速体验使用–初识Hudi数据管理.wmv (18.80 MB)
│ │ ├── 16–基于IDEA编程使用Hudi–构建Maven模块环境.wmv (42.10 MB)
│ │ ├── 17–基于IDEA编程使用Hudi–模拟数据并插入Insert.wmv (64.18 MB)
│ │ ├── 18–基于IDEA编程使用Hudi–快照查询及日期时间过滤查询.wmv (61.07 MB)
│ │ ├── 19–基于IDEA编程使用Hudi–更新数据Update.wmv (44.04 MB)
│ │ ├── 20–基于IDEA编程使用Hudi–增量查询Incremental数据.wmv (48.16 MB)
│ │ ├── 21–基于IDEA编程使用Hudi–删除数据Delete.wmv (57.56 MB)
│ │ ├── 22–Apache Hudi 核心概念剖析–三大基本概念.wmv (24.25 MB)
│ │ ├── 23–Apache Hudi 核心概念剖析–数据计算三种模型.wmv (10.53 MB)
│ │ ├── 24–Apache Hudi 核心概念剖析–Hudi数据三种查询类型.wmv (11.49 MB)
│ │ ├── 25–Apache Hudi 核心概念剖析–COW 类型表.wmv (10.35 MB)
│ │ ├── 26–Apache Hudi 核心概念剖析–MOR 类型表.wmv (13.91 MB)
│ │ ├── 27–Apache Hudi 核心概念剖析–数据写操作流程.wmv (10.76 MB)
│ │ └── 28–Hudi 基础入门篇–课程内容内容总结和作业.mp4 (19.84 MB)
│ ├── 2.Hudi 应用进阶篇（Spark 集成）视频/
│ │ ├── 01–Hudi 应用进阶篇之集成Spark–课程内容大纲和学习目标.wmv (8.02 MB)
│ │ ├── 02–大数据环境准备–离线tar安装MySQL 5.7.wmv (59.56 MB)
│ │ ├── 2.Hudi 应用进阶篇（Spark 集成）视频必看.png (0.48 MB)
│ │ ├── 03–大数据环境准备–安装部署Hive.wmv (58.50 MB)
│ │ ├── 04–大数据环境准备–安装部署Zookeeper.wmv (20.17 MB)
│ │ ├── 05–大数据环境准备–安装部署Kafka.wmv (24.23 MB)
│ │ ├── 06–滴滴运营数据分析–业务数据调研和需求分析.wmv (29.61 MB)
│ │ ├── 07–滴滴运营数据分析–构建开发环境.wmv (23.23 MB)
│ │ ├── 08–滴滴运营数据分析–工具类SparkUtils.wmv (27.95 MB)
│ │ ├── 09–滴滴运营数据分析–日期转换星期测试.wmv (20.87 MB)
│ │ ├── 10–滴滴运营数据分析–业务数据加载存储–思路分析.wmv (59.65 MB)
│ │ ├── 11–滴滴运营数据分析–业务数据加载存储–加载CSV数据.wmv (30.85 MB)
│ │ ├── 12–滴滴运营数据分析–业务数据加载存储–数据ETL转换.wmv (34.80 MB)
│ │ ├── 13–滴滴运营数据分析–业务数据加载存储–保存Hudi表.wmv (32.14 MB)
│ │ ├── 14–滴滴运营数据分析–指标查询分析–加载Hudi表数据.wmv (39.52 MB)
│ │ ├── 15–滴滴运营数据分析–指标查询分析–订单类型统计.wmv (31.28 MB)
│ │ ├── 16–滴滴运营数据分析–指标查询分析–订单时效性统计.wmv (12.64 MB)
│ │ ├── 17–滴滴运营数据分析–指标查询分析–订单交通类型统计.wmv (15.21 MB)
│ │ ├── 18–滴滴运营数据分析–指标查询分析–订单价格区间统计.wmv (35.51 MB)
│ │ ├── 19–滴滴运营数据分析–指标查询分析–订单距离区间统计.wmv (22.55 MB)
│ │ ├── 20–滴滴运营数据分析–指标查询分析–订单星期统计.wmv (27.66 MB)
│ │ ├── 21–滴滴运营数据分析–集成Hive查询–创建表和添加分区.wmv (79.49 MB)
│ │ ├── 22–滴滴运营数据分析–集成Hive查询–编写SQL指标分析.wmv (36.50 MB)
│ │ ├── 23–结构化流写入Hudi–模拟交易订单数据和流程分析.wmv (46.99 MB)
│ │ ├── 24–结构化流写入Hudi–流式程序开发.wmv (91.24 MB)
│ │ ├── 25–结构化流写入Hudi–订单数据查询分析.wmv (87.88 MB)
│ │ ├── 26–结构化流写入Hudi–工具类DeltaStreamer.wmv (21.34 MB)
│ │ ├── 27–集成 SparkSQL–快速体验数据CRUD.wmv (248.85 MB)
│ │ ├── 28–集成 SparkSQL–创建表方式.wmv (10.45 MB)
│ │ ├── 29–集成 SparkSQL–MergeInto语句.wmv (93.54 MB)
│ │ └── 30–Hudi 应用进阶篇之集成Spark–课程内容内容总结和作业.wmv (8.09 MB)
│ ├── 3.Hudi 应用进阶篇（Flink 集成）视频/
│ │ ├── 01–Hudi 应用进阶篇之集成Flink–课程内容大纲和学习目标.wmv (7.87 MB)
│ │ ├── 02–快速入门使用–Flink Standalone 集群安装部署.wmv (21.79 MB)
│ │ ├── 03–快速入门使用–集成方式及启动SQL Client.wmv (27.75 MB)
│ │ ├── 3.Hudi 应用进阶篇（Flink 集成）视频文档.png (0.48 MB)
│ │ ├── 04–快速入门使用–创建表及数据插入更新查询.wmv (40.38 MB)
│ │ ├── 05–快速入门使用–流式查询StreamingQuery.wmv (38.12 MB)
│ │ ├── 06–Flink SQL Writer–Flink SQL集成Kafka.wmv (49.66 MB)
│ │ ├── 07–Flink SQL Writer–构建Maven开发环境.wmv (24.02 MB)
│ │ ├── 08–Flink SQL Writer–采用Flink SQL编程加载Kafka数据.wmv (67.09 MB)
│ │ ├── 09–Flink SQL Writer–编程实现数据实时增量存储Hudi表.wmv (73.86 MB)
│ │ ├── 10–Flink SQL Writer–编程实现流式增量读取Hudi表数据.wmv (37.33 MB)
│ │ ├── 11–Flink SQL Client 写入Hudi–整体思路流程及环境配置.wmv (64.25 MB)
│ │ ├── 12–Flink SQL Client 写入Hudi–编写DDL和DML语句数据实时入湖Hudi.wmv (48.01 MB)
│ │ ├── 13–Flink CDC Hudi–CDC 概念和类型.wmv (17.93 MB)
│ │ ├── 14–Flink CDC Hudi–重新编译Hudi源码集成Flink与Hive.wmv (28.61 MB)
│ │ ├── 15–Flink CDC Hudi–开启MySQL binlog和创建表.wmv (15.51 MB)
│ │ ├── 16–Flink CDC Hudi–使用Flink CDC创建表及测试.wmv (24.91 MB)
│ │ ├── 17–Flink CDC Hudi–创建视图View存储中间数据.wmv (15.58 MB)
│ │ ├── 18–Flink CDC Hudi–插入视图数据插入Hudi表.wmv (32.60 MB)
│ │ ├── 19–Flink CDC Hudi–使用Hive查询Hudi表数据.wmv (21.61 MB)
│ │ ├── 20–Flink CDC Hudi–Hudi管理命令hudi-cli使用.wmv (70.64 MB)
│ │ └── 21–Hudi 应用进阶篇之集成Flink–课程内容内容总结和作业.wmv (5.63 MB)
│ ├── 4.传智教育博学谷Hudi案例实战视频/
│ │ ├── 01–传智教育博学谷Hudi案例实战–课程内容大纲和学习目标.wmv (12.72 MB)
│ │ ├── 02–实战案例技术架构–Flume+Kafka+StructuredStreaming+Hudi+Hive+MySQL.wmv (18.94 MB)
│ │ ├── 03–业务数据调研–运行程序实时产生社交数据.wmv (53.13 MB)
│ │ ├── 4.传智教育博学谷Hudi案例实战视频资料.zip (1.83 MB)
│ │ ├── 04–七陌数据采集–ApacheFlume是什么及运行机制.wmv (26.42 MB)
│ │ ├── 05–七陌数据采集–ApacheFlume安装部署及开发步骤.wmv (48.05 MB)
│ │ ├── 06–七陌数据采集–ApacheFlume入门案例.wmv (42.21 MB)
│ │ ├── 07–七陌数据采集–编写配置运行Agent实时采集数据至Kafka.wmv (54.09 MB)
│ │ ├── 08–实时存储七陌数据–创建模块及编写流式程序开发步骤.wmv (27.19 MB)
│ │ ├── 09–实时存储七陌数据–消费Kafka数据及转换处理.wmv (94.40 MB)
│ │ ├── 10–实时存储七陌数据–存储Hudi表及测试运行.wmv (69.83 MB)
│ │ ├── 11–集成Hive指标分析–创建Hive表和添加分区信息.wmv (35.67 MB)
│ │ ├── 12–集成Hive指标分析–编写SQL进行业务指标分析.wmv (37.20 MB)
│ │ ├── 13–SparkSQL 离线指标分析–业务指标需求分析和创建MySQL结果表.wmv (15.58 MB)
│ │ ├── 14–SparkSQL 离线指标分析–离线批量加载Hudi表数据.wmv (43.07 MB)
│ │ ├── 15–SparkSQL 离线指标分析–自定义UDF函数解析IP地址为省份.wmv (45.77 MB)
│ │ ├── 16–SparkSQL 离线指标分析–Hudi表数据选择字段和转换数据.wmv (39.40 MB)
│ │ ├── 17–SparkSQL 离线指标分析–编写SQL实现业务指标分析.wmv (48.27 MB)
│ │ ├── 18–SparkSQL 离线指标分析–指标结果保存MySQL表.wmv (62.48 MB)
│ │ ├── 19–FineBI 报表可视化–配置FineBI数据源和添加数据集.wmv (48.69 MB)
│ │ ├── 20–FineBI 报表可视化–创建仪表盘及添加总信息量.wmv (22.86 MB)
│ │ ├── 21–FineBI 报表可视化–开发柱形图展示发送信息量Top10用户.wmv (19.43 MB)
│ │ ├── 22–FineBI 报表可视化–开发饼图展示发送信息量Top10省份.wmv (17.02 MB)
│ │ ├── 23–FineBI 报表可视化–开发地图展示各省份信息量.wmv (19.99 MB)
│ │ └── 24–传智教育博学谷Hudi案例实战–课程内容总结和作业.wmv (8.60 MB)
│ ├── 5.传智教育数据中心Hudi案例实战/
│ │ ├── 01–传智教育数据中心Hudi案例实战–课程内容大纲和学习目标.mp4 (19.83 MB)
│ │ ├── 02–实战案例技术架构–MySQL+FlinkCDC+Hudi+FlinkSQL+Presto+FineBI.wmv (15.65 MB)
│ │ ├── 03–业务数据调研–MySQL数据库初始化5张表业务数据.wmv (102.85 MB)
│ │ ├── 04–Flink CDC 实时数据采集–开启MySQL binlog及FlinkSQL开发步骤.wmv (25.11 MB)
│ │ ├── 5.传智教育数据中心Hudi案例实战文档.zip (1.83 MB)
│ │ ├── 05–Flink CDC 实时数据采集–开发环境准备（SQLClient和程序代码）.wmv (43.10 MB)
│ │ ├── 06–Flink CDC 实时数据采集–基于CDC编写DDL和DML语句同步客户信息表数据.wmv (41.88 MB)
│ │ ├── 07–Flink CDC 实时数据采集–基于CDC编写DDL和DML语句同步其他业务表数据.wmv (48.97 MB)
│ │ ├── 08–Flink CDC 实时数据采集–验证CDC是否将数据同步Hudi表.wmv (40.42 MB)
│ │ ├── 09–Presto 即席查询Hudi–Presto功能架构及数据模型.wmv (22.62 MB)
│ │ ├── 10–Presto 即席查询Hudi–Presto 单机安装部署启动.wmv (77.26 MB)
│ │ ├── 11–Presto 即席查询Hudi–Hive创建表关联Hudi表.wmv (78.98 MB)
│ │ ├── 12–Presto 即席查询Hudi–Presto与Hudi集成配置.wmv (31.98 MB)
│ │ ├── 13–Presto 即席查询Hudi–编写SQL离线指标分析及保存MySQL.wmv (92.49 MB)
│ │ ├── 14–FlinkSQL 流式分析–业务需求说明和开发步骤流程.wmv (17.15 MB)
│ │ ├── 15–FlinkSQL 流式分析–MySQL数据库创建实时指标存储结果表.wmv (46.25 MB)
│ │ ├── 16–FlinkSQL 流式分析–流式查询Hudi表进行指标计算并存储MySQL.wmv (48.00 MB)
│ │ ├── 17–FineBI 报表可视化–开发不同图表展示实时和离线指标.wmv (68.03 MB)
│ │ └── 18–传智教育数据中心Hudi案例实战–课程内容总结和作业.mp4 (13.05 MB)
│ ├── 资料/
│ │ ├── 从Apache Hudi基础到项目实战.pptx (1.53 MB)
│ │ ├── 第1部分、Hudi 基础入门篇-资料.rar (2340.38 MB)
│ │ ├── 第2部分、Hudi 应用进阶篇（Spark 集成）-资料.rar (722.23 MB)
│ │ ├── 第3部分、Hudi 应用进阶篇（Flink 集成）-资料.rar (439.84 MB)
│ │ ├── 第4部分、传智教育博学谷Hudi案例实战-资料.rar (673.05 MB)
│ │ ├── 第5部分、传智教育数据中心Hudi案例实战-资料.rar (884.82 MB)
│ │ ├── Flink + Hudi 构建实时仓湖一体化.pdf (15.45 MB)
│ │ ├── Flink + Hudi 构建实时仓湖一体化.docx (18.85 MB)
│ │ └── HudiLinux.zip (12534.51 MB)
│ └── 从Apache Hudi基础到项目实战.mp4 (18.83 MB)