动手自制大模型推理框架:CUDA加速与量化实战

《动手自制大模型推理框架:CUDA加速与量化实战》是一套面向人工智能开发者、深度学习工程师以及大模型技术爱好者的进阶实战课程,主要围绕大语言模型底层推理机制、推理框架构建、GPU计算优化、CUDA编程以及模型量化等核心技术展开。课程强调动手实践,通过从底层原理到代码实现的学习方式,帮助学员深入理解大模型推理系统的工作流程,掌握自主构建和优化模型推理框架的关键方法。

课程首先从大语言模型的基本结构与推理流程入手,讲解Transformer架构、注意力机制、Token生成过程、Prefill与Decode阶段等核心知识,让学员理解模型推理过程中计算资源的消耗方式。在此基础上,进一步学习模型权重加载、张量计算、矩阵乘法、内存管理以及推理任务调度等内容,逐步建立完整的推理框架开发思路。

在CUDA加速部分,课程重点围绕GPU并行计算展开,学习CUDA编程基础、线程组织、线程块、网格结构、显存访问以及Kernel开发等技术,理解GPU计算与CPU计算之间的区别。通过优化矩阵运算、减少数据传输、改善显存访问效率等实践,掌握提升大模型推理速度的核心技巧。

模型量化是课程的另一项重点内容,将涉及FP32、FP16、BF16、INT8、INT4等常见数据格式,讲解量化基本原理、权重压缩、精度损失以及推理性能之间的关系,帮助学员理解如何在有限硬件资源下实现模型轻量化部署。

此外,课程还将结合实际项目,探索推理框架各模块的设计与整合,学习性能测试、瓶颈分析和优化方法,逐步完成具备基础功能的大模型推理系统。

通过本课程的学习,能够加深对大模型底层运行机制的理解,提升CUDA编程、GPU性能优化和模型量化实践能力,为进一步从事大模型推理引擎开发、高性能计算、AI基础设施及模型部署优化等方向打下坚实基础。

课程截图:

课程目录:

夸克网盘分享/
└── 动手自制大模型推理框架Cuda加速与量化实战/ (9.22 GB)
├── 课件/ (13.11 MB)
│ ├── 《自制大模型推理框架》课程目录-支持LLama3和Qwen3/ (515.30 KB)
│ │ ├── 《自制大模型推理框架》课程目录-支持LLama3和Qwen3.html (21.79 KB)
│ │ └── 学习资料领取说明.png (493.50 KB)
│ ├── 7模型权重文件/ (1.44 MB)
│ │ ├── tokenizer.model/ (981.51 KB)
│ │ │ ├── 学习资料领取说明.png (493.50 KB)
│ │ │ └── tokenizer.model (488.01 KB)
│ │ └── 更多课程资料领取入口.png (493.50 KB)
│ ├── 第1课-环境安装/ (2.08 MB)
│ │ ├── 第1课-环境安装.html (261.73 KB)
│ │ └── 更多配套资料.zip (1.83 MB)
│ ├── 第2次课程-内存和设备的管理/ (18.87 KB)
│ │ └── 第2次课程-内存和设备的管理.html (18.87 KB)
│ ├── 第3次课程-算子类的设计/ (515.21 KB)
│ │ ├── 第3次课程-算子类的设计.html (21.71 KB)
│ │ └── 更多课程资料领取入口.png (493.50 KB)
│ ├── 第4次课程-张量的设计与实现/ (511.70 KB)
│ │ ├── 第4次课程-张量的设计与实现.html (18.20 KB)
│ │ └── 学习资料更新说明.png (493.50 KB)
│ ├── 第5次课程-RMSNorm算子的CUDA实现/ (1.85 MB)
│ │ ├── 第5次课程-RMSNorm算子的CUDA实现.html (19.17 KB)
│ │ └── 新手必看.zip (1.83 MB)
│ ├── 第6次课程-Nsight compute的使用和算子的优化/ (740.58 KB)
│ │ ├── 第6次课程-Nsight compute的使用和算子的优化.html (247.07 KB)
│ │ └── 课程相关资源.png (493.50 KB)
│ ├── 第7次课程-模型的量化/ (627.30 KB)
│ │ ├── 第7次课程-模型的量化.html (133.79 KB)
│ │ └── 课程相关资源.png (493.50 KB)
│ ├── 第8次课程-Cuda的向量化存取/ (283.96 KB)
│ │ └── 第8次课程-Cuda的向量化存取.html (283.96 KB)
│ ├── 第9次课程-自制大模型推理框架-显存的管理/ (143.09 KB)
│ │ └── 第9次课程-自制大模型推理框架-显存的管理.html (143.09 KB)
│ ├── 第10课-自制大模型推理框架-mmap映射模型文件/ (78.84 KB)
│ │ └── 第10课-自制大模型推理框架-mmap映射模型文件.html (78.84 KB)
│ ├── 第11课-自制大模型推理框架-算子层的创建和权重的载入/ (20.38 KB)
│ │ └── 第11课-自制大模型推理框架-算子层的创建和权重的载入.html (20.38 KB)
│ ├── 第12课-自制大模型推理框架-算子后端的选择/ (524.23 KB)
│ │ ├── 第12课-自制大模型推理框架-算子后端的选择.html (30.72 KB)
│ │ └── 更多配套资料.png (493.50 KB)
│ ├── 第13课-Sgemv算子的实现-cpu/ (50.84 KB)
│ │ └── 第13课-Sgemv算子的实现-cpu.html (50.84 KB)
│ ├── 第13课-Sgemv算子的实现-cuda/ (635.30 KB)
│ │ ├── 第13课-Sgemv算子的实现-cuda.html (141.80 KB)
│ │ └── 更多配套资料.png (493.50 KB)
│ ├── 第15次课程-KVCache的原理和实现/ (987.37 KB)
│ │ ├── 第15次课程-KVCache的原理和实现.html (493.87 KB)
│ │ └── 课程相关资源.png (493.50 KB)
│ ├── 第16课-KV Cache的实现和自注意力计算中的QKV/ (289.95 KB)
│ │ └── 第16课-KV Cache的实现和自注意力计算中的QKV.html (289.95 KB)
│ ├── 第17课-Llama模型中的MLP层实现/ (230.31 KB)
│ │ └── 第17课-Llama模型中的MLP层实现.html (230.31 KB)
│ ├── 第18次课程-用Cuda实现LLama模型中多头注意力算子/ (216.64 KB)
│ │ └── 第18次课程-用Cuda实现LLama模型中多头注意力算子.html (216.64 KB)
│ ├── 第19次课程-llama模型中的其余算子实现/ (615.97 KB)
│ │ ├── 第19次课程-llama模型中的其余算子实现.html (122.46 KB)
│ │ └── 往期资料.png (493.50 KB)
│ ├── 第20次课程-LLama3.2模型的支持/ (144.13 KB)
│ │ └── 第20次课程-LLama3.2模型的支持.html (144.13 KB)
│ ├── 第21次课程-用课程大模型推理框架跑LLama3和Qwen2.5/ (90.67 KB)
│ │ └── 第21次课程-用课程大模型推理框架跑LLama3和Qwen2.5.html (90.67 KB)
│ ├── 第22课-《cuda自制大模型推理框架》课程中支持qwen3/ (172.96 KB)
│ │ └── 第22课-《cuda自制大模型推理框架》课程中支持qwen3.html (172.96 KB)
│ ├── c++ testmate配置/ (510.05 KB)
│ │ └── c++ testmate配置.html (510.05 KB)
│ └── vscode参考配置.zip/ (1.94 KB)
│ └── vscode参考配置.zip (1.94 KB)
└── 视频/ (9.21 GB)
├── 0 绪论-绪论-重录高清版.mkv/ (164.12 MB)
│ ├── 0 绪论-绪论-重录高清版.mkv (163.63 MB)
│ └── 学习资料更新说明.png (493.50 KB)
├── 1 环境配置-1-第一次课程.mkv/ (320.19 MB)
│ └── 1 环境配置-1-第一次课程.mkv (320.19 MB)
├── 1 环境配置-2-第一节课程-附-vscode1.mkv/ (47.30 MB)
│ └── 1 环境配置-2-第一节课程-附-vscode1.mkv (47.30 MB)
├── 1 环境配置-2-第一节课程-附-vscode2.mkv/ (22.59 MB)
│ └── 1 环境配置-2-第一节课程-附-vscode2.mkv (22.59 MB)
├── 2 资源管理-重录后-内存的管理和设备类.mkv/ (295.28 MB)
│ ├── 2 资源管理-重录后-内存的管理和设备类.mkv (294.80 MB)
│ └── 重要资料查看说明.png (493.50 KB)
├── 3 算子类设计-重录后-算子类的设计.mkv/ (251.02 MB)
│ ├── 3 算子类设计-重录后-算子类的设计.mkv (250.54 MB)
│ └── 建议您看一下.png (493.50 KB)
├── 4 张量的设计与实现-重新录制后的第四章.mkv/ (203.22 MB)
│ ├── 4 张量的设计与实现-重新录制后的第四章.mkv (201.39 MB)
│ └── 学习资料领取说明.zip (1.83 MB)
├── 5 rmsnorm的cuda实现-重置后的第五次课程/ (107.35 MB)
│ ├── 5 rmsnorm的cuda实现-重置后的第五次课程.sz (106.87 MB)
│ └── 课程相关资源.png (493.50 KB)
├── 6 nsight优化算子实现-Nsight compute的使用和算子的优化.mkv/ (675.00 MB)
│ └── 6 nsight优化算子实现-Nsight compute的使用和算子的优化.mkv (675.00 MB)
├── 7 模型的量化-加载权重-重置后的第7次课程/ (110.66 MB)
│ └── 7 模型的量化-加载权重-重置后的第7次课程.sz (110.66 MB)
├── 8 cuda的向量化存取-Cuda的向量化存取/ (107.05 MB)
│ └── 8 cuda的向量化存取-Cuda的向量化存取.sz (107.05 MB)
├── 9 显存的管理.mkv/ (635.11 MB)
│ └── 9 显存的管理.mkv (635.11 MB)
├── 10 mmap映射模型文件.mkv/ (445.06 MB)
│ ├── 10 mmap映射模型文件.mkv (444.57 MB)
│ └── 往期资料.png (493.50 KB)
├── 11 算子层的创建和权重的载入.mkv/ (580.09 MB)
│ ├── 11 算子层的创建和权重的载入.mkv (579.61 MB)
│ └── 资料更新与获取方式.png (493.50 KB)
├── 12 算子后端的选择.mkv/ (345.45 MB)
│ ├── 12 算子后端的选择.mkv (344.97 MB)
│ └── 资料更新与获取方式.png (493.50 KB)
├── 13-14 矩阵乘法算子的cuda和cpu实现-量化gemv算子的实现.mp4/ (346.54 MB)
│ └── 13-14 矩阵乘法算子的cuda和cpu实现-量化gemv算子的实现.mp4 (346.54 MB)
├── 13-14 矩阵乘法算子的cuda和cpu实现-cpu实现.mkv/ (457.41 MB)
│ ├── 13-14 矩阵乘法算子的cuda和cpu实现-cpu实现.mkv (456.93 MB)
│ └── 配套内容说明.png (493.50 KB)
├── 13-14 矩阵乘法算子的cuda和cpu实现-gpu实现.mkv/ (649.07 MB)
│ └── 13-14 矩阵乘法算子的cuda和cpu实现-gpu实现.mkv (649.07 MB)
├── 15 kvcache的原理与实现.mp4/ (703.81 MB)
│ ├── 15 kvcache的原理与实现.mp4 (703.32 MB)
│ └── 学习资料领取说明.png (493.50 KB)
├── 16 KV Cache的实现和自注意力计算中的QKV.mp4/ (531.38 MB)
│ └── 16 KV Cache的实现和自注意力计算中的QKV.mp4 (531.38 MB)
├── 17 MLP层的实现-上.mp4/ (499.26 MB)
│ └── 17 MLP层的实现-上.mp4 (499.26 MB)
├── 17 MLP层的实现-下.mp4/ (405.09 MB)
│ ├── 17 MLP层的实现-下.mp4 (404.60 MB)
│ └── 学习资料领取说明.png (493.50 KB)
├── 18 用Cuda实现LLama模型中多头注意力算子-正常版本/ (109.17 MB)
│ ├── 18 用Cuda实现LLama模型中多头注意力算子-正常版本.sz (108.69 MB)
│ └── 配套内容说明.png (493.50 KB)
├── 19 llama中其余算子的cuda实现 – llama模型中的其余算子实现/ (116.93 MB)
│ └── 19 llama中其余算子的cuda实现 – llama模型中的其余算子实现.sz (116.93 MB)
├── 20 llama3.2模型的支持/ (168.63 MB)
│ ├── 20 llama3.2模型的支持.sz (168.15 MB)
│ └── 新手必看.png (493.50 KB)
├── 21 课程demo和整体流程回顾.mp4/ (907.11 MB)
│ └── 21 课程demo和整体流程回顾.mp4 (907.11 MB)
└── 22 支持qwen3.mkv/ (226.62 MB)
└── 22 支持qwen3.mkv (226.62 MB)

网盘资源

1 个资源
夸克网盘扫码
手机网盘 App 扫码即可打开
声明:本站所发布的一切视频课程仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站所有课程来自网络,版权争议与本站无关。如有侵权请联系客服QQ:1960026872或登录本站账号进入个人中心提交工单留言反馈,我们将第一时间处理!
侵权联系与免责声明: 1、本站资源所有内容均收集于网络,与本网站立场无关 2、本站所有资源收集于互联网,由用户分享,该帖子作者与IT课程网不享有任何版权,如有侵权请联系本站删除 3、本站部分内容转载自其它网站,但并不代表本站赞同其观点和对其真实性负责 4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意。如有侵权请联系联系客服QQ:1960026872或登录本站账号进入个人中心提交工单留言反馈,我们将第一时间处理!