LLM大语言模型算法特训_学习大纲

课程简介

📌从入门-案例实战-多领域应用-面试指导-推荐就业，一站式闭环服务。
🎁附赠价值2000元+的大模型项目代码/数据和配套环境和GPU（A100、3090）。
✨课程地址：https://class.imooc.com/sale/llm

详细课程大纲

课程概览、汇总、学习资料

本课程主要汇总了课程相关的教学大纲、学习笔记、资料等内容，让大家更高效的找到对应的资料。

• 图文：新加入的同学必看！！！
• 图文：前置知识同学录
• 图文：课程大纲
• 图文：招生材料丨学习辅导笔记
• 图文：课程交流群

第一周：由浅入深大模型基础及pytorch训练加载应用模型

学习大模型训练的概况，了解前沿训练技术在不同场景要求，如何用PyTorch构建和训练模型，进一步掌握大语言模型的基础以及智能对话场景的技术构建、模型训练恢复及应用，让你快速迈进大模型学习行列。

• 视频：PyTorch基础代码实操和自动求导介绍
• 视频：模型训练流程和CUDA原理及并行基础

第一周：LLM进化路线、领域微调及NLP应用落地方式

全面掌握大模型发展、进化路线、LLM特色功能、领域微调方法及NLP的应用落地理论，让你对LLM和做NLP的人就业有更清楚的认知和提升。

• 视频：LLM的进化路线、领域微调及NLP的应用落地方式（一）
• 视频：LLM的进化路线、领域微调及NLP的应用落地方式（二）
• 图文：学习笔记丨概览
• 图文：学习笔记丨LLM 进化路线与现状
• 图文：学习笔记丨大模型的涌现能力
• 图文：学习笔记丨大模型本质-概率统计
• 图文：学习笔记丨训练过程-无监督预训练
• 图文：学习笔记丨训练过程-有监督微调
• 图文：学习笔记丨大模型的核心-Transformer 模型
• 图文：学习笔记丨Transformer - 编码和解码器
• 图文：学习笔记丨Transformer - 模型输入
• 图文：思考题丨transformer 思考题
• 图文：学习笔记丨Transformer - 前馈层
• 图文：学习笔记丨Transformer - 类别归一化
• 图文：学习笔记丨大模型训练过程
• 图文：学习笔记丨大模型训练 - SFT
• 图文：学习笔记丨大模型训练 - Reward
• 图文：学习笔记丨大模型训练 - PPO
• 图文：学习笔记丨大模型生成原理

第二周：大模型训练与微调研发背后的数据艺术

掌握从数据采集、数据处理、数据增强方法、多样化生成、高效经济的训练序列的资源准备，从理论到实际工程中去理解数据处理的要点。

• 视频：大模型训练与微调研发背后的数据艺术

第二周：深入大模型基础理论夯实

掌握NLP语言模型和Transformer基础原理，深入LLM模型设计，以GLM模型结构代码拆解和实现，建立坚实的大模型理论基础。

• 视频：深入大模型基础理论夯实

第三周：大模型训练入门与进阶

深入掌握现代训练和微调，全面掌握大语言模型范式，深化学习核心原理，为更复杂的大模型应用打下基础。

• 视频：大模型训练入门与进阶
• 图文：上课演示的代码

第三周：大模型训练推理优化框架和技巧

深入研究大模型训练推理优化方法，掌握大模型训练和推理的理论要点，精通自动化技术，构建起大模型算法工程师的核心知识体系。

• 视频：大模型训练推理优化框架和技巧

第四周：深入掌握大模型应用开发框架LangChain

掌握LangChain是什么，以及它的优势和使用场景；LangChain的关键组件和典型应用场景；掌握大模型应用调用LangChain的核心原理；掌握LangChain大核心能力；学习模型的标准化输入/输出；了解如何接入外部资源，以及LangChain中构建链条上下文记忆的管理程序；学习构建智能聊天Agent。

• 视频：深入掌握大模型应用开发框架LangChain

第四周：LangChain进阶 - 外挂知识库实现行业文档智能问答

熟悉langChain的原理和特性，进阶掌握langChain文档问答，构建检索增强生成系统，数据预处理和设置，数据库的搭建；LangChain在行业文档处理中的应用实践；LangChain在智能聊天中的应用实践；掌握LangChain项目部署和上线；掌握LangChain项目运维和维护。

• 视频：LangChain进阶实战：外挂知识库实现行业文档智能问答需求项目

第五周：大模型训练全流程实战

带领你在A100/A10单卡上实现训练和优化，学会快速调试和避坑的方法，基础理论的资源模块和优化策略，评估大模型的效果，学会部署一套自己的大模型项目，掌握在CPU上的推理服务部署和API。

• 视频：大模型训练全流程实战

第五周：【实战】在云服务器做微调实现模型量化、模型推理和服务

教你如何创建一个训练容器；在llm_course容器中实现环境安装和SFT演示；在云服务器实现模型量化、模型推理和服务。

• 1-1 教你如何创建一个训练容器
• 1-2 在llm_course容器中实现环境安装和SFT演示
• 1-3 在云服务器实现模型量化模型推理和服务

第六周：四大行业微调模型落地案例和技术方案

掌握在企业不同业务下如何微调模型的需求和实现逻辑，农业金融、法律、医疗、教育垂直领域的微调模型解决方案，包括数据清理、评估任务和应用场景。

• 视频：四大行业微调模型落地案例和技术方案

第七周：实现行业文档智能问答技术方案

学习行业文档智能问答外的其他问答实现方式，包括大模型搜索直接回答的部分拆分，内容生成的过滤以及重新组织回答的逻辑等特性；掌握对大方案的常见问题排查，包括文档拆分条件、文本切分语义不连贯、语法类型和格式是否可用等问题，解决文本间有冲突的方案；prompt指令拆分以及基于大模型的审查能力；了解大方案的算法以及逻辑框架，包括训练流程和量，多召回区，加入大模型打分和重排以及最终打分和返回策略，以提高回答精准性。

• 视频：实现行业文档智能问答技术方案

第七周：知识图谱构建 - 下游应用技术方案

了解大模型和知识图谱的不同作用，如何定义问题、解决不同的业务场景；掌握大模型整合知识图谱的具体技术要点，包括知识图谱在大模型下的不同作用，大模型语言环境和知识图谱的建模方式及大模型生态环境间的技术协同作用；了解不同大模型的知识图谱构建方式，包括KnowLLM大模型的知识图谱构建与查询方法以及KGPT大模型的数据构建与查询方法。

• 视频：知识图谱构建 - 下游应用技术方案

第八周：人才需求与招聘专场

专业招聘团队，企业高级微调和算法工程师，讲解公司招聘要求，以及简历面试注意事项，助你找到好的满意的工作岗位。

• 视频：市场需求与招聘专场