课程内容:
LLM大语言模型
定义:LLM是一种用大量数据训练的深度学习模型,给模型一些输入,它可以预测并返回相应的输出
token(大语言模型的基础单位)
定义:Token实际上就是文本的片段,是大模型计算长度的单位,对于汉字,可以是字、词甚至是半个字或1/3个字
词表:

大语言模型的工作流程:
大语言模型预测Token的机制:
模型训练-从随机到智能:
训练是指将大量文本输入给模型,进而得到模型参数,目前LLM训练一般用到了大量的文本,一般在2Ttoken以上
模型训练流程图:
这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的
这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的
这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的
这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的
这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的
这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的
这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的
这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的一段笔记这是我的
这是笔记测试
标记一下
好




数据蒸馏的作用和意义

矢量/向量数据库

123456789

1234565778

ai编程5个级别,

未来软件架构1234

GPT-3训练数据
Common crawl(filtered)
WebText2,Reddit论坛的网页文本
Books1,Books2 互联网书籍语料库
Wikipedia 维基百科
全会后即可嗯嗯你的

待机时间szjxj

好好学习,重头开始学习
书与钢笔,是知识传播的具象符号,讲师以笔为翼、以书为媒,传递智慧火种;星星点亮求知征途,象征知识的闪耀与指引,寓意讲师如星,照亮知识传播之路,LOGO,极简风格,扁平化设计,特写镜头,高级感氛围
书与钢笔,是知识传播的具象符号,讲师以笔为翼、以书为媒,传递智慧火种;星星点亮求知征途,象征知识的闪耀与指引,寓意讲师如星,照亮知识传播之路,LOGO,极简风格,扁平化设计,特写镜头,高级感氛围
书与钢笔,是知识传播的具象符号,讲师以笔为翼、以书为媒,传递智慧火种;星星点亮求知征途,象征知识的闪耀与指引,寓意讲师如星,照亮知识传播之路,LOGO,极简风格,扁平化设计,特写镜头,高级感氛围
书与钢笔,是知识传播的具象符号,讲师以笔为翼、以书为媒,传递智慧火种;星星点亮求知征途,象征知识的闪耀与指引,寓意讲师如星,照亮知识传播之路,LOGO,极简风格,扁平化设计,特写镜头,高级感氛围
书与钢笔,是知识传播的具象符号,讲师以笔为翼、以书为媒,传递智慧火种;星星点亮求知征途,象征知识的闪耀与指引,寓意讲师如星,照亮知识传播之路,LOGO,极简风格,扁平化设计,特写镜头,高级感氛围
书与钢笔,是知识传播的具象符号,讲师以笔为翼、以书为媒,传递智慧火种;星星点亮求知征途,象征知识的闪耀与指引,寓意讲师如星,照亮知识传播之路,LOGO,极简风格,扁平化设计,特写镜头,高级感氛围
书与钢笔,是知识传播的具象符号,讲师以笔为翼、以书为媒,传递智慧火种;星星点亮求知征途,象征知识的闪耀与指引,寓意讲师如星,照亮知识传播之路,LOGO,极简风格,扁平化设计,特写镜头,高级感氛围
编辑 | 删除