文科生听懂大模型(1.0).pdf
这份文档是关于“文科生听懂大模型”课程的讲义，旨在帮助文科生理解大型语言模型（LLM）的核心概念和工作原理。课程的核心目标是消除信息不对称，让更多人能够理解和应用这些强大的技术。
课程内容主要分为三个部分：
1. **引子：神经网络**
* 介绍了神经网络的基本概念和原理，包括神经网络的定义、智能产生的可能性，以及数字化、复杂函数表达能力。
* 详细解释了神经元的工作原理，包括权重、偏置和激活函数的作用。
* 讲解了梯度、反向传播、学习率等关键概念，帮助理解神经网络的训练过程。
* 介绍了自编码器（AutoEncoder）的工作原理，包括压缩和解压过程，以及受限玻尔兹曼机。
* 讲解了AutoEncoder的训练过程，包括训练误差、防止过拟合（L1/L2正则化、Dropout）、数据多样化等方法。
* 介绍了 AutoEncoder 的应用，例如 Embedding、人脸识别、手写识别。
2. **引子：Transformer架构的输入输出**
* 宏观介绍了Transformer架构，包括编码器和解码器，以及在机器翻译和GPT中的应用。
3. **第一讲：Embedding**
* 介绍了 Embedding 的定义和作用，即如何将单词转化为数值向量。
* 详细讲解了分词、词嵌入和位置编码，以及输入嵌入的生成过程。
* 强调了注意力机制的重要性，因为 Embedding 无法解决词的多义性和语境理解问题。
* 引出了多头注意力机制，重点讲解了以下几个关键点：
* 注意力机制的工作原理：将一句话转化为一个语义向量。
* 多层结构：用多层结构表达，不断理解得到更准确的语义向量。
* 注意力机制的应用：可以衡量词与词之间的关系。
* 多头注意力机制的组成部分：包括Query, Key, Value。
* 多头注意力机制的计算过程：包括加权求和、计算相似度。
* 注意力机制的优势：解决长距离依赖问题，增强模型的表达能力。
* Softmax 函数的必要性：保证输出的概率分布。
* 多头注意力机制的计算过程：多头计算结果的拼接、线性变换等。
* 为什么要用多头注意力机制：增加表达能力、更好地学习词与词之间的关系。
* Add & Norm 模块：
* Add(残差连接)：将多头注意力机制的输出与输入相加，方便梯度传播。
* Norm(层归一化)：对残差连接的结果进行归一化，加速训练和提高模型稳定性。
* FeedForward模块：
* FeedForward 的作用：增强模型的表达能力和学习能力，缓解梯度消失问题。
* FeedForward 的结构：包括两个线性变换和一个非线性激活函数 ReLU。
* 为什么需要 FeedForward 层：提取特征、增强表达能力、缓解梯度消失问题。
* ReLU激活函数的作用：解决梯度消失问题，增加模型的非线性。
* Nx层：表示 Transformer 模型中的层数，通常设置为 6 层，增加层数可以提高模型性能。
* 为什么低层学习低级特征，高层学习高级特征：多层结构逐层抽象特征。
* Outputs shift right：在解码器中的操作，用于预测下一个词，从而进行序列生成。
* Masked Multiple-Head Attention：解码器中的一个关键机制，确保模型在生成过程中不会“看到”未来的信息，保证生成序列的自回归性。
* Linear 层：用于将解码器的输出映射到词汇表大小的向量，准备进行概率计算。
* Linear → Output Probability：使用 Softmax 函数将线性层的输出转化为概率分布，得到每个词的预测概率。
* Beam search：是一种用于提高生成质量的搜索策略，通过保留多个候选词来改善生成效果。
课程以通俗易懂的方式讲解了 Transformer 模型的核心组成部分，帮助文科生逐步理解大模型的技术细节，为进一步探索和应用这些技术奠定了基础。
相关报告
-
9.56 MB 268页 《从0到1》开启商业与未来的秘密 - 斯坦福大学改变未来的一堂课.pdf
-
910.65 KB 18页 汽车行业周报：智元灵犀X2与GO-1大模型亮相，Figure BotQ推动机器人商业落地.pdf
-
5.76 MB 100页 从0到1建设企业文化.pdf
-
7.07 MB 65页 2025大模型2.0产业发展报告-商业落地创涌而现.pdf
-
6.36 MB 74页 如何从0到1构建用户画像系统.pdf
-
7.68 MB 60页 环保行业：气候行动100+ 净零公司 基准2.1.pdf
-
3.98 MB 23页 从1.0到2.0：特朗普施政路径及影响的不变与变-开源证券-20250108.pdf
-
2.96 MB 101页 2024人形机器人产业链白皮书-2024-100页1.pdf
-
1.71 MB 35页 钠离子电池行业深度研究报告：钠电池从0到1征程开启，推动电池空间第三次跃迁.pdf
-
8.42 MB 99页 2024独立站 0-1开店指南.pdf
-
13.14 MB 117页 从0到1的社群建立.pdf
-
1.46 MB 49页 面向人工智能的数据治理实践指南（1.0）.pdf
-
4.53 MB 48页 数字经济：算力存力风起云涌，人工智能晖光日新-银河证券-20240321.pdf
-
1.56 MB 16页 202401月更新-2023Q1洗发护发行业品牌体验报告.pdf
-
2.21 MB 10页 202401月更新-11月美妆行业洞察报告.pdf
-
1.32 MB 72页 中国信通院：大模型治理蓝皮报告（2023年）——从规则走向实践 -11月.pdf
-
1.25 MB 21页 工业4.0与数字孪生，制造业如虎添翼1.pdf
-
619.78 KB 26页 恩弗第科技：中石油元宇宙白皮书1.0（2022年）.pdf
-
23.07 MB 191页 AIGC发展研究报告1.0-2023-清华大学-202305.pdf
-
1.87 MB 20页 20230321_從MWC_2023看5G公網及專網發展趨勢.pdf