【AI 术语表】- 上篇（A–F）

31 个高频术语，从 Agent 到 Fine-tuning——先搞清它们说的”原来如此”。

A

Agent

• 人们怎么说： “一个能自己思考和行动的自主 AI”
• 实际什么意思： 一个 while 循环，LLM 在循环中决定下一步调用什么工具，执行它，查看结果，然后重复
• 为什么叫这个名字： 借用自哲学——“agent”指任何能在世界中行动的东西。在 AI 中，它只是”LLM + 工具 + 循环”

Attention

• 人们怎么说： “AI 如何关注重要部分”
• 实际什么意思： 一种机制，每个 token 计算所有其他 token 值的加权和，权重由它们的相关性决定（通过 query 和 key 向量的点积）
• 为什么叫这个名字： 2017 年论文”Attention Is All You Need”通过类比人类选择性注意而命名

Alignment

• 人们怎么说： “让 AI 变得安全”
• 实际什么意思： 让 AI 系统的行为匹配人类意图、价值观和偏好的技术挑战，包括设计者未预料到的边缘情况

Autoregressive

• 人们怎么说： “AI 一次生成一个词”
• 实际什么意思： 一种模型，基于所有之前的 token 预测下一个 token，然后将该预测作为下一步的输入。GPT、LLaMA 和 Claude 都是自回归模型。

Activation Function

• 人们怎么说： “层之间的非线性东西”
• 实际什么意思： 在每个线性层之后应用的函数，引入非线性。没有它，无论堆叠多少线性层都会塌缩为单个线性变换。ReLU、GELU 和 SiLU 最常见。选择直接影响训练时梯度是否能流动。

Adam (Optimizer)

• 人们怎么说： “默认优化器”
• 实际什么意思： 自适应矩估计。结合动量（一阶矩）和每个参数的自适应学习率（二阶矩）。对早期步骤有偏差校正。在大多数任务上无需太多调参就能工作良好。

AdamW

• 人们怎么说： “更好的 Adam”
• 实际什么意思： 使用解耦权重衰减的 Adam。在标准 Adam 中，L2 正则化被每个参数的自适应学习率缩放，这不是你想要的。AdamW 直接对权重应用权重衰减，独立于梯度统计。是训练 transformer 的默认优化器。

Autograd

• 人们怎么说： “自动梯度”
• 实际什么意思： 一个系统，记录对张量的操作并通过反向模式微分自动计算梯度。PyTorch 的 autograd 动态构建计算图（动态图），而 JAX 使用函数变换（grad）。这就是反向传播变得实际的原因——你写前向传播，框架计算所有导数。

B

Batch Size

• 人们怎么说： “一次处理多少样本”
• 实际什么意思： 在一次前向/反向传播中处理的训练样本数量，然后更新权重。更大的 batch 给出更稳定的梯度估计但占用更多内存。典型值：训练 32-512，推理更大。Batch size 与学习率相互作用——batch 加倍，学习率加倍（线性缩放规则）。

Backpropagation

• 人们怎么说： “神经网络如何学习”
• 实际什么意思： 一种算法，通过在网络中反向应用链式法则来计算每个权重对误差的贡献程度，然后按比例调整权重
• 为什么叫这个名字： 误差从输出到输入逐层反向传播

C

Context Window

• 人们怎么说： “AI 能记住多少”
• 实际什么意思： 单次 API 调用中能容纳的最大 token 数量（输入 + 输出）。不是记忆——它是一个固定大小的缓冲区，每次调用都会重置

Chain of Thought (CoT)

• 人们怎么说： “让 AI 逐步思考”
• 实际什么意思： 一种 prompt 技术，要求模型展示其推理步骤，这提高了多步问题的准确性，因为每个步骤为下一个 token 生成提供条件

CNN (Convolutional Neural Network)

• 人们怎么说： “图像 AI”
• 实际什么意思： 一种使用卷积操作（在输入上滑动滤波器）来检测局部模式的神经网络。堆叠卷积层可以检测越来越复杂的特征：边缘、纹理、物体。

CUDA

• 人们怎么说： “GPU 编程”
• 实际什么意思： NVIDIA 的并行计算平台。让你在数千个 GPU 核心上同时运行矩阵运算。PyTorch 和 TensorFlow 底层使用 CUDA。

Chunking

• 人们怎么说： “把文档切成小块”
• 实际什么意思： 在 embedding 用于检索之前将文本分成段。chunk 大小决定搜索结果的粒度。太小：丢失上下文。太大：稀释相关性。常见策略：带重叠的固定大小、基于句子或语义分割。典型 chunk 大小：256-512 个 token，带 10-20% 重叠。

Contrastive Learning

• 人们怎么说： “通过比较学习”
• 实际什么意思： 通过在 embedding 空间中拉近相似对、推远不相似对来训练。CLIP 使用这种方式：匹配图文对 vs 不匹配的对。

Cosine Similarity

• 人们怎么说： “两个向量有多相似”
• 实际什么意思： 两个向量夹角的余弦值：dot(a, b) / (||a|| * ||b||)。范围从 -1（相反）到 1（同方向）。忽略大小，只关心方向。是 embedding 和语义搜索的标准相似度指标。

Cross-Entropy

• 人们怎么说： “分类损失”
• 实际什么意思： 衡量两个概率分布之间的差异。对于分类：-sum(y_true * log(y_pred))。对于语言模型：正确下一个 token 的负对数概率。越低越好。Perplexity 就是 exp(cross-entropy)。

D

Data Augmentation

• 人们怎么说： “生成更多训练数据”
• 实际什么意思： 创建现有数据的修改副本（旋转图像、添加噪声、改写文本）以增加训练集多样性，无需收集新数据。减少过拟合。

Decoder

• 人们怎么说： “输出部分”
• 实际什么意思： 在 transformer 中，decoder 使用因果（掩码）自注意力，使每个位置只能关注之前的位置。GPT 是纯 decoder。BERT 是纯 encoder。T5 是 encoder-decoder。

Diffusion Model

• 人们怎么说： “从噪声生成图像的 AI”
• 实际什么意思： 一种经过训练来逆转渐进加噪过程的模型——它学习预测和移除噪声，在生成时从纯噪声开始迭代去噪

DPO (Direct Preference Optimization)

• 人们怎么说： “更简单的 RLHF”
• 实际什么意思： 一种完全跳过奖励模型的训练方法——它直接优化语言模型，使其在人类偏好对中更倾向于更好的回答

Dropout

• 人们怎么说： “随机关闭神经元”
• 实际什么意思： 训练期间，随机将一部分激活值设为零。迫使网络不依赖任何单个神经元。推理时关闭。简单但有效的正则化。

E

Eigenvalue

• 人们怎么说： “PCA 用的某个数学东西”
• 实际什么意思： 对于矩阵 A，特征值 lambda 满足 Av = lambda*v（对某个向量 v）。它告诉你矩阵在该方向上对向量的缩放程度。大特征值 = 数据中方差大的方向。

Embedding

• 人们怎么说： “把词变成数字的 AI 魔法”
• 实际什么意思： 从离散项目（词、图像、用户）到连续空间中稠密向量的学习映射，相似的项目最终靠得很近
• 为什么叫这个名字： 项目被”嵌入”到一个几何空间中，其中距离有意义

Encoder

• 人们怎么说： “输入部分”
• 实际什么意思： 在 transformer 中，encoder 使用双向自注意力，使每个位置可以关注所有位置。BERT 是纯 encoder。适合理解任务（分类、NER）但不适合生成。

Epoch

• 人们怎么说： “遍历一次数据”
• 实际什么意思： 就是这样。完整遍历训练集中的每个样本一次。多个 epoch = 多次看数据。更多 epoch 可以改善学习但有过拟合风险。

F

Feature

• 人们怎么说： “数据中的一列”
• 实际什么意思： 数据的一个可度量属性。在传统 ML 中，你手动设计特征。在深度学习中，网络从原始数据自动学习特征。

Few-Shot

• 人们怎么说： “先给 AI 一些示例”
• 实际什么意思： 在 prompt 中包含少量输入-输出示例，然后要求模型执行任务。通常 3-5 个示例。模型在这些示例上进行模式匹配以理解期望的格式和行为。与 zero-shot（无示例）和 fine-tuning（数千个示例固化到权重中）形成对比。

Fine-tuning

• 人们怎么说： “用你的数据训练 AI”
• 实际什么意思： 从预训练模型的权重开始，在更小的、特定任务的数据集上继续训练。只更新现有权重，不会从零添加新知识

Function Calling

• 人们怎么说： “能使用工具的 AI”
• 实际什么意思： LLM 请求执行外部函数的结构化方式。你用 JSON Schema 描述定义工具，模型输出一个结构化 JSON 对象，指定调用哪个函数及参数，你的代码执行它，结果返回给模型。与 agent 不同——function calling 是机制，agent 是循环。

---

📚 本文改编自 AI Engineering from Scratch（MIT License · 作者 Rohit Ghumare）《术语表》，中文内容来自官方中文镜像。原课程共 503 课 · 20 阶段 · 免费开源。