作者
Xavier
编程语言： 熟练使用 Python，Java、SQL，具备良好的数据结构与算法基础。 大模型与 Agent： 理解 Transformer 与大语言模型推理机制，熟悉 Prompt Engineering、CoT、ReAct、Plan-and-Execute、Reflection、Agentic RAG 等推理范式；熟悉 LangChain、LangGraph、OpenAI SDK。
深入剖析 Transformer 的核心机制——Self-Attention、多头注意力与位置编码。从 Vaswani 2017 的原始论文出发，理解为何它彻底重塑了整个 AI 领域。
发现错误 / 提交勘误 · 请注明段落、问题和原始依据。
2017 年 6 月，Google Brain 团队发表了《Attention Is All You Need》。这篇论文只有 15 页，却在此后几年内彻底重写了 NLP、CV、语音识别乃至蛋白质结构预测领域的规则。它的核心主张极为大胆：抛弃所有循环结构，只用注意力机制。
在 Transformer 之前，序列建模的标准范式是 RNN/LSTM。它们有一个根本性的缺陷：顺序计算。处理第 t 个 token 必须等第 t-1 个 token 完成，这使得训练极难并行化。
Self-Attention 的计算分三步：
其中 √d_k 是关键的缩放因子。当 d_k 较大时，点积的方差增大，softmax 会进入梯度极小的饱和区。除以 √d_k 使方差保持稳定。
"The dot products grow large in magnitude, pushing the softmax function into regions where it has extremely small gradients." —— Vaswani et al., 2017
单头注意力只能在一个表示子空间中捕捉关系。多头注意力（Multi-Head Attention）将 Q/K/V 分别投影到 h 个独立子空间，并行执行 h 次 Attention，最后拼接并线性变换。
不同的注意力头可以专注于不同类型的关系：句法依存、语义相似性、指代消解等。这种分工在大量可视化研究中得到了验证。
Transformer 对序列中所有位置的处理完全对称——它本身不知道 token 的顺序。为此，原始论文使用正弦/余弦函数注入位置信息：
PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))这种设计的优雅之处：对于固定偏移量 k，PE(pos+k) 可以表示为 PE(pos) 的线性函数，模型能轻松学习相对位置关系。
GPT 系列采用仅解码器（Decoder-only）架构，通过因果掩码（Causal Mask）实现自回归语言建模——每个 token 只能看到它之前的上下文，训练目标是最大化序列的联合概率。
规模定律（Scaling Laws） 的发现表明：在足够多的数据和计算资源下，模型性能随参数量的对数线性增长——这一发现成为了大语言模型竞赛的理论基础。
按系列、标签和主题继续探索。推荐理由见每张卡片。
同系列 · 模型架构与工程
预训练模型如何变成专用助手？从全参数微调到参数高效微调（PEFT），再到基于人类反馈的强化学习（RLHF），一文厘清主流微调技术的原理与适用场景。
同系列 · 模型架构与工程
深入解析MoE(混合专家)架构的设计原理、路由机制与工程实现,探讨其在大模型中的应用优势。
同系列 · 模型架构与工程
深入解析Flash Attention的核心算法原理、IO复杂度分析、工程实现细节,以及它如何革命性地提升Transformer训练和推理效率。
共同标签 · TRANSFORMER
GLM-5.3开源权重落地、OpenAI训练过程惊现自我进化的AI群体、219颗星的Experiential开源网关、Warp的自改进Agent架构与Claude Code的隐私争议——本周AI圈五大热点一文速览。
共同标签 · TRANSFORMER
本周AI圈五大动向：MCP官方新路线图聚焦Agent身份与HTTP原生传输；Anthropic被曝在Claude Code上A/B测试降低推理强度；Qwen 3.8 27B本地模型30分钟逆向商业软件授权；OpenAI下调GPT-5.6 Sol API定价最高33%；Nvidia AVO让Claude Opus 5在ARC-AGI-3从30%冲到满分。