Transformer 模型入门：为什么它改变了自然语言处理

旧站文章整理：本文从入行365旧站迁入并做了基础清洗。涉及模型演进、参数规模和产品能力的信息，请以当前公开资料为准；本文重点保留基础概念和理解路径。

来源标记：旧站原文保留了 Dale Markowitz 的作者线索。这里改写成入行之路的基础认知导读，避免逐段照搬第三方资料。

如果你正在学习大模型，很快会遇到一个绕不开的词：Transformer。

它不是某一个具体产品，而是一类神经网络结构。今天很多语言模型、代码模型、多模态模型，都直接或间接建立在 Transformer 这条技术路线上。理解它，不是为了马上写论文，而是为了知道大模型为什么能处理长文本、翻译、写代码和理解上下文。

从 RNN 的限制说起

在 Transformer 之前，处理文本常用的一类模型是循环神经网络，也就是 RNN。

RNN 的直觉很像人一边读句子一边记上下文：读到第一个词，留下记忆；读到第二个词，再更新记忆；一直按顺序读下去。

这个方式符合语言的顺序感，但有三个明显问题：

1. 长文本容易遗忘前文。
2. 训练过程难以并行，速度受限。
3. 句子越长，模型越难稳定抓住关键关系。

比如一句话前面说的是某个公司，后面隔了很多字才出现“它的核心产品”，模型需要知道“它”指的是什么。传统顺序处理方式在长距离关系上会吃力。

Transformer 的核心变化

Transformer 做了一件很重要的事：它不再强依赖逐词顺序处理，而是让模型在处理一个词时，可以直接关注句子里其他相关位置。

这就是“注意力机制”的直觉。

当你读一句话时，你不会平均看待每个词。你会自然知道哪些词和当前意思有关。Transformer 把这种“看重点”的能力变成了可计算的结构。

它的影响主要体现在三个方面：

• 更容易并行训练。
• 更擅长捕捉长距离关系。
• 更适合在大规模数据和算力上扩展。

这就是为什么 Transformer 出现后，自然语言处理的发展速度明显加快。

位置编码：让模型知道顺序

如果不按顺序一个词一个词处理，模型怎么知道词序？

答案是位置编码。

你可以把它理解成：每个词除了自己的含义，还会带着一个“我在句子第几个位置”的标记。这样模型在并行处理时，仍然能知道顺序信息。