图解：大语言模型是怎么「思考」的

一个 token 的旅程

语言模型并不思考。一句话被切成词元，投入高维空间，靠注意力互看、靠前馈改写，再按概率掷出下一个词。所谓智能，不过是这条流水线循环往复、层层叠加之后的冷计算。

输入层Tokenization

连续文字无法入模。分词器按词表切开，每个碎片换成整数编号。

嵌入层Embedding

编号没有远近。嵌入把每个词元变成高维向量，近义者在空间中相邻。

注意力机制Self-Attention

每个词元同时看向全句。权重决定谁重要：「坐」盯「猫」与「垫」。

前馈网络Feed-Forward

注意力只混合上下文。前馈网络逐点非线性变换，残差通路写入知识。

输出层Next-Token Prediction

最后一层投影到词表，Softmax 给出下一词概率。采样最高者，旅程再启。