大模型是如何「思考」的 · 全景解构
一个 Token 的旅程
大模型没有神秘的心智，其全部「思考」本质上是一场精密的数学旅程：输入文字被粉碎为词元（Token），在数千维的几何空间中锚定坐标，经由自注意力机制编织上下文网络，并在千亿参数的神经突触中检索概率，最终掷出下一个最合理的词。
PHASE 01 / 输入与切分
输入层：文字的颗粒化与编号
Tokenization & Vocabulary Mapping
计算机无法直接阅读自然语言。分词器（Tokenizer）按照统计概率子词表，将人类连续语句解构为离散的词元片段，并将每一个片段映射为词表字典中的唯一整型编号（Token ID）。
PHASE 02 / 空间几何化
嵌入层：将离散符号投射入几何世界
Embedding & High-Dimensional Semantic Space
整数 ID 缺乏语义距离。词嵌入（Embedding Lookup）为每个词元赋予一条超高维浮点数向量（如 4096 维）。语义接近的词汇在几何空间中相互靠近，赋予机器理解概念相似性与类比推理的能力。
PHASE 03 / 动态情境编织
注意力机制：Token 之间的深情凝视
Multi-Head Self-Attention (Q · K · V)
孤立的词没有思想。自注意力机制（Self-Attention）让序列中的每一个词向全体其他词发送「探针（Query）」，与它们的「键（Key）」计算契合度，并根据所得权重聚合对方的「值（Value）」，动态捕获深层语境。
PHASE 04 / 知识提炼与记忆
前馈网络：千亿参数中的联想神经元
Feed-Forward Network & Knowledge Activation
注意力汇聚了上下文，而前馈网络（FFN / MLP）则负责消化与联想。特征向量被投影至 4 倍宽度的超高维隐藏层，在此激活训练阶段铭刻在参数权重中的事实知识与推理逻辑。
PHASE 05 / 决策与生成
输出层：下一词元的概率轮盘
Logits, Softmax & Autoregressive Loop
历经几十层深度变换后，最后一个位置的向量被投射回 15 万词表的维度（Unembedding），生成无界得分（Logits）。经由 Softmax 归一化为百分比概率分布，模型依采样策略掷骰选出下一个 Token。