VOL. 01 · INSIDE THE MIND OF MACHINES
一个 token
的旅程
— 图解 · 大语言模型如何思考 —
它读一句中文，把它切成片，给每片一个坐标；在高维空间拉近相关词、推开不相关词。
然后一片一片"听完"上下文，预测下一个最可能的字。千亿参数、几兆字节显存，
只是这一过程反复回荡的回声。下面是一段小小的旅行。
◐ TOKENIZE
◑ EMBED
◒ ATTEND
◓ PREDICT
把句子拆开
Tokenizer 把文本切成离散单元——每个 token 有一个整数 ID
模型不吃整句，只吃 token。一个 token 约等于 0.75 个汉字，或 4 个英文字符。
常用字独占一码，生僻字被拆成片段。
「今天天气真好」切成 6 个 token；「serendipity」拆成 ser · end · ip · ity。
关键事实：同一个 token 在不同上下文里 ID 不变。
模型"认识"的是这个 ID，而非字面字符串。
▸ 每一个字都被点名、编号、排队进入模型
给每片一个坐标
高维空间 · 相似词相聚，反义词彼此远离
每个 token ID 查一张巨大的嵌入表，得到一个 512 维（甚至 12,288 维）向量——
就像给每个字写了一串数字指纹。
训练让「国王」和「女王」的向量几乎平行、只差一个性别方向；
「好」的邻居总是「棒」「赞」「优秀」。
这是模型唯一能"理解"语义的方式。没有嵌入，一切只是 ID 表。
▸ 「真」向三个语义部落发出询问：最近的是「好」
哪片 token 听见了哪片
Self-Attention · 上下文里每个 token 互相对视，并按权重汇总
一个 token 不只看自己，它要加权求和所有上下文 token——
线越粗，关注越强。
「好」紧握「真」；「真」同时听「天」「气」「今天」；「今」跨界重逢「天」。
这就是Query / Key / Value 三个矩阵的一次投影。
32–128 个注意力头并行工作，每个头关注不同的语义关系——
有的管语法，有的管指代，有的管百科知识。
▸ 注意力的本质：所有 token 对所有 token 的一次带权合唱
每片 token 再深读一遍
前馈层 · 用更高维度"咀嚼"注意力结果
注意力只决定「看哪儿」。真正"想"的部分在 FFN——
两层全连接，把向量从 512 维 抬到 4×512 = 2,048 维，非线性激活，再压回。
GeLU / SwiGLU 是这道非线性开关，让模型能拟合复杂的语义关系。
96 层堆叠 = 96 次"看 + 想"循环。
单层 FFN 约有 1M+ 参数——大模型 90% 重量都藏在这里。
▸ 维度抬高再压低，像大脑"通宵冥想"的形状
押注下一个字
Softmax 把最后一层向量变成概率分布——然后自回归回炉重造
经过 96 层之后，向量交给最后一层线性头，输出整个词表的 logits——
一串未经归一化的"分数"。再过 softmax 变成概率。
采样通常不是"最大概率"，而是带温度的随机抽样。
Top-p、Top-k 是家常调味料。
采样完成后，把新 token 拼回输入，
整段右移，再走一遍同样的路——
这就是自回归。
▸ 一个 token 押完，整句右移、再押、再押、再押……
— 完 · FIN —
END OF JOURNEY · 同字 · 不同旅程