深入每一次预测

报告事实

40 层的层序、CSA2 模式、KV 与索引所有者、MoE 专家数、mHC 四路、Engram 层位等均来自所给报告。界面使用 1–40 编号，报告 Engram 的 0 基索引 1 / 14 对应 L02 / L15。

三维教学表达

每一薄层对应真实的一层；64 格头阵列、384 格专家阵列保持真实数量。连线箭头表示数据方向，金色虚线表示状态复用，绿色线路表示四路残差。距离、体积、朝向不代表硬件或物理布局。

点击层后，其内部移到前方观察，原位保留轮廓；外围连接会跟随端点。隔离会淡化其余结构，保留上游、下游和共享缓存来源。

模拟数值 / 未知细节

人工分词、12 维投影、注意力色阶、路由选择和概率均为教学模拟；没有加载模型权重，没有调用推理服务。参考生成「很 / 蓝 / 。」仅在完成对应预测后追加。

本报告没有详述词表、真实 Token ID、嵌入 / 输出绑权、全部归一化与 RoPE 子通道、Engram 精确融合子位置，以及 DSpark 完整接线。图谱不把这些细节标作事实。

Prefill 与状态回放

本例前缀只有 3 个教学 Token，小于 SWA 窗口 128；Decoder Bounded Replay 因而覆盖整个前缀。长前缀则只 replay 最后 128 个位置，状态可能为近似。

时间轴保存每一步的前缀、已选输出、40 层 SWA 数量和四组 global KV 状态。选择 Token 不等于已经计算它的缓存。2:1 压缩不足两 Token 的尾部用未完成块缓冲表示。