一块 GPU 收到一批文本，先把它们变成数字，再做许多次矩阵乘法。模型猜下一个 Token，系统算出它猜得有多差，随后沿着计算图反向追责，把数千亿乃至上万亿个参数中的一部分轻轻推一下。这个动作会重复几百万次。 把这句话放大，就是大模型预训练。 可真正把训练规模推到万亿参数和十万亿 Token 时，问 ...