文章

统一内存要分开算

吴杰 · 约 1 分钟阅读

本地模型备忘:权重是一份,上下文是另一份。实验细节放在我的 Tinker 笔记里。

示例文,用来把站点跑起来,之后可以删。

我把本地模型的实验记在 Tinker AI Lab。那是我自己的实验笔记,不是这里的正文。这里只留一句下次还会用到的话:统一内存不是一张空白支票。

权重占一份,上下文的 KV 随长度另占一份,系统自己也要活着。数字以当时那台机器为准,不要抄成结论。

粗算时我把两件事分开写:

权重     固定
上下文   随长度涨

真正的对照和命令,以实验站上的记录为准。