文章
统一内存要分开算
本地模型备忘:权重是一份,上下文是另一份。实验细节放在我的 Tinker 笔记里。
示例文,用来把站点跑起来,之后可以删。
我把本地模型的实验记在 Tinker AI Lab。那是我自己的实验笔记,不是这里的正文。这里只留一句下次还会用到的话:统一内存不是一张空白支票。
权重占一份,上下文的 KV 随长度另占一份,系统自己也要活着。数字以当时那台机器为准,不要抄成结论。
粗算时我把两件事分开写:
权重 固定
上下文 随长度涨
真正的对照和命令,以实验站上的记录为准。