本地跑大模型，实测到底有多快

想装机跑本地大模型的人，最常问的是「多大显存够用」。这个问题基本没有答案，因为它问错了。

真正决定你体感的是每秒能吐多少 token。而 tok/s 的近似公式只有一行：

tok/s ≈ 内存带宽 ÷ 模型体积 × 效率

带宽是硬件的，模型体积是你自己选的，效率是软件栈的——这一项被绝大多数人忽略了。

我把实测数据扒了一遍

小红书上跑本地模型的人不少，愿意贴实测数字的不多。我挑了 6 个关键词（Mac mini 跑大模型、本地部署显卡、16G 显存够不够、4090 二手、Ollama 太慢、3090 值不值），抓了 32 篇笔记、329 条评论，把里面作者自己贴的 tok/s 全部抄出来，反推效率：

最扎眼的是第一行和第三行。

一颗 M6 的带宽只有 170GB/s，3090 是 936GB/s，理论差了 5.5 倍。但实测 27B 的差距只有 3.4 倍（9.1 vs 31）——因为 M6 跑的是 MLX，效率 0.91，几乎把带宽榨干；而 3090 跑 Ollama/vLLM，效率只有 0.56。

反过来看第二行：同样是苹果芯片，M5 Pro 带宽 307GB/s 是 M6 的 1.8 倍，实测却只快 10%（10 vs 9.1 tok/s）。因为它跑的不是 MLX。

所以「买更大带宽」这件事，前提是你得先把手上的带宽用起来。

9 tok/s 是什么感觉

这个问题，有个作者算得比谁都清楚。他买了 32G 的 M6 Mac mini 跑 Qwen3.8-27B Q4，实测：

1K 上下文    9.1 tok/s
8K          8.9 tok/s
16K         8.5 tok/s
32K         7.9 tok/s

上下文从 1K 拉到 32K，速度只掉 13%——所以瓶颈不是上下文，是 9 tok/s 这个绝对值本身。

生成 100 个汉字（约 67 token）要等 11 秒。

他的原话是：「32G 能跑 27B 的量化模型，但跑不动你的日常。」

这句话是整批数据里最值钱的一句。所有人都在问「能不能跑」，没人问「跑起来爽不爽」。而这两个问题的答案，可以完全不同。

用户真正纠结的不是参数

329 条评论里有 76 条是提问（23%），而这些提问的形态很有意思：

• 「M5 Pro 64G 有必要多花 1350 升级到 18+20 核吗？主要跑 Q4 知识库助手」
• 「现在 mac mini 的 M4 Pro 二手还值得入吗？M5 Pro 太贵了」
• 「pro6000 和两张 4090 48G 推荐哪个」
• 「mba m4 24g 可以吗」

没有一个人在问「哪个带宽高」。 大家问的都是「我这个具体配置行不行」。

而且问得很具体——带预算、带型号、带用途。这种问题用一篇「显卡怎么选」的长文回答不了，得有一个能直接算的工具。

几个被低估的坑

长上下文会偷偷吃速度。 显存/内存接近撑满时，推理会减速，不是线性掉，是断崖式掉。有位跑双 3090 的直接说：「48G 其实不太够，VRAM 接近撑满就会减速。」

本地 vs 云，用户自己算得比谁都清楚。 高赞评论：「新硬件 5080 16G 卖 1w2，这钱充 kimi 订阅 140/月，可以连续充 7 年多。」所以如果你不是有隐私刚需或者 24 小时在跑，本地部署在账上是不划算的——这一点别自欺欺人。

二手显卡的信息极度不对称。 「二手 4090 低价最怕改卡或暗伤」「贩子测试不过，说是核心有问题，3DMark 跑几轮卡死闪退，但打游戏又没事」。同型号有人 22500 出掉，有人 9000 捡到。

所以该怎么选

把问题从「多大显存」换成三步：

1. 先定模型。你要跑 8B、27B 还是 70B？这一条定死，体积就定了。
2. 算带宽需求。目标 15 tok/s 以上，需要的带宽 ≈（模型体积 ÷ 0.55）× 15。27B Q4 就是 519GB/s——低于这个数，你就得接受慢。
3. 再决定平台。够不上就走云 API，比硬凑划算。

第 2 步这个账，我做了个工具可以直接算：dsgen.cn/find——填内存和带宽，直接出能跑什么、多少 tok/s、上下文能开多长。系数就是上面那张表反推出来的，不是拍脑袋。

另外那个按机型对比出图的工具在这里：dsgen.cn

数据说明：样本是 6 个关键词各自的搜索结果前排笔记，329 条评论按默认排序取前 20–25 条，偏热评；32 篇里有 5 篇需要 App 内查看，未纳入。效率系数是这些实测值的中位数反推，不是严格基准测试，但足够判断量级。