本地跑大模型到底选哪个？我用llmfit把32000星的项目实测了一遍

Flynt 2026-08-18 10 阅读7分钟

上周五晚上心血来潮想跑一下Qwen3.8-27B。Ollama装好，模型拉下来，选了Q5_K_M量化——加载到62%终端直接甩了个CUDA OOM。 当时是真的烦。文件下了快20分钟，结果加载一半炸了。 冷静下来算了一下：27B参数Q5量化，光模型权重就16GB多，加上KV cache预分配，24GB的3090确实不够用。降到Q4_K_M能塞进去，但速度只有7-8 token/s，打一行字的时间它能给你想出半分钟。

后来我想明白了——本地跑大模型真正的门槛不是装Ollama那两行命令，是你根本不知道该选哪个模型、哪种量化。模型库几百个选择，参数量从1B到400B，量化方案Q2到Q8，碰上MoE架构还得单独算激活参数。手动算显存算错一次就得重新下载好几个G。那天晚上我光在HuggingFace上查各种模型的显存需求就花了俩小时，越查越乱，每个帖子给的数据还不一样。 找了半天，发现GitHub上有个项目llmfit，32000多星，干的事情就是帮你在几百个模型里找到你机器能跑的那些。

它干了啥

检测你机器的CPU、内存、GPU/VRAM，然后给每个模型打四个分：

• Fit：你的显存/内存装不装得下
• Speed：预估能跑多快
• Quality：模型本身的能力
• Context：能开多大上下文窗口

安装一行命令的事——brew install AlexsJones/llmfit/llmfit（macOS/Linux），Windows用scoop install llmfit。 跑个llmfit doctor看硬件识别：

$ llmfit doctor
Runtime:     CUDA 12.4
GPU:         NVIDIA GeForce RTX 3090 (24 GB VRAM)
CPU:         AMD Ryzen 9 5950X (16C/32T)
RAM:         64 GB DDR4
Backend:     cuda

Detection OK - 1 GPU, 64 GB RAM, 24 GB VRAM

很准，连CUDA版本都报了。 然后llmfit fit出推荐列表：

Model                    Params   Quant     VRAM     Fit  Speed  Quality  Context
─────────────────────────────────────────────────────────────────────────────────
qwen3.8-7b               7.6B     Q8_0      8.1 GB   ★★★★★ ★★★★★ ★★★☆☆  ★★★★★
qwen3.8-27b              27.2B    Q4_K_M   17.8 GB   ★★★☆☆ ★★☆☆☆ ★★★★★  ★★☆☆☆
deepseek-v3              673B*    Q3_K_M   21.4 GB   ★★★☆☆ ★★★☆☆ ★★★★★  ★★☆☆☆
llama-3.1-8b             8.0B     Q5_K_M    6.7 GB   ★★★★★ ★★★★☆ ★★★★☆  ★★★★★
mistral-7b               7.3B     Q4_K_M    4.4 GB   ★★★★★ ★★★★★ ★★★☆☆  ★★★★★
phi-4                    14.0B    Q4_K_M    9.1 GB   ★★★★☆ ★★★☆☆ ★★★★☆  ★★★★☆

* MoE model - VRAM based on active params (37B)

DeepSeek-V3那行挺有意思。673B参数的模型，因为MoE架构实际激活参数只有37B，显存占用21GB出头，在我的3090上居然能跑。我以前一直以为这玩意儿至少要8张A100，结果MoE的计算逻辑和dense模型完全两码事——不是所有参数都需要加载到显存，只有当前token激活的那部分expert才需要。这个知识点我之前在知乎看过科普，但真到自己算显存的时候还是懵的。llmfit至少帮我省了这一步。

说句实话，如果你已经对量化方案和显存计算很熟，手动算也就十分钟的事。llmfit真正省的是新手到处查资料、对比不同帖子数据的时间。它的核心价值不是"算得准"，而是"帮你把几百个选项快速缩到3-5个能跑的"。

实测：两个模型的实际表现

第一次看到推荐列表的时候愣了一下——原来我这台机器能跑的模型还挺多的，之前一直以为只能跑个7B凑合。

7B的我简单跑了一下，重点测了27B。主要是平时写Python脚本、查API文档、偶尔debug一下，7B够用了，27B的推理能力对我来说有点浪费。但既然都装了，还是测一下看看差距到底多大。

Qwen3.8-7B用Q8_0量化，8.1GB显存，在我的3090上跑起来很轻松。加载不到4秒，用llmfit bench测了跑了一轮，大概34 tok/s，首token延迟不到1秒。日常写代码补全、改bug、问个技术问题，完全够用。llmfit预估38 tok/s，实际偏差不大。这个模型属于"无脑推荐"级别的——你如果只是想本地跑个模型玩玩或者辅助开发，7B Q8_0就够了，不用纠结。

Qwen3.8-27B就是让我炸显存那个。降到Q4_K_M之后，17.8GB显存占用，能跑但很紧张。加载等了十几秒，llmfit bench跑出来大概8 tok/s。

说实话，回答质量确实好。问了个分布式事务的问题，27B把两阶段提交的细节讲得很清楚，7B在第二步就开始含糊。但8 tok/s的速度，你写代码的时候切过去等它回答，确实有点考验耐心。而且跑着跑着风扇就起飞了——显存几乎吃满，一点余量都不留。

测27B的时候还踩了个坑，这个得多说两句。第一遍跑benchmark只出了5 tok/s，我当时以为模型有问题，又重新下载了一遍，结果还是5。然后我想会不会是量化方案的问题，换成Q3_K_M试了一下，速度确实快了一些但还是不对。折腾了快半小时，最后随手跑了个nvidia-smi，好家伙，后台Chrome开了十几个tab在吃1.2GB显存。关掉之后重新测，直接跳到8 tok/s。就这么个不起眼的后台程序，搞了我大半个小时。所以如果你跑出来的速度和预估差太多，第一步不是怀疑模型，先看看有没有别的程序在抢显存。 测完之后我直接切回7B了。为了那点质量提升忍受3倍速度损失？不值得。至少日常开发场景下不值得。

另外llmfit info "qwen3.8-27b"这个命令也推荐试试，它会列出每种量化方案的具体显存占用，还附带一条验证命令，直接复制到终端就能确认模型能不能正常加载。省得你自己猜。

问题也有

模型库更新还不够快，一些国内社区的中文微调版本还没收录。但昨天刚合并了Qwen3.8系列的PR，维护者还算积极。速度估算偏乐观——7B偏了10%左右还能接受，27B偏了快25%就有点多了。项目支持用llmfit bench跑完实测后直接提交数据回去，TUI里就有提交入口，不用开浏览器。社区数据多了之后估算应该会越来越准。

纯CPU用户就别想了。没有独显的话推荐结果会很保守，基本只有7B以下的小模型能上榜。这也不是llmfit的问题——纯CPU推理本身就是物理限制。 还有个小事：llmfit的TUI界面长得还行，但我个人更喜欢CLI模式。TUI适合初次探索，CLI适合你明确知道自己要查什么的时候。两个模式功能完全一样，看个人习惯。

---

总的来说，llmfit解决了一个很具体的痛点：面对几百个模型和量化方案，帮你在30秒内缩小到3-5个能跑的选择。剩下的就是自己下载试。 如果你已经对量化方案很熟了，这工具价值不大。但如果你是刚想本地跑大模型、不知道怎么选的那种状态，llmfit fit能省掉大量查资料算显存的时间。 给个简单的显存-模型对照参考（根据我这次实测的经验）：

你的显存	推荐模型	量化方案	预期速度
8GB	7B级别	Q8_0	30+ tok/s
12GB	7B Q8 或 14B Q4	çœ‹å ·ä½“æ¨¡åž‹	15-30 tok/s
16GB	14B Q5 或 27B Q3	çœ‹å ·ä½“æ¨¡åž‹	10-20 tok/s
24GB	27B Q4_K_M	Q4_K_M	7-10 tok/s

这只是粗略参考，具体还是得跑llmfit fit看你机器的实际情况。MoE模型的显存需求和dense模型差很多，不能光看参数量。 有踩坑的评论区聊聊，你跑27B用的什么量化方案？报个显卡型号和显存。我最近在考虑要不要上4090，24G跑27B还是太紧了。