中文开源端侧面壁开源模型

Milva（OpneBMB） 8B

Milva系列 · 面壁智能 · 2023-10发布

开源支持本地部署国内可直连有免费额度长上下文

🔗 官方体验地址 → 📄 API文档地址 → 📥 模型下载地址 →

模型介绍

Milva 是 OpenBMB 推出的开源中文对话模型，低参数量适配端侧与消费级显卡，中文能力友好。

模型基础信息

模型系列Milva系列

开发机构面壁智能

发布时间2023-10

参数规模8B

上下文窗口32K

模型类型文本

中文能力优秀

使用方式网页体验 / API调用 / 本地部署

免费额度与收费政策

开源免费

免费规则详情

Apache-2.0 可商用。

收费标准简介

本地零成本。

模型能力介绍

✅ 核心优势

中文好
轻量
端侧友好
开源

⚠️ 短板与局限

通用能力有限
生态小
推理一般

🎯 适用场景

中文聊天
本地部署
教学
边缘

模型使用教程

本章节整理 Milva（OpneBMB）的在线体验、API调用、本地部署全套入门教程，快速上手使用该模型。

本地体验：ollama run milva 或 Transformers / vLLM 加载。
云端：HF 托管模型可在线体验。

ollama run milva "用中文介绍一下Milva（OpneBMB）"

HF_ENDPOINT=https://hf-mirror.com huggingface-cli download 面壁智能/Milva --local-dir ./milva

或 ModelScope 国内直连下载。

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('面壁智能/Milva')
tok = AutoTokenizer.from_pretrained('面壁智能/Milva')
code = tok.apply_chat_template([{'role':'user','content':'你好'}], tokenize=False)
print(model.generate(**tok(code, return_tensors='pt')))

Milva（OpenBMB）是面向端侧的 8B 模型，强调低功耗推理，思路与小尺寸中文模型一致，Ollama 可跑。

Ollama 一键：

ollama pull opllm（如已收录）或按官方模型名拉取

transformers 加载：

pip install transformers==4.44.2

python -c "from transformers import AutoModelForCausalLM, AutoTokenizer; m=AutoModelForCausalLM.from_pretrained('OpenBMB/Milva-8B', trust_remote_code=True, torch_dtype='float16').cuda()"

端侧（ARM/手机）用 llama.cpp 编译运行 GGUF 量化版。

Tips：端侧优先选 1.7B~3B 量化版；8B 适合 16GB 显存机器。

💡 使用小技巧

入门中文开源可选。

❓ 常见问题 FAQ

Q1：Milva 特点？\nA1：轻量中文。

访问备注与注意事项

权重 hf-mirror 可下