Apache代码低开销开源开源模型

OpenChat 3.6

OpenChat系列 · OpenChat 社区 · 2023-12发布

开源支持本地部署国内可直连有免费额度长上下文代码专用

🔗 官方体验地址 → 📄 API文档地址 → 📥 模型下载地址 →

模型介绍

OpenChat 以「可读代码的只有 7B 模型」著称，混合专家对齐算法，开源社区的代表之一，性价比高。

模型基础信息

模型系列OpenChat系列

开发机构OpenChat 社区

发布时间2023-12

参数规模3.5B / 7B / 8B

上下文窗口16K

模型类型文本

中文能力一般

使用方式网页体验 / API调用 / 本地部署

免费额度与收费政策

开源免费

免费规则详情

Apache-2.0 可商用。

收费标准简介

本地零成本。

模型能力介绍

✅ 核心优势

小模型高效
代码不错
训练开销小
开源

⚠️ 短板与局限

中文一般
能力有限
社区驱动

🎯 适用场景

轻量应用
代码辅助
研究
边缘

模型使用教程

本章节整理 OpenChat 的在线体验、API调用、本地部署全套入门教程，快速上手使用该模型。

本地体验：ollama run openchat 或 Transformers / vLLM 加载。
云端：HF 托管模型可在线体验。

ollama run openchat "用中文介绍一下OpenChat"

HF_ENDPOINT=https://hf-mirror.com huggingface-cli download OpenChat 社区/OpenChat --local-dir ./openchat

或 ModelScope 国内直连下载。

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('OpenChat 社区/OpenChat')
tok = AutoTokenizer.from_pretrained('OpenChat 社区/OpenChat')
code = tok.apply_chat_template([{'role':'user','content':'你好'}], tokenize=False)
print(model.generate(**tok(code, return_tensors='pt')))

OpenChat 在开源基准上常用胜率较高，8B 版量化后 8GB 显存可跑，性价比突出。

Ollama：

ollama pull openchat

使用：

ollama run openchat

transformers / vLLM：

pip install vllm && vllm serve openchat/openchat-3.5-1210 --port 8000

Tips：16K 上下文；中文优于同尺寸国外模型一档，适合低配电脑。

💡 使用小技巧

低开销微调代表。

❓ 常见问题 FAQ

Q1：OpenChat 特点？\nA1：小开销高效果。

访问备注与注意事项

权重 hf-mirror 可下