Aitishiku.com
GGUFKoboldCpp写作开源 本地部署模型
KoboldCpp KoboldCpp 1.85
KoboldCpp系列 · KoboldAI 社区（Concedo） · 2023-06发布
模型介绍
KoboldCpp 是面向写作与创意场景的本地 LLM 运行器，兼容 GGUF，内置丰富写作功能，OpenAI 兼容 API。
模型基础信息
模型系列KoboldCpp系列
开发机构KoboldAI 社区（Concedo）
发布时间2023-06
参数规模运行工具（支持任意 GGUF 模型）
上下文窗口上下文可配
模型类型本地推理引擎
中文能力良好
使用方式网页体验 / API调用 / 本地部署
免费额度与收费政策
开源免费
免费规则详情
AGPL-3.0 免费使用。
收费标准简介
完全免费。
模型能力介绍
✅ 核心优势
- 写作体验佳
- GGUF 直跑
- PI 兼容
- 轻量部署
⚠️ 短板与局限
- 仅单机
- 界面较传统
- 生态小
🎯 适用场景
- I 写作
- 创意对话
- 角色扮演
- 本地推理
模型使用教程
本章节整理 KoboldCpp 的在线体验、API调用、本地部署全套入门教程，快速上手使用该模型。
- 本地工具，安装后即可使用。
- 支持对接主流模型与本地推理引擎。
启动服务后按提示操作即可。
export HF_ENDPOINT=https://hf-mirror.com模型权重通过 HuggingFace 镜像或 ModelScope 下载。
提供 HTTP API：
curl http://localhost:PORT/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"default","messages":[{"role":"user","content":"你好"}]}'KoboldCpp 是整合 llama.cpp 的本地推理程序，Windows 双击运行，也能在无 GPU 的机器上推理。
- 从 GitHub Releases 下载对应系统压缩包并解压（自带可执行文件）。
- 将 GGUF 模型放入 models/ 目录。
- 运行 main，选择模型与上下文长度；浏览器打开内置 WebUI 即可对话，端口默认 5001。
- 提供 OpenAI 兼容接口：
http://localhost:5001/v1，可被 Open WebUI 等复用。
Tips：GGUF 量化模型（q4/q5）文件小、加载快；支持长上下文扩展与角色扮演特性。
💡 使用小技巧
写作向本地推理首选之一。
❓ 常见问题 FAQ
Q1：KoboldCpp 特点？\nA1：专注写作的本地推理器。
访问备注与注意事项
- 需下载 GGUF 权重