WebUI开源本地部署量化本地部署模型

Text Generation WebUI 1.0

Text Generation WebUI（oobabooga）系列 · oobabooga（开源社区） · 2023-03发布

开源支持本地部署国内可直连有免费额度

🔗 官方体验地址 → 📄 API文档地址 → 📥 模型下载地址 →

模型介绍

开源的文本生成 Web 界面，支持 GGUF/AWQ/GPTQ 量化、加载多种模型后端，带聊天与微调（LoRA）功能，是本地 LLM 折腾党的经典工具。

模型基础信息

模型系列Text Generation WebUI（oobabooga）系列

开发机构oobabooga（开源社区）

发布时间2023-03

参数规模框架（无固定参数）

上下文窗口文本生成界面

模型类型文本生成图形界面

中文能力待评估

使用方式网页体验 / API调用 / 本地部署

免费额度与收费政策

完全免费开源

免费规则详情

AGPL-3.0 开源免费。

收费标准简介

完全免费；成本为硬件。

模型能力介绍

✅ 核心优势

支持多种量化格式（GGUF/AWQ/GPTQ）
聊天与推理参数精细
内置 LoRA 微调
文字生成测试灵活

⚠️ 短板与局限

界面较工程化
需要一定技术能力
长期维护迭代放缓

🎯 适用场景

本地 LLM 聊天测试
量化模型评测
LoRA 微调实验
多后端切换

模型使用教程

本章节整理 Text Generation WebUI 的在线体验、API调用、本地部署全套入门教程，快速上手使用该模型。

启动后进入 Model 标签加载模型（GGUF 选 load_in_4bit 等量化）。
Chat 标签对话，可调 temperature/top_p 等参数。
Training 标签做 LoRA 微调。

按官方 README 安装；Windows 用 start_windows.bat。

以 --api 启动后提供 OpenAI 兼容接口，可对接程序：

./start_linux.sh --api

git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
./start_linux.sh

浏览器打开 http://127.0.0.1:7860，在 Model 页加载 GGUF 模型后进入 Chat。

💡 使用小技巧

启动脚本：./start_linux.sh。

模型放入 models 目录即可加载。

❓ 常见问题 FAQ

Q1：和 Ollama 区别？

A1：更「geek」，支持更多量化与微调。

Q2：免费吗？

A2：开源免费。

访问备注与注意事项

需适合的显卡与 CUD
依赖较多需耐心安装