本地模型

Vane + Ollama:先看这三件事

本地模型省的是 API 费,不一定省总成本;硬件、速度和维护都要算。

1. 本地模型改变什么

查询不再按 token 付费,但你要有能跑模型的机器;电费、硬件折旧和你的时间都变成成本。Vane 通过 Ollama / LM Studio 等连接本地模型,具体支持范围以官方 README 为准。

2. 硬件大概要多少

模型规模内存/显存粗略区间适合
7B–8B(量化)8–16 GB轻量问答、试验
13B–14B(量化)16–32 GB质量/速度平衡
30B+(量化)32 GB 以上,最好有 GPU更高质量,成本更高

这是量级,不是保证;量化方式、上下文长度、并发和 CPU/GPU 都会改变实际需求。

3. 什么时候不值得

如果你每天只有几十次查询、没有现成硬件、又不想维护,云 API 往往更简单。用计算器把“硬件成本 ÷ 折旧月数”填进去,再和 API 模式比。

官方入口:Vane GitHub README。本页不提供一键安装脚本。