07/24 写过一篇文章《本地运行 LLM 的限制》,今天我要来尝试本地搭建一个模型,实际运行体验,看看效果究竟如何。
随着大语言模型的发展,AI 不再只能通过互联网访问云端服务,普通用户也可以在自己的电脑、迷你主机甚至 NAS 上运行本地 AI 模型,打造一套属于自己的家庭 AI 服务。
所谓本地大模型,就是将模型文件下载到自己的设备上,通过本地计算资源完成模型推理,不需要将每次对话都发送到云端。它的主要优势是数据隐私更好、不依赖互联网、没有按次调用的 API 费用。当然,本地模型的能力和运行速度仍然受到硬件资源的限制。
一、家庭本地 AI 可以做什么?
目前已经有不少适合本地运行的开源模型,例如阿里巴巴的 Qwen、DeepSeek-R1、Meta 的 Llama 和 Google 的 Gemma。这些模型可以用于日常聊天、知识问答、文本总结、翻译和简单编程等任务。
除了普通对话,还可以将本地 AI 与 Home Assistant 等智能家居平台结合,实现语音控制灯光、空调、窗帘,查询家庭设备状态以及执行自动化任务。
未来可以在家里部署一台小型 AI 服务器,家庭成员通过手机、电脑、平板和智能音箱访问它,相当于拥有一个私人版 ChatGPT。
二、运行本地模型需要什么硬件?
本地大模型对硬件资源有一定要求,尤其是内存和 GPU 显存。模型规模越大,通常需要越多的计算资源。
以 4-bit 量化模型为例,7B~8B 模型通常需要约 4~6GB 模型存储空间,14B 模型约 8~11GB,32B 模型约 18~22GB,70B 模型则需要约 40~45GB。
实际运行时还需要额外的内存,用于 KV Cache、推理框架和操作系统等。因此,模型文件大小并不等于实际运行所需内存。
如果没有独立显卡,也可以通过 CPU 和系统内存运行模型,只是推理速度通常会比较慢。配备 NVIDIA 独立显卡则可以利用 GPU 加速,显存容量也直接影响能够运行的模型规模。
三、家庭 AI 服务器的硬件投入
根据模型规模和使用需求,可以考虑三个档次:
- 入门级: 普通电脑或迷你主机,16~32GB 内存,主要运行 3B~8B 小模型。
- 实用级: 配备 32~64GB 内存和 16GB 显存独立显卡的台式机,可以比较舒适地运行 7B~14B 模型。
- 高性能级: 配备 24GB 甚至更大显存的显卡,以及 64GB 以上内存,可以尝试运行 32B 等更大规模的模型。
如果只是体验本地 AI,没有必要一开始就购买昂贵的工作站。优先利用现有电脑,确认实际需求之后再升级硬件更加合理。
四、如何开始运行本地模型?
对于普通用户,可以使用 Ollama 或 LM Studio。
Ollama 提供命令行和 HTTP API,适合开发者搭建本地 AI 服务;LM Studio 提供图形界面,方便下载模型和进行对话测试。
目前我的电脑是一台 AMD Ryzen 9 处理器的迷你主机,配备 32GB 内存,使用 AMD 集成显卡,机身没有安装独立显卡的空间。
这套配置已经可以尝试运行本地大模型。可以先从 Qwen3 4B 或 8B 开始,体验中文对话、文本总结和简单问答。AMD 集成显卡是否能够参与推理加速,还需要根据具体处理器型号和软件支持情况判断。
现阶段没有必要购买新设备,可以先安装 Ollama,充分利用现有硬件。
采用 Ubuntu 26.04 + Ollama + Qwen3 8B 这套方案,这是 AI 给我的部署脚本:
#!/usr/bin/env bash
set -Eeuo pipefail
# ==========================================
# Local AI Server Installer
# Ubuntu 26.04 + AMD Ryzen + Ollama + Qwen3
# ==========================================
MODEL="${MODEL:-qwen3:8b}"
API_HOST="127.0.0.1:11434"
log() {
echo -e "\n\033[1;32m[INFO]\033[0m $*"
}
fail() {
echo -e "\n\033[1;31m[ERROR]\033[0m $*" >&2
exit 1
}
# 1. Environment check
[[ $EUID -ne 0 ]] || fail "请使用普通用户运行,不要直接使用 root"
[[ "$(uname -m)" == "x86_64" ]] || fail "当前脚本仅支持 x86_64"
command -v sudo >/dev/null || fail "请先安装 sudo"
sudo -v
log "检查系统环境"
cat /etc/os-release | grep -E '^(PRETTY_NAME|VERSION_ID)='
lscpu | grep -E 'Model name|CPU\(s\)' | head -2
free -h
# 2. Install dependencies
log "安装系统依赖"
sudo apt-get update
sudo apt-get install -y curl ca-certificates pciutils
# 3. Install Ollama
if ! command -v ollama >/dev/null 2>&1; then
log "安装 Ollama"
curl -fsSL https://ollama.com/install.sh | sh
else
log "Ollama 已安装,跳过"
fi
# 4. Configure systemd
log "配置 Ollama 服务"
sudo mkdir -p /etc/systemd/system/ollama.service.d
sudo tee /etc/systemd/system/ollama.service.d/override.conf >/dev/null <<EOF
[Service]
Environment="OLLAMA_HOST=${API_HOST}"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_KEEP_ALIVE=5m"
EOF
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl restart ollama
# 5. Wait for API
log "等待 Ollama 启动"
for i in $(seq 1 30); do
if curl -fsS "http://${API_HOST}/api/version" >/dev/null; then
break
fi
sleep 2
done
curl -fsS "http://${API_HOST}/api/version" >/dev/null \
|| fail "Ollama API 启动失败"
# 6. Download model
log "下载模型: ${MODEL}"
ollama pull "${MODEL}"
# 7. Test model
log "测试模型推理"
ollama run "${MODEL}" \
"请用中文简单介绍一下你自己。" \
|| fail "模型测试失败"
# 8. Finish
echo
log "部署完成"
echo "模型: ${MODEL}"
echo "API: http://${API_HOST}:11434"
echo
echo "常用命令:"
echo " ollama list"
echo " ollama run ${MODEL}"
echo " ollama ps"
echo " sudo systemctl status ollama"
echo " sudo journalctl -u ollama -f"
echo
echo "API 测试:"
echo " curl http://${API_HOST}:11434/api/tags"
例如,安装 Ollama 后执行:
ollama run qwen3:8b
即可下载并运行 Qwen3 8B 模型,之后可以直接在终端与模型对话。