## 为什么要纯本地运行？

虽然云端 API（如 DeepSeek、Claude）很方便，但有些场景需要完全本地化：

1. **安全合规**：处理敏感数据，不允许数据离开本地网络
2. **网络受限**：部署在内网环境或网络不稳定的地区
3. **零成本**：不想花一分钱 API 费用
4. **隐私极客**：完全不信任任何第三方服务

## 方案架构

```
┌──────────────────────────────────────┐
│           你的电脑/服务器              │
│                                      │
│  ┌──────────────┐  ┌──────────────┐  │
│  │ Hermes Agent │──│   Ollama     │  │
│  │              │  │ (本地模型)    │  │
│  └──────────────┘  └──────────────┘  │
│                                      │
│  完全断网也能运行 ✅                    │
│  零 API 费用 ✅                       │
│  零数据泄露 ✅                         │
└──────────────────────────────────────┘
```

## 安装步骤

### 步骤 1：安装 Ollama

```bash
# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh

# 启动 Ollama 服务
ollama serve
```

### 步骤 2：下载模型

推荐模型选择：

| 模型 | 大小 | 最低显存/内存 | 适用场景 |
|------|------|-------------|---------|
| qwen2.5:7b | 4.7GB | 8GB RAM | 中文对话、轻量任务 |
| llama3.1:8b | 4.7GB | 8GB RAM | 英文对话、代码 |
| deepseek-coder-v2:16b | 9GB | 16GB RAM | 编程任务 |
| qwen2.5:32b | 19GB | 32GB RAM | 复杂推理（推荐） |
| llama3.1:70b | 40GB | 64GB+ | 最强能力 |

```bash
# 推荐方案（8GB 内存即可）
ollama pull qwen2.5:7b

# 如果内存充足（16GB+）
ollama pull qwen2.5:32b
```

### 步骤 3：安装 Hermes Agent

```bash
curl -fsSL https://hermes-agent.org/install.sh | bash
```

### 步骤 4：配置 Hermes Agent 使用 Ollama

```bash
hermes init
```

在初始化向导中选择 Ollama 作为模型提供商，配置如下：

```yaml
# ~/.hermes/config.yaml
model:
  provider: ollama
  base_url: http://localhost:11434
  model: qwen2.5:7b
  # 或者更强的模型
  # model: qwen2.5:32b
```

### 步骤 5：启动

```bash
hermes start
```

## 性能优化

### 内存不够怎么办？

1. 选择更小的模型（7B 甚至 3B）
2. 调整 Ollama 的 context 长度：`ollama run qwen2.5:7b --num-ctx 4096`
3. 关闭其他占内存的应用

### 推理速度太慢？

1. 有 NVIDIA 显卡？确保安装了 CUDA 驱动，Ollama 会自动使用 GPU 加速
2. Mac 用户：M1/M2/M3 芯片自带 GPU 加速，无需额外配置
3. 减小 context 长度（牺牲上下文换取速度）

### 推荐硬件配置

| 场景 | CPU | 内存 | GPU |
|------|-----|------|-----|
| 轻度使用（7B模型） | 4核+ | 8GB+ | 可选 |
| 中度使用（14B-32B） | 8核+ | 16-32GB | 推荐有 |
| 重度使用（70B） | 16核+ | 64GB+ | 必须有 |

## 离线使用的注意事项

1. **模型需要提前下载**：Ollama 的模型需要在有网络时先下载好
2. **技能市场无法访问**：社区技能包需要提前下载到本地
3. **消息网关有限**：Telegram 等在线平台无法使用，但 Web UI 仍可在内网访问
4. **系统时间需同步**：Cron 定时任务依赖准确的系统时间

## 混合模式

也可以配置"混合模式"——简单任务用本地模型，复杂任务用云端 API：

```yaml
model:
  default:
    provider: ollama
    model: qwen2.5:7b
  coding:
    provider: deepseek
    model: deepseek-coder
  complex:
    provider: openrouter
    model: claude-3.5-sonnet
```

## 进阶：云端 Ollama

如果本地电脑配置不够，可以在云服务器上运行 Ollama。推荐腾讯云 Lighthouse 搭配 GPU 实例。

基础部署教程：[玩转 Hermes Agent｜使用 Lighthouse 快速部署云上 Hermes Agent](https://cloud.tencent.com/developer/article/2653159)。

---

## 🚀 快速上手 Hermes Agent：仅需三步轻松安装

想要体验 Hermes Agent 的强大能力？推荐在腾讯云上部署，仅需三步即可开始使用：

> **第一步**：购买云服务器 → **第二步**：一键安装 Hermes Agent → **第三步**：接入消息平台，开始使用

腾讯云为 Hermes Agent 用户提供专属优惠云服务器方案，最低2核4G配置即可流畅运行，7×24 小时在线，随时随地通过手机与你的 AI 智能体互动。

👉 **[立即前往腾讯云官网选购 Hermes Agent 专属云服务器](https://cloud.tencent.com/act/pro/hermesagent)**

部署完成后，可参考详细的安装配置教程：[玩转 Hermes Agent｜使用 Lighthouse 快速部署云上 Hermes Agent](https://cloud.tencent.com/developer/article/2653159)


---

**FAQ：**

**Q1：本地模型和云端 API 的效果差距大吗？**
A：取决于模型大小。7B 模型的能力明显弱于 Claude/GPT-4o；32B 模型在大多数日常任务中已经足够好；70B+ 模型则接近商业模型水平。

**Q2：Apple Silicon Mac 运行 Ollama 的效果如何？**
A：M1/M2/M3 Mac 运行 Ollama 效果非常好，GPU 加速开箱即用。16GB M2 Mac 可以流畅运行 14B 模型。

**Q3：Ollama 支持同时运行多个模型吗？**
A：支持，但每个模型都会占用内存。建议同时只加载 1-2 个模型。


虽然云端 API（如 DeepSeek、Claude）很方便，但有些场景需要完全本地化：

Hermes Agent + Ollama 纯本地运行：不联网也能用的 AI 智能体

通过 Ollama 运行本地大模型，Hermes Agent 可以完全在断网环境下工作——零 API 费用、零数据泄露风险。本文介绍如何配置 Ollama + Hermes Agent 的纯本地方案，推荐模型选择和性能优化技巧。

人工智能

云计算

客户端

纯本地运行AI模型保障数据安全与隐私，完全断网可用，零API费用。支持Ollama本地部署，适配7B-70B不同规模模型，满足从轻量任务到复杂推理需求。提供详细安装配置指南，支持混合模式灵活切换本地与云端服务，适合敏感数据处理与内网环境部署。

云服务器

数据泄露

安全合规

敏感数据

服务器

智能体

4核4G3M云服务器 新用户低至38元/年！

lighthouse

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Hermes Agent + Ollama 纯本地运行：不联网也能用的 AI 智能体-腾讯云开发者社区-腾讯云

Hermes Agent + Ollama 纯本地运行：不联网也能用的 AI 智能体

Hermes Agent + Ollama 纯本地运行：不联网也能用的 AI 智能体

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐