# oMLX：Apple Silicon 上最完整的本地模型服务器

---

**oMLX** 是一个专为 Apple Silicon 优化的 LLM 推理服务器。核心特性：连续批处理 + 双层 KV 缓存（内存热层 + SSD 冷层），从 macOS 菜单栏直接管理。

---

## 一、Tiered KV Cache：上下文跨请求、跨重启存活

这是 oMLX 最核心的工程创新。KV 缓存分两层：

```text
热层（RAM）：高频访问的 block 常驻内存
冷层（SSD）：热层满了以后，block 以 safetensors 格式卸载到 SSD
```

效果：**下一次请求带着相同前缀时，直接从磁盘恢复缓存，不重新计算——服务器重启之后也有效。**

这意味着什么？你用 Claude Code 连本地模型改代码，每次对话的前缀（system prompt + 项目上下文）不用反复重算。长会话的实际体验接近云 API。

实现借鉴了 vLLM 的 block 设计：prefix sharing + Copy-on-Write，多请求共享相同前缀的缓存。

---

## 二、多模型管理：一服务器跑五类模型

oMLX 一个服务器里同时跑：

| 类型 | 例子 |
|------|------|
| LLM | mlx-lm 支持的全部模型 |
| VLM | Qwen3.5、GLM-4V、Pixtral |
| OCR | DeepSeek-OCR、GLM-OCR |
| Embedding | BGE-M3、ModernBERT |
| Reranker | ModernBERT、XLM-RoBERTa |

内存管理是自动 + 手动结合：

- **LRU 淘汰**：内存不足自动卸载最久未用的模型
- **Pin 固定**：常用模型常驻内存
- **Per-model TTL**：空闲超时自动卸载
- **内存护栏**：总内存上限（默认系统 RAM - 8GB），防止 OOM

管理面板里点一下就能加载/卸载任意模型，不需要改配置重启。

---

## 三、Claude Code 深度适配

oMLX 对 Claude Code 做了针对性优化：

- **上下文缩放**：跑小上下文模型时，缩放报告的 token 数，让 auto-compact 在正确时机触发
- **SSE keep-alive**：长 prefill 期间防止读超时

这让本地模型跑 Claude Code 类工具时不会因为上下文窗口和超时问题频繁断掉。

---

## 四、API 兼容 + 工具调用

OpenAI 和 Anthropic 双 API 兼容：

```text
POST /v1/chat/completions   # OpenAI 兼容
POST /v1/messages           # Anthropic 兼容
POST /v1/embeddings         # 嵌入
POST /v1/rerank             # 重排
```

工具调用支持 9 种模型家族的格式：Llama/Qwen/DeepSeek 的 JSON、Qwen3.5 的 XML、Gemma、GLM、MiniMax、Mistral、Kimi K2、Longcat 各自的格式都自动识别。

还支持 MCP——本地模型也能挂 MCP 工具。

---

## 五、菜单栏 App + 集成

原生 SwiftUI 菜单栏 App（不是 Electron）：

- 菜单栏直接启停、监控服务器
- 服务统计跨重启保留
- 崩溃自动重启、应用内自动更新

OpenClaw、OpenCode、Codex、Hermes Agent、Copilot、Pi 在管理面板一键配置接入。

还有个实验特性：多 Mac 分布式推理——把一个模型分片到多台内存不等的 Mac 上跑。

---

## 六、安装

```bash
brew tap jundot/omlx https://github.com/jundot/omlx
brew install jundot/omlx/omlx

omlx start
```

要求 macOS 15+、Apple Silicon、Python 3.11-3.13。

---

## 结语

本地模型要实用，光「跑得动」不够，还得「跑得顺」。oMLX 的 SSD KV 缓存解决了本地推理最烦人的问题——长会话反复重算前缀。配上连续批处理、多模型管理和 Claude Code 适配，它在 Apple Silicon 上把「本地 LLM 当日常工具」这件事做到了可用的程度。


oMLX 是一个专为 Apple Silicon 优化的 LLM 推理服务器。核心特性：连续批处理 + 双层 KV 缓存（内存热层 + SSD 冷层），从 macOS 菜单栏直接管理。

oMLX：Apple Silicon 上最完整的本地模型服务器

软件研发

人工智能

开发工具

硬件

oMLX为Apple Silicon提供完整本地LLM推理服务器，核心创新是双层KV缓存（RAM热层+SSD冷层）实现跨请求、跨重启的上下文持久化，避免长会话前缀重算。支持多模型并发管理（LLM/VLM/OCR/Embedding/Reranker），兼容OpenAI与Anthropic API，深度适配ClaudeCode，提供原生菜单栏工具，有效降低本地模型使用门槛。

内存管理

代码解释

服务器

DeepSeek

OpenClaw

JSON

2026上云采购 | AI焕新·智启新局

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

oMLX为Apple Silicon提供完整本地LLM推理服务器，核心创新是双层KV缓存（RAM热层+SSD冷层）实现跨请求、跨重启的上下文持久化，避免长会话前缀重算。支持多模型并发管理（LLM/VLM/OCR/Embedding/Reranker），兼容OpenAI与Anthropic API，深度适配ClaudeC...

oMLX：Apple Silicon 上最完整的本地模型服务器-腾讯云开发者社区-腾讯云

oMLX：Apple Silicon 上最完整的本地模型服务器

oMLX：Apple Silicon 上最完整的本地模型服务器

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐