欢迎大家关注“凯哥讲故事系列”公众号

智能体工程化所需的九类能力放在同一张地图上:模型只是智能体的推理核心,真正决定落地能力的是编排、记忆、工具、数据、基础设施和可观测性的闭环。
AI Agent 的技术栈,可以被理解为一条从“意图”到“行动”、再到“反馈学习”的闭环链路。用户提出目标,前端承接交互,编排层拆解任务,模型进行推理,记忆层提供上下文,工具层连接外部世界,数据库保存状态与知识,基础设施承载运行,可观测性层则把执行过程变成可追踪、可评估、可治理的证据链。
Foundation Model 提供推理、生成、代码、多模态理解和工具调用能力,是智能体的大脑,但不是完整系统。
Agent Orchestration + Tools 决定智能体能否把目标拆成步骤,并调用搜索、业务系统、代码环境和自动化工具完成任务。
Infra + Observability 决定系统是否可部署、可扩展、可审计、可回放、可优化,是真正生产化的分水岭。
蓝图主线:
Frontend 接收人的目标与反馈;
Agent Orchestration 把目标变成计划;
Foundation Models 负责推理;
Memory 与 Database 提供事实、上下文和状态;
Tools 把决策变成外部行动;
GPU/CPU Provider 与 Infra/Base 负责承载;
Agentic Observability 让每一次思考、检索、调用、失败和成本都可被看见。
中文:工具层把智能体从“会说话的模型”变成“能调用外部世界的执行者”。它包括搜索、知识查询、业务系统连接、工作流自动化、代码执行与计算引擎。
E
Exa
面向 AI 应用的语义搜索/API,适合做网页发现、研究型 Agent 的外部检索入口。
AI-native search/API for web discovery and research agents.
Z
Zapier
SaaS 自动化连接器,把邮件、表单、CRM、表格、消息系统串成可调用动作。
SaaS automation connector that exposes business apps as callable actions.
C
Composio
面向智能体的工具集成平台,重点是认证、权限、工具调用与多应用连接。
Tool-integration layer for agents, with auth, permissions, and app connectors.
S
Serper
Google Search API 类工具,常用于 Agent 的实时搜索、新闻检索与 SERP 摘要。
Search API often used for live web/SERP retrieval in agents.
G
搜索、地图、Workspace、云 API 与身份服务的综合能力入口。
Broad entry point for Search, Maps, Workspace, cloud APIs, and identity services.
R
Replit
云端开发与运行环境,可用于代码型 Agent 的沙盒、原型与部署。
Cloud IDE/runtime that can serve as a coding-agent sandbox and prototype host.
Y
YouChat
搜索增强的对话式问答产品,代表“答案引擎”型外部知识工具。
Search-augmented conversational answer engine.
D
DuckDuckGo
隐私友好的搜索入口,常用于轻量级网页检索或替代搜索源。
Privacy-oriented search source for lightweight web retrieval.
W
Wolfram
符号计算、数学、科学数据与可验证计算能力,适合严谨计算类 Agent。
Computational knowledge engine for math, science, and verifiable calculation.
中文:算力层决定模型训练、推理、微调、批处理和并发能力。Agent 不是只跑一次 Prompt,而是长期运行的推理—工具—观察循环,因此算力弹性、延迟、成本和地域合规都很关键。
English:Compute providers determine training, inference, fine-tuning, batch processing, and concurrency. Agent workloads are loops, so elasticity, latency, cost, and regional compliance matter.
A
AWS
最完整的云基础设施之一,适合企业级 GPU、Serverless、数据服务与安全治理组合。
Full-stack cloud for GPU, serverless, data services, and enterprise governance.
P
Paperspace
云 GPU 平台,适合实验、Notebook、模型训练与中小团队原型。
Cloud GPU platform for notebooks, experiments, training, and prototyping.
N
NVIDIA
GPU、CUDA、推理引擎、模型服务与 AI 基础设施生态的核心厂商。
Core GPU/CUDA/inference/model-serving ecosystem provider.
A
Azure
微软云,适合企业身份、数据平台、OpenAI 服务、混合云与合规场景。
Microsoft cloud for identity, data platforms, Azure OpenAI, hybrid and regulated workloads.
C
CoreWeave
以 GPU 云和高性能 AI/渲染工作负载著称,适合大规模训练和推理弹性。
GPU-specialized cloud for AI training, inference, and high-performance workloads.
R
RunPod
按需 GPU 与 Serverless GPU,适合成本敏感的推理、实验和开源模型部署。
On-demand/serverless GPU platform for cost-sensitive inference and OSS model deployment.
G
Groq
LPU 推理平台,强调低延迟、高吞吐的大模型推理体验。
Inference platform focused on low-latency and high-throughput LLM serving.
O
OVHcloud
欧洲云服务商,适合需要欧盟数据主权、成本控制和云基础设施的场景。
European cloud provider useful for data-sovereignty and infrastructure-cost scenarios.
L
Lambda
GPU 云与工作站/服务器生态,适合深度学习训练、微调与研发环境。
GPU cloud and hardware ecosystem for deep-learning training and R&D.
中文:基础设施层把 Agent 从 Demo 变成可部署、可扩缩、可迁移、可治理的软件系统。这里的关键词是容器、编排、基础设施即代码、配置管理和混合云运维。
English:The infrastructure layer turns demos into deployable, scalable, portable systems: containers, orchestration, infrastructure as code, configuration management, and hybrid-cloud operations.
H
HashiCorp
Terraform、Vault、Consul、Nomad 等基础设施工具体系的代表,关注云资源、密钥和服务治理。
Infrastructure tooling family covering IaC, secrets, service discovery, and workload orchestration.
A
Ansible
自动化配置、部署和运维工具,适合服务器批量管理与环境一致性。
Automation tool for configuration management, provisioning, and repeatable operations.
O
OpenShift
Red Hat 企业级 Kubernetes 平台,适合混合云、DevSecOps 和受监管行业。
Enterprise Kubernetes platform for hybrid cloud, DevSecOps, and regulated environments.
H
Helm
Kubernetes 包管理工具,用 Chart 管理复杂服务的安装、升级和版本化。
Kubernetes package manager for installing, upgrading, and versioning complex services.
D
Docker
容器化基础工具,解决依赖打包、一致运行和本地到云端迁移问题。
Containerization tool for packaging dependencies and running apps consistently.
T
Terraform
基础设施即代码工具,用声明式配置管理云与本地资源生命周期。
Declarative infrastructure-as-code tool for provisioning and versioning cloud/on-prem resources.
K
Kubernetes
容器编排事实标准,负责部署、扩缩、服务发现、滚动更新和自愈。
Container orchestration platform for deployment, scaling, service discovery, rollout, and self-healing.
N
Nomad
HashiCorp 工作负载编排器,可运行容器、二进制、批任务,轻量且多数据中心友好。
Workload orchestrator for containers, binaries, and batch jobs across data centers.
P
Pulumi
用 TypeScript/Python/Go 等通用语言写基础设施即代码,适合工程团队与平台团队。
IaC platform using general-purpose languages such as TypeScript, Python, and Go.
中文:数据库层并不只存结构化数据。Agent 需要向量检索、全文检索、结构化事务、分析查询、实时状态和文件元数据,所以这层实际是“AI 数据底座”。
English:The database layer is not only structured storage. Agents need vectors, full-text search, transactions, analytics, real-time state, and metadata, so this layer is the AI data foundation.
P
Pinecone
托管向量数据库,适合生产级语义搜索、RAG 与高并发向量检索。
Managed vector database for production semantic search and RAG.
S
Supabase
开源 Firebase 替代方案,基于 Postgres,提供认证、数据库、存储、边缘函数。
Open-source Firebase alternative built on Postgres with auth, database, storage, and edge functions.
ZM
Zilliz Milvus
Milvus 的托管/企业生态,适合大规模向量检索和多模态 AI 数据。
Managed/enterprise ecosystem around Milvus for large-scale vector search and multimodal data.
Q
Qdrant
Rust 实现的向量数据库,强调性能、过滤能力、部署灵活性和 RAG 场景。
Rust-based vector database emphasizing performance, filtering, and deployment flexibility.
C
Chroma
轻量级开源向量数据库,常用于本地开发、RAG 原型和嵌入式 AI 应用。
Lightweight open-source vector database for local development and RAG prototypes.
W
Weaviate
开源 AI/向量数据库,支持向量+对象数据、混合搜索和 RAG。
Open-source AI/vector database for objects plus embeddings, hybrid search, and RAG.
C
ClickHouse
列式分析数据库,适合高吞吐日志、事件、行为数据和指标分析。
Columnar analytics database for logs, events, behavior data, and metrics.
F
Faiss
Meta 开源向量相似度检索库,适合本地索引、实验与自建向量服务。
Open-source vector similarity search library for local indexes and custom vector services.
F
Firebase
Google 应用开发后端,提供实时数据库、认证、托管与移动端开发能力。
Google app backend for realtime database, authentication, hosting, and mobile development.
中文:前端层是 Agent 的体验入口。真正的 Agent 产品不是一个聊天框,而是工作台、审批台、可视化驾驶舱、插件面板、移动端入口与人机协同界面。
English:The frontend layer is the user experience of agents: not just chat, but workbenches, approval consoles, dashboards, plugin panels, mobile entry points, and human-in-the-loop interfaces.
N
Node.js
JavaScript 运行时与后端开发基础,适合 API 网关、工具服务和全栈应用。
JavaScript runtime for API gateways, tool services, and full-stack applications.
S
SolidJS
高性能响应式前端框架,适合需要细粒度更新的交互应用。
High-performance reactive UI framework for fine-grained interactive applications.
G
Gradio
快速构建机器学习/LLM Demo 和内部工具界面的 Python 框架。
Python framework for quickly building ML/LLM demos and internal tools.
E
Electron
用 Web 技术构建桌面应用,适合本地 Agent、IDE 插件或桌面控制台。
Build desktop apps with web technologies, useful for local agents and desktop consoles.
S
Streamlit
快速构建数据应用、实验看板和分析工具,适合 AI 原型和内部应用。
Fast framework for data apps, experiment dashboards, and AI prototypes.
N
Next.js
React 全栈框架,适合生产级 Web 应用、SSR、API 路由和企业门户。
Full-stack React framework for production web apps, SSR, API routes, and portals.
S
Svelte
编译型前端框架,适合高性能、轻量交互界面。
Compiler-based frontend framework for lightweight, high-performance UIs.
V
Vue.js
渐进式前端框架,适合企业后台、低门槛团队协作与组件化 UI。
Progressive frontend framework for enterprise admin apps and componentized UIs.
R
React
最主流的组件化前端库之一,适合复杂 AI 工作台和生态集成。
Mainstream component UI library for complex AI workbenches and ecosystem integrations.
中文:智能体编排层负责把“模型调用”组织成“任务执行系统”:规划、工具选择、多智能体协作、状态管理、Human-in-the-loop、错误恢复和工作流控制。
English:The orchestration layer turns model calls into task-execution systems: planning, tool choice, multi-agent collaboration, state, human-in-the-loop, recovery, and workflow control.
A
AutoGen
微软开源多智能体框架,强调对话式多 Agent 协作、人机参与和原型研究;新项目需关注其生命周期状态。
Microsoft-originated multi-agent framework for conversational collaboration, human participation, and prototyping; check lifecycle status for new builds.
B
BabyAGI
早期自治任务循环实验,代表“任务拆解—执行—生成新任务”的 Agent 思想原型。
Early autonomous task-loop experiment representing task decomposition and iterative execution.
V
Veritone
企业 AI 平台,偏媒体、语音、合规、工作流和 AI 操作系统能力。
Enterprise AI platform oriented to media, audio, compliance, workflows, and AI operating capabilities.
M
MetaGPT
多角色软件团队式 Agent 框架,把 PM、架构师、工程师等角色组织成协作流程。
Multi-role software-team agent framework with PM, architect, and engineer-like roles.
L
LangChain
主流 LLM 应用与 Agent 框架,提供模型、工具、检索、链路和 Agent 抽象。
Mainstream framework for LLM apps and agents, connecting models, tools, retrieval, and chains.
BA
Bee Agent
IBM/开源生态中的 Agent 框架方向,强调工具调用、工作流与企业集成。
Agent framework direction associated with IBM/open-source ecosystem, focusing on tool use and enterprise integration.
H
Haystack
Deepset 开源 NLP/RAG 框架,适合搜索、问答、文档管线和企业知识应用。
Open-source NLP/RAG framework for search, QA, document pipelines, and enterprise knowledge apps.
A
AutoGPT
自治 Agent 早期代表项目,强调目标驱动、工具调用、循环执行和任务自动化。
Early autonomous-agent project emphasizing goal-driven tool use and iterative execution.
C
CrewAI
多 Agent 编排框架,以角色、任务、Crew 和 Flow 组织复杂协作流程。
Multi-agent orchestration framework using roles, tasks, crews, and flows.
中文:记忆层让 Agent 不再每次“失忆重启”。它包括短期上下文、长期用户记忆、组织知识、向量索引、知识图谱、会话状态、事实失效与个性化画像。
English:The memory layer prevents agents from restarting from zero: short-term context, long-term user memory, organizational knowledge, vector indexes, knowledge graphs, session state, fact invalidation, and personalization.
C
Cortex
在此图中可理解为智能体的上下文/认知层概念或相关记忆产品;定位是把上下文组织成可调用知识。
In this blueprint, treat Cortex as a context/cognition memory layer concept or product: organizing context into callable knowledge.
L
LlamaIndex
面向 LLM 的数据/上下文框架,连接文档、索引、检索、Agent 和工作流。
Data/context framework for LLM apps connecting documents, indexes, retrieval, agents, and workflows.
M
Memo
通用“记忆/备忘”能力的代表;在 Agent 中通常指用户偏好、事实和任务上下文的保存。
Generic memory/notes capability; in agents it means storing preferences, facts, and task context.
V
Vectara
企业级 RAG/搜索平台,强调检索增强生成、引用、可信回答和企业知识应用。
Enterprise RAG/search platform focused on grounded generation, citations, and knowledge apps.
C
Cognee
面向 AI 的记忆/知识图谱框架,适合把非结构化内容转成可推理上下文。
AI memory/knowledge-graph framework for turning unstructured content into reasoning context.
R
RedisAI
Redis 生态中的 AI 推理/缓存能力;在 Agent 中常对应低延迟状态、缓存和特征/向量辅助。
Redis AI/caching capability; useful for low-latency state, cache, and feature/vector support.
L
Letta
源于 MemGPT 思路的状态化 Agent/长期记忆平台,强调持续学习和持久 Agent。
Stateful-agent/long-term-memory platform inspired by MemGPT, focused on persistent agents.
M
Milvus
在记忆层中作为向量记忆库,存储文档、事实、历史交互的嵌入向量。
Vector memory store for document, fact, and interaction embeddings.
Z
Zep
Agent 记忆/上下文工程平台,可把聊天、业务数据和用户行为组织成上下文图谱。
Agent memory/context-engineering platform that builds context graphs from chats, business data, and user behavior.
中文:基础模型层是智能体的“推理引擎”。不同模型的长上下文、代码能力、多模态、函数调用、成本、延迟、私有部署和安全策略,会直接决定 Agent 的上限。
English:Foundation models are the reasoning engines. Long context, coding, multimodality, function calling, cost, latency, private deployment, and safety policies determine the agent ceiling.
G
Gemini
Google 的多模态模型家族,适合长上下文、多模态理解、工具调用和 Google 生态集成。
Google multimodal model family for long context, multimodal understanding, tool use, and Google ecosystem integration.
E
EleutherAI
开放研究社区模型生态的代表,强调开源、可复现和研究型模型。
Open research model community emphasizing open-source, reproducibility, and research models.
D
DeepSeek
中国开源/商业大模型代表之一,常用于代码、推理、中文和企业私有化场景。
Chinese open/commercial model family often used for coding, reasoning, Chinese, and private deployment.
Q
Qwen
阿里通义千问模型家族,覆盖文本、多模态、代码和开源/商业形态。
Alibaba Qwen model family covering text, multimodal, coding, and open/commercial variants.
M
Mistral
欧洲大模型公司与模型家族代表,强调高性能、开源权重和企业部署选择。
European model family/company known for performant models, open weights, and enterprise options.
C
Cohere
企业 NLP/LLM 平台,强项包括文本生成、嵌入、重排序和企业检索。
Enterprise LLM/NLP platform strong in generation, embeddings, reranking, and enterprise search.
F
Falcon
TII 推出的开放大模型家族,代表开源基础模型生态的重要分支。
Open model family from TII, representing an important open-foundation-model branch.
C
Claude
Anthropic 模型家族,常用于复杂推理、写作、代码、长文档分析与安全要求较高场景。
Anthropic model family used for reasoning, writing, coding, long documents, and safety-sensitive workflows.
GP
Google PaLM
Google 早期大模型家族;在蓝图中更适合作为历史/遗留模型标记,现代 Google 路线更多以 Gemini 为中心。
Earlier Google model family; in this blueprint, treat it as a legacy marker while modern Google stacks center on Gemini.
中文:可观测性层是 Agent 从“能跑”走向“可信运行”的关键。传统可观测看日志、指标、链路;Agentic Observability 还要看提示词、工具调用、轨迹、成本、幻觉、评测、回放和安全审计。
English:Observability is the bridge from runnable to trustworthy. Beyond logs, metrics, and traces, agentic observability tracks prompts, tool calls, trajectories, cost, hallucination, evaluations, replay, and safety audit.
P
Prometheus
开源指标采集与告警系统,适合服务健康、延迟、吞吐、资源与 SLO 监控。
Open-source metrics and alerting system for health, latency, throughput, resources, and SLOs.
G
Grafana
可视化和监控平台,常与 Prometheus、Loki、Tempo 等组成仪表盘体系。
Visualization and monitoring platform often paired with Prometheus, Loki, and Tempo.
H
Helicone
面向 LLM/API 的可观测平台,关注请求、成本、延迟、模型质量和调用分析。
LLM/API observability platform for requests, cost, latency, quality, and call analytics.
S
Sentry
应用错误监控与性能追踪工具,适合前后端异常、发布质量和用户影响分析。
Application error monitoring and performance tracing for frontend/backend quality.
WB
Weights & Biases
机器学习实验管理、模型评估和 LLM/Agent 评测工具链。
ML experiment tracking, model evaluation, and LLM/agent evaluation tooling.
L
Langfuse
开源 LLM 可观测平台,支持 trace、prompt、评测、成本、会话与数据集管理。
Open-source LLM observability platform for traces, prompts, evals, cost, sessions, and datasets.
A
Arize
AI/ML 可观测平台,关注模型监控、漂移、评测和 LLM 应用质量。
AI/ML observability platform for model monitoring, drift, evals, and LLM quality.
O
OpenTelemetry
厂商中立的遥测标准与工具体系,用统一方式采集 traces、metrics、logs。
Vendor-neutral telemetry standard/tooling for traces, metrics, and logs.
NR
New Relic
全栈可观测平台,覆盖应用、基础设施、日志、浏览器、移动端与 AI 工作负载。
Full-stack observability platform for apps, infra, logs, browser, mobile, and AI workloads.
中文解读
从精益 AI 的角度,这张技术栈可以重新映射为五类能力:Flow、Data、Knowledge、Intelligence、Action。Flow 解决人机协同和业务流程,Data 解决数据资产和事实来源,Knowledge 解决上下文和组织经验,Intelligence 解决模型推理,Action 解决工具调用和执行闭环。
这意味着企业建设 Agent 平台时,不应该从“选哪个模型”开始,而应该从“哪个业务流需要被智能化重构”开始。模型只是其中一层,真正的壁垒来自可复用的数据、可治理的知识、可审计的行动和可持续优化的观测反馈。
English View
Through the Lean AI lens, the stack maps into five capabilities: Flow, Data, Knowledge, Intelligence, and Action. Flow structures human-AI collaboration; Data anchors facts and assets; Knowledge carries context and organizational memory; Intelligence performs reasoning; Action connects decisions to executable tools.
Therefore, enterprise agent platforms should not start with “which model should we pick?” but with “which value flow should be reconstructed?” The durable moat is reusable data, governed knowledge, auditable action, and continuous feedback.
中文文章|AI Agent Tech Stack Blueprint:从“会聊天”到“能做事”的智能体技术底座
过去两年,很多团队把智能体误解成“更聪明的聊天机器人”。他们把一个大模型接上搜索,再接一个工具调用,就以为拥有了 Agent。这个判断只对了一半。大模型确实让系统拥有了理解、生成和推理能力,但一个真正能在企业里长期运行的 Agent,必须同时具备七种能力:能理解目标,能拆解任务,能调用工具,能记住上下文,能访问可信数据,能被部署和扩展,能被观测和审计。
因此,这张 AI Agent Tech Stack 的价值,不在于它列出了多少热门工具,而在于它把智能体工程化的关键能力一次性展开。它告诉我们:Agent 的本质不是模型,而是一套围绕模型构建起来的执行系统。模型负责“想”,工具负责“做”,记忆负责“知道过去”,数据库负责“保存事实”,前端负责“让人参与”,基础设施负责“让系统稳定运行”,可观测性负责“让每一步都能被看见”。
工具层是智能体区别于普通 Chatbot 的第一道分水岭。没有工具,模型只能输出文本;有了工具,模型才能搜索网页、查询数据库、创建日程、发送邮件、运行代码、调用业务系统。Exa、Serper、DuckDuckGo、Google 代表搜索和外部知识发现;Zapier、Composio 代表跨 SaaS 系统的行动连接;Wolfram 代表可验证的计算能力;Replit 则代表代码执行和开发环境。工具层的关键不是“接得多”,而是“接得安全、接得可控、接得可审计”。
智能体不是一次性问答,而是循环执行:思考、调用工具、观察结果、再思考、再行动。这个循环对算力提出了新的要求。AWS、Azure、CoreWeave、RunPod、Lambda、Paperspace、Groq、OVHcloud、NVIDIA 等组成了算力供给层。企业选型时要同时考虑四件事:延迟、成本、弹性和合规。训练更关心吞吐和集群效率,推理更关心响应时间和稳定性,私有化部署更关心数据边界和硬件可控性。
很多 Agent Demo 看起来很惊艳,但一到生产环境就崩溃,原因往往不是模型不够强,而是基础设施不够工程化。Docker 解决运行环境一致性,Kubernetes 解决容器编排,Helm 解决复杂服务部署,Terraform 和 Pulumi 解决基础设施即代码,Ansible 解决自动化配置,OpenShift 解决企业级 Kubernetes 平台能力,HashiCorp 生态和 Nomad 则面向更完整的基础设施治理。企业级 Agent 平台必须把工具、模型、数据库、观测系统和权限系统都放在可版本化、可回滚、可复制的基础设施体系中。
在 Agent 系统中,数据库层被重新定义。传统系统里的数据库保存业务记录;Agent 系统里的数据库还要保存向量、文档、上下文、日志、指标、用户偏好和任务状态。Pinecone、Qdrant、Weaviate、Milvus、Chroma、Faiss 代表向量检索与语义搜索;Supabase、Firebase 代表应用后端和实时数据能力;ClickHouse 代表高吞吐分析。一个成熟的 Agent 平台通常不会只用一种数据库,而是组合使用事务库、向量库、对象存储、分析库和缓存。
很多人把 Agent 的前端理解成 Chat UI,这是非常狭隘的。真正的 Agent 前端应该是工作台:它能展示任务计划、工具调用轨迹、证据来源、审批节点、风险提示、成本消耗和执行结果。React、Vue、Svelte、SolidJS、Next.js 适合构建生产级 Web 应用;Streamlit、Gradio 适合快速原型和数据应用;Electron 适合桌面 Agent;Node.js 则支撑前后端 API 和工具服务。前端的核心价值,是把“黑箱智能”变成“可参与的智能”。
如果说基础模型是推理引擎,那么 Agent Orchestration 就是执行操作系统。LangChain、CrewAI、AutoGen、MetaGPT、Haystack、AutoGPT、BabyAGI、Bee Agent、Veritone 等都在解决同一类问题:如何把一个目标变成可执行流程。它们关注任务拆解、角色协作、工具选择、状态管理、人机协同、错误恢复和工作流控制。企业选型时要警惕“过度自治”的幻觉。真正可靠的 Agent 不是无限自动执行,而是在关键节点允许人介入、允许系统回放、允许权限收敛。
没有记忆的 Agent,每一次对话都像新员工第一天上班。记忆层让 Agent 理解用户偏好、项目背景、组织知识、历史决策和业务上下文。LlamaIndex、Vectara、Zep、Letta、Cognee、Milvus、RedisAI、Cortex、Memo 代表了不同形态的记忆和上下文工程。这里要区分三种记忆:短期记忆解决当前任务上下文,长期记忆解决跨会话连续性,组织记忆解决企业知识和制度经验。越往企业级走,记忆越不能只是“存聊天记录”,而要有事实失效、权限隔离、版本管理和来源追溯。
基础模型决定 Agent 的能力边界。Gemini、Claude、Qwen、DeepSeek、Mistral、Cohere、Falcon、EleutherAI、Google PaLM 代表不同模型路线:闭源商业模型、开源模型、研究社区模型、企业模型、中文生态模型、多模态模型和历史模型。企业不应该只问“哪个模型最强”,而要问“哪个任务适合哪个模型”。代码任务、长文档任务、中文任务、多模态任务、低延迟任务、私有部署任务,往往需要不同模型组合。未来企业的模型架构大概率是多模型路由,而不是单一模型崇拜。
传统可观测性看日志、指标和链路;智能体可观测性还要看 Prompt、上下文、检索片段、工具调用、模型响应、成本、延迟、失败原因、幻觉率和评测结果。Prometheus、Grafana、OpenTelemetry、Sentry、New Relic 是传统软件可观测的底座;Langfuse、Helicone、Weights & Biases、Arize 则更关注 LLM/Agent 的特定质量问题。没有可观测性,Agent 就无法进入生产,因为你无法解释它为什么这么做,也无法证明它是否做对了。
结论:Agent 技术栈的本质,是企业操作系统的重构
这张图最终传递的不是工具选择,而是一种架构意识。AI Agent 正在把企业软件从“功能菜单式系统”推向“目标驱动式系统”。过去的软件要求人学习流程,未来的 Agent 会围绕人的目标组织工具、数据和流程。真正的竞争力,不是拥有某个热门模型,而是能否把模型、数据、知识、工具、流程和治理连接成一个持续学习、持续执行、持续优化的系统。
Layer | Component | 中文解释 |
|---|---|---|
Tools | Exa | 面向 AI 应用的语义搜索/API,适合做网页发现、研究型 Agent 的外部检索入口。 |
Tools | Zapier | SaaS 自动化连接器,把邮件、表单、CRM、表格、消息系统串成可调用动作。 |
Tools | Composio | 面向智能体的工具集成平台,重点是认证、权限、工具调用与多应用连接。 |
Tools | Serper | Google Search API 类工具,常用于 Agent 的实时搜索、新闻检索与 SERP 摘要。 |
Tools | 搜索、地图、Workspace、云 API 与身份服务的综合能力入口。 | |
Tools | Replit | 云端开发与运行环境,可用于代码型 Agent 的沙盒、原型与部署。 |
Tools | YouChat | 搜索增强的对话式问答产品,代表“答案引擎”型外部知识工具。 |
Tools | DuckDuckGo | 隐私友好的搜索入口,常用于轻量级网页检索或替代搜索源。 |
Tools | Wolfram | 符号计算、数学、科学数据与可验证计算能力,适合严谨计算类 Agent。 |
GPU/CPU Providers | AWS | 最完整的云基础设施之一,适合企业级 GPU、Serverless、数据服务与安全治理组合。 |
GPU/CPU Providers | Paperspace | 云 GPU 平台,适合实验、Notebook、模型训练与中小团队原型。 |
GPU/CPU Providers | NVIDIA | GPU、CUDA、推理引擎、模型服务与 AI 基础设施生态的核心厂商。 |
GPU/CPU Providers | Azure | 微软云,适合企业身份、数据平台、OpenAI 服务、混合云与合规场景。 |
GPU/CPU Providers | CoreWeave | 以 GPU 云和高性能 AI/渲染工作负载著称,适合大规模训练和推理弹性。 |
GPU/CPU Providers | RunPod | 按需 GPU 与 Serverless GPU,适合成本敏感的推理、实验和开源模型部署。 |
GPU/CPU Providers | Groq | LPU 推理平台,强调低延迟、高吞吐的大模型推理体验。 |
GPU/CPU Providers | OVHcloud | 欧洲云服务商,适合需要欧盟数据主权、成本控制和云基础设施的场景。 |
GPU/CPU Providers | Lambda | GPU 云与工作站/服务器生态,适合深度学习训练、微调与研发环境。 |
Infra / Base | HashiCorp | Terraform、Vault、Consul、Nomad 等基础设施工具体系的代表,关注云资源、密钥和服务治理。 |
Infra / Base | Ansible | 自动化配置、部署和运维工具,适合服务器批量管理与环境一致性。 |
Infra / Base | OpenShift | Red Hat 企业级 Kubernetes 平台,适合混合云、DevSecOps 和受监管行业。 |
Infra / Base | Helm | Kubernetes 包管理工具,用 Chart 管理复杂服务的安装、升级和版本化。 |
Infra / Base | Docker | 容器化基础工具,解决依赖打包、一致运行和本地到云端迁移问题。 |
Infra / Base | Terraform | 基础设施即代码工具,用声明式配置管理云与本地资源生命周期。 |
Infra / Base | Kubernetes | 容器编排事实标准,负责部署、扩缩、服务发现、滚动更新和自愈。 |
Infra / Base | Nomad | HashiCorp 工作负载编排器,可运行容器、二进制、批任务,轻量且多数据中心友好。 |
Infra / Base | Pulumi | 用 TypeScript/Python/Go 等通用语言写基础设施即代码,适合工程团队与平台团队。 |
Database | Pinecone | 托管向量数据库,适合生产级语义搜索、RAG 与高并发向量检索。 |
Database | Supabase | 开源 Firebase 替代方案,基于 Postgres,提供认证、数据库、存储、边缘函数。 |
Database | Zilliz Milvus | Milvus 的托管/企业生态,适合大规模向量检索和多模态 AI 数据。 |
Database | Qdrant | Rust 实现的向量数据库,强调性能、过滤能力、部署灵活性和 RAG 场景。 |
Database | Chroma | 轻量级开源向量数据库,常用于本地开发、RAG 原型和嵌入式 AI 应用。 |
Database | Weaviate | 开源 AI/向量数据库,支持向量+对象数据、混合搜索和 RAG。 |
Database | ClickHouse | 列式分析数据库,适合高吞吐日志、事件、行为数据和指标分析。 |
Database | Faiss | Meta 开源向量相似度检索库,适合本地索引、实验与自建向量服务。 |
Database | Firebase | Google 应用开发后端,提供实时数据库、认证、托管与移动端开发能力。 |
Frontend | Node.js | JavaScript 运行时与后端开发基础,适合 API 网关、工具服务和全栈应用。 |
Frontend | SolidJS | 高性能响应式前端框架,适合需要细粒度更新的交互应用。 |
Frontend | Gradio | 快速构建机器学习/LLM Demo 和内部工具界面的 Python 框架。 |
Frontend | Electron | 用 Web 技术构建桌面应用,适合本地 Agent、IDE 插件或桌面控制台。 |
Frontend | Streamlit | 快速构建数据应用、实验看板和分析工具,适合 AI 原型和内部应用。 |
Frontend | Next.js | React 全栈框架,适合生产级 Web 应用、SSR、API 路由和企业门户。 |
Frontend | Svelte | 编译型前端框架,适合高性能、轻量交互界面。 |
Frontend | Vue.js | 渐进式前端框架,适合企业后台、低门槛团队协作与组件化 UI。 |
Frontend | React | 最主流的组件化前端库之一,适合复杂 AI 工作台和生态集成。 |
Agent Orchestration | AutoGen | 微软开源多智能体框架,强调对话式多 Agent 协作、人机参与和原型研究;新项目需关注其生命周期状态。 |
Agent Orchestration | BabyAGI | 早期自治任务循环实验,代表“任务拆解—执行—生成新任务”的 Agent 思想原型。 |
Agent Orchestration | Veritone | 企业 AI 平台,偏媒体、语音、合规、工作流和 AI 操作系统能力。 |
Agent Orchestration | MetaGPT | 多角色软件团队式 Agent 框架,把 PM、架构师、工程师等角色组织成协作流程。 |
Agent Orchestration | LangChain | 主流 LLM 应用与 Agent 框架,提供模型、工具、检索、链路和 Agent 抽象。 |
Agent Orchestration | Bee Agent | IBM/开源生态中的 Agent 框架方向,强调工具调用、工作流与企业集成。 |
Agent Orchestration | Haystack | Deepset 开源 NLP/RAG 框架,适合搜索、问答、文档管线和企业知识应用。 |
Agent Orchestration | AutoGPT | 自治 Agent 早期代表项目,强调目标驱动、工具调用、循环执行和任务自动化。 |
Agent Orchestration | CrewAI | 多 Agent 编排框架,以角色、任务、Crew 和 Flow 组织复杂协作流程。 |
Memory | Cortex | 在此图中可理解为智能体的上下文/认知层概念或相关记忆产品;定位是把上下文组织成可调用知识。 |
Memory | LlamaIndex | 面向 LLM 的数据/上下文框架,连接文档、索引、检索、Agent 和工作流。 |
Memory | Memo | 通用“记忆/备忘”能力的代表;在 Agent 中通常指用户偏好、事实和任务上下文的保存。 |
Memory | Vectara | 企业级 RAG/搜索平台,强调检索增强生成、引用、可信回答和企业知识应用。 |
Memory | Cognee | 面向 AI 的记忆/知识图谱框架,适合把非结构化内容转成可推理上下文。 |
Memory | RedisAI | Redis 生态中的 AI 推理/缓存能力;在 Agent 中常对应低延迟状态、缓存和特征/向量辅助。 |
Memory | Letta | 源于 MemGPT 思路的状态化 Agent/长期记忆平台,强调持续学习和持久 Agent。 |
Memory | Milvus | 在记忆层中作为向量记忆库,存储文档、事实、历史交互的嵌入向量。 |
Memory | Zep | Agent 记忆/上下文工程平台,可把聊天、业务数据和用户行为组织成上下文图谱。 |
Foundational Models | Gemini | Google 的多模态模型家族,适合长上下文、多模态理解、工具调用和 Google 生态集成。 |
Foundational Models | EleutherAI | 开放研究社区模型生态的代表,强调开源、可复现和研究型模型。 |
Foundational Models | DeepSeek | 中国开源/商业大模型代表之一,常用于代码、推理、中文和企业私有化场景。 |
Foundational Models | Qwen | 阿里通义千问模型家族,覆盖文本、多模态、代码和开源/商业形态。 |
Foundational Models | Mistral | 欧洲大模型公司与模型家族代表,强调高性能、开源权重和企业部署选择。 |
Foundational Models | Cohere | 企业 NLP/LLM 平台,强项包括文本生成、嵌入、重排序和企业检索。 |
Foundational Models | Falcon | TII 推出的开放大模型家族,代表开源基础模型生态的重要分支。 |
Foundational Models | Claude | Anthropic 模型家族,常用于复杂推理、写作、代码、长文档分析与安全要求较高场景。 |
Foundational Models | Google PaLM | Google 早期大模型家族;在蓝图中更适合作为历史/遗留模型标记,现代 Google 路线更多以 Gemini 为中心。 |
Agentic Observability | Prometheus | 开源指标采集与告警系统,适合服务健康、延迟、吞吐、资源与 SLO 监控。 |
Agentic Observability | Grafana | 可视化和监控平台,常与 Prometheus、Loki、Tempo 等组成仪表盘体系。 |
Agentic Observability | Helicone | 面向 LLM/API 的可观测平台,关注请求、成本、延迟、模型质量和调用分析。 |
Agentic Observability | Sentry | 应用错误监控与性能追踪工具,适合前后端异常、发布质量和用户影响分析。 |
Agentic Observability | Weights & Biases | 机器学习实验管理、模型评估和 LLM/Agent 评测工具链。 |
Agentic Observability | Langfuse | 开源 LLM 可观测平台,支持 trace、prompt、评测、成本、会话与数据集管理。 |
Agentic Observability | Arize | AI/ML 可观测平台,关注模型监控、漂移、评测和 LLM 应用质量。 |
Agentic Observability | OpenTelemetry | 厂商中立的遥测标准与工具体系,用统一方式采集 traces、metrics、logs。 |
Agentic Observability | New Relic | 全栈可观测平台,覆盖应用、基础设施、日志、浏览器、移动端与 AI 工作负载。 |
快速原型
Gradio/StreamlitLangChainChroma/FaissOpenAI/Claude/Gemini/Qwen
适合验证价值,不适合直接承载关键业务。
创业公司生产化
Next.jsSupabaseQdrant/PineconeLangfuse/HeliconeDocker
重点是速度、成本、可观测和最小治理闭环。
企业级/受监管
Kubernetes/OpenShiftTerraformMilvus/WeaviateOpenTelemetryHITL
重点是权限、审计、数据边界、稳定性和可追责。
