这是一个预览功能，仅在 us-east-2 可用。Neon AI 网关是内置在您的 Neon 分支中的 LLM 推理层：一个 API 和一个 Neon 凭证即可让您访问来自 Anthropic、OpenAI、Google、Meta、Alibaba、DeepSeek 和 Databricks 的前沿和开源模型——由 Databricks 提供支持。您现有的 OpenAI/Anthropic/Gemini SDK 只需更改基础 URL 即可使用。

使用此技能帮助用户通过网关发送模型调用，将其连接到 AI SDK 或 Mastra，并在不重新布线代码的情况下切换提供商。提供一个可运行的推理请求、一个已配置的代理，或从官方 Neon 文档中获取准确答案。

每当某个应用程序或代理需要调用大型语言模型（LLM），而用户又不希望自行管理模型提供商时，请使用 AI 网关：

如果用户已经拥有深度的单一提供商集成，并且对 Neon 分支或多模型路由不感兴趣，那么直接使用提供商 SDK 就可以——但一旦他们想要一个凭证、模型可移植性或分支范围的 AI，这就是使用它的原因。

该网关是 neon.ts 的一部分（参见 neon 技能以了解分支优先工作流程以及 neon.ts 基础）。在 preview.aiGateway 下启用它：

// neon.ts
import { defineConfig } from "@neon/config/v1";

export default defineConfig({
  preview: {
    aiGateway: true,
  },
});

neon deploy   # provisions the gateway on the linked branch

上面的 preview.aiGateway 切换是 neon.ts 的一部分，neon.ts 是 Neon's 基础设施即代码文件——一个 TypeScript 文件在版本控制中声明该网关及每个其他分支服务（完整参考请参见 neon 技能）。按照 Terraform 的方式将它与分支进行对账：

neon config status   # print the branch's live config (is the gateway on?)
neon config plan     # dry-run diff of what apply would change
neon config apply    # enable the gateway on the branch  (neon deploy is an alias)

网关是分支范围的：每个分支都有自己的网关主机。当存在 neon.ts 时，neon checkout 在创建分支时会应用策略，因此一个新的预览/CI 分支会自动启用网关。检出一个_已有_分支不会进行同步——运行 neon deploy 来应用更改。配置 (config apply / deploy)、link 和 checkout 也会将分支的网关凭据拉取到本地 .env.local 中，因此本地运行会访问与已部署函数相同的分支网关（无需手动 env pull）。

对于已类型化且经过验证的注入凭据访问，将相同的配置对象传递给 @neon/env 的 parseEnv — 它返回一个来源于你的 neon.ts 的 env.aiGateway 命名空间（apiKey，baseUrl）。

当启用 preview.aiGateway 时，Neon 会将网关凭据注入为 OpenAI 标准 环境变量（因此 OpenAI SDK 和 AI SDK 可以在无需配置的情况下从环境中工作），此外还会提供 NEON_ 前缀的别名。在已部署的 Neon 函数中，这些变量会自动注入；在本地，neon env pull 会将它们写入 .env/.env.local 文件（或者使用 neon-env run -- 在运行时注入而无需文件）：

OPENAI_API_KEY Gateway bearer token (a Neon credential, nt_live_...)

OPENAI_BASE_URL Full OpenAI-dialect route, including /ai-gateway/openai/v1: https://-api.ai..aws.neon.tech/ai-gateway/openai/v1

NEON_AI_GATEWAY_TOKEN Same bearer as OPENAI_API_KEY (survives a user overriding OPENAI_* with their own keys)

NEON_AI_GATEWAY_BASE_URL Bare branch gateway host (scheme://host, no path — no /ai-gateway): https://-api.ai..aws.neon.tech

这两个基本 URL 是不同的：OPENAI_BASE_URL 已经包含完整的 /ai-gateway/openai/v1（Responses）路径，而 NEON_AI_GATEWAY_BASE_URL 只是裸主机，所以你需要自己追加 /ai-gateway/（这也是 @neon/ai-sdk-provider 为你做的）。主机下的路径如下：

所以 ${NEON_AI_GATEWAY_BASE_URL}/ai-gateway/mlflow/v1 是聊天补全端点，${NEON_AI_GATEWAY_BASE_URL}/ai-gateway/openai/v1 等同于 OPENAI_BASE_URL，等等。如果你只有 OPENAI_BASE_URL 并且需要聊天补全，交换方言：baseUrl.replace("/openai/v1", "/mlflow/v1")（这就是 Mastra 示例所做的）。

对于类型化访问，parseEnv（来自 @neon/env）返回从你的 neon.ts 中派生的 env.aiGateway（apiKey，baseUrl）。

使用 Vercel AI SDK 构建代理（推荐）

Vercel AI SDK 是从 TypeScript 调用网关和构建代理的推荐方式：一套面向每个目录模型的原语（generateText、streamText、工具调用、结构化输出），为 Neon Functions 托管的长代理响应提供一流的流式处理。

在一个流式传输文本并生成图像的 Neon 函数中，@ai-sdk/openai 提供程序会自动从注入的环境中读取 OPENAI_API_KEY 和 OPENAI_BASE_URL —— 无需客户端配置；只需选择一个目录模型：

import { openai } from "@ai-sdk/openai";
import { streamText } from "ai";

const result = streamText({
  model: openai("gpt-5-mini"),
  messages,
  tools: {
    image_generation: openai.tools.imageGeneration({
      outputFormat: "jpeg",
      size: "1024x1024",
    }),
  },
});
return result.toUIMessageStreamResponse();

对于来自单个调用的多提供商路由，专用的 @neon/ai-sdk-provider 会读取 NEON_AI_GATEWAY_BASE_URL 和 NEON_AI_GATEWAY_TOKEN，并将每个模型路由到最佳端点（Anthropic → Messages，OpenAI/Codex → Responses，其他所有 → MLflow）：

import { neon } from "@neon/ai-sdk-provider";
import { generateText } from "ai";

const { text } = await generateText({
  model: neon("claude-haiku-4-5"), // or gpt-5-3-codex, gemini-2-5-flash, ...
  prompt: "Summarize Postgres for me.",
});

要构建一个代理——一个循环调用工具然后给出答案的模型——需要添加 tools 和 stopWhen 预算。循环在进程中运行，因此在 Neon 函数上不会被类似 Lambda 的超时中断：

import { neon } from "@neon/ai-sdk-provider";
import { generateText, tool, stepCountIs } from "ai";
import { z } from "zod";

const { text } = await generateText({
  model: neon("claude-sonnet-4-6"),
  prompt: "How many open todos do I have, and what's the oldest one?",
  tools: {
    listTodos: tool({
      description: "List the user's open todos.",
      inputSchema: z.object({}), // AI SDK v5+: `inputSchema`, not `parameters`
      execute: async () => db.select().from(todos),
    }),
  },
  stopWhen: stepCountIs(5), // let the model call tools, then summarize
});

对于作为 Neon Function 部署的完整 AI SDK 代理（流式传输、工具调用、图像生成、持久化），请参阅 neon-functions 技能的 references/ai-sdk.md。

Mastra 是当你想要一个自带电池的代理时推荐的框架 —— 内置记忆、工具、工作流和跟踪 —— 同时模型仍然指向网关。一个基于记忆的代理（通过 @mastra/pg 在 Postgres 中存储线程/消息）作为 Neon 函数运行，从 parseEnv 读取 env.aiGateway 并使用 chat-completions（MLflow）方言：

import { Agent } from "@mastra/core/agent";
import { parseEnv } from "@neon/env";
import config from "../neon";

const env = parseEnv(config);
const gatewayUrl = env.aiGateway.baseUrl.replace("/openai/v1", "/mlflow/v1");

export const personalAssistant = new Agent({
  id: "personal-assistant",
  name: "personal-assistant",
  instructions:
    "You are a warm, concise personal assistant with long-term memory.",
  model: {
    id: `neon/claude-haiku-4-5`,
    url: gatewayUrl,
    apiKey: env.aiGateway.apiKey,
  },
  memory,
});

当你不需要代理框架——比如只进行一次完成、使用现有的提供商 SDK 集成，或者使用原生提供商功能——可以直接使用普通 SDK 调用网关。注入的 OPENAI_API_KEY 和 OPENAI_BASE_URL 是 OpenAI 标准，因此 new OpenAI() 可以在零配置的情况下使用它们。由于 OPENAI_BASE_URL 是 OpenAI Responses 方言（/openai/v1），因此可以调用 Responses API：

import OpenAI from "openai";

const client = new OpenAI(); // reads OPENAI_API_KEY + OPENAI_BASE_URL from the env

const res = await client.responses.create({
  model: "gpt-5-mini", // swap to claude-sonnet-4-6, gemini-2-5-flash, ...
  input: "What is Neon?",
});

对于统一的 chat-completions 方言（/mlflow/v1），请将客户端指向它。更符合人机工程学的方式是更换注入的基础 URL 上的方言，而不是重新构建它（Mastra 示例也采用了同样的方法）：

const client = new OpenAI({
  baseURL: process.env.OPENAI_BASE_URL!.replace("/openai/v1", "/mlflow/v1"),
});

const res = await client.chat.completions.create({
  model: "claude-sonnet-4-6",
  messages: [{ role: "user", content: "What is Neon?" }],
});

Anthropic SDK 和 google-genai 对于本地提供者功能的工作方式相同——将它们指向裸网关主机上的 /anthropic 和 /gemini 路由（${NEON_AI_GATEWAY_BASE_URL}/ai-gateway/anthropic，${NEON_AI_GATEWAY_BASE_URL}/ai-gateway/gemini）。

在 model 字段中直接使用模型的目录 ID——例如 claude-sonnet-4-6、gpt-5-mini、gemini-2-5-flash。无需提供供应商前缀。要查找网关提供的确切标识符、每个标识符对应的底层模型及其上下文窗口、定价和功能，请使用以下任意方式：

AI 网关是一个预览（提前访问）功能，仅适用于 us-east-2 区域的新项目；无法在现有项目上启用。基础模型访问需要付费的 Neon 计划。确认用户的项目是 us-east-2 区域的新项目。如果用户尚未获得访问权限，请引导他们注册私人测试版：https://neon.com/blog/were-building-backends#access

Neon 文档是权威来源，而 AI 网关正在快速发展，所以始终要参照官方文档进行验证。任何文档页面都可以通过在 URL 后添加 .md 或请求 Accept: text/markdown 来获取为 Markdown 格式。从文档索引（https://neon.com/docs/llms.txt）中找到正确的页面以及变更日志公告。

来源说明：本文内容整理自开源项目 agentic-awesome-skills（中文翻译版），遵循 CC BY 4.0（知识共享署名 4.0 国际）许可协议，此处作为中文资料整理分享，版权归原作者所有。

Neon Ai Gateway 实用指南

One API and one credential for frontier and open-source LLMs, built into your Neon branch and powered by Databricks. Use when a user wants to call an LLM, add AI/chat/an agent to their app, route between model providers (OpenAI, Anthropic, Google/Gemini, Meta, Alibaba, DeepSeek), or...

云计算

人工智能

后端

Neon AI 网关实用指南：一个Neon凭证即可接入Anthropic、OpenAI、Google等七大模型提供商，支持流式传输，兼容OpenAI/Anthropic/Gemini SDK，仅需更改基础URL。每个分支拥有独立网关端点，AI请求与数据隔离，无需额外基础设施，适用于多模型路由与分支级AI应用场景。

基础设施即代码

Vercel AI SDK 

TypeScript 

服务器

数据库

Terraform

DeepSeek

路由

Mastra

Agent

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

Neon Ai Gateway 实用指南

Neon Ai Gateway 实用指南

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐