首页
学习
活动
专区
圈层
工具
发布

#网关

企业级 Java + AI:从模型调用到生产级 AI 网关的工程实践

资源大佬 jzit-top

企业场景与个人开发有本质区别:多租户要求数据与配额隔离;成本需要按部门核算 token 消耗;稳定性要求模型故障时自动降级;合规要求敏感信息脱敏与全链路审计。因...

7110

API 网关限流的三层设计:从单机到分布式的取舍

码林拾遗

限流是网关侧最古老的职能,但「配一个 QPS 上限」和「设计一个限流体系」之间差着三层架构。这篇把三层设计的适用边界和典型坑过一遍。

4510

内网穿透安全风险分析:基于边缘网关实现地域访问控制实践

零讯

边缘网关地域访问控制,在流量抵达内网之前,就完成来源地域校验,非许可地区访问请求直接在网关拒绝,拦截大量无关境外扫描与恶意探测,将访问来源收敛到业务可信的地理范...

10910

国庆假期我干了件事:让 Agent 平时睡大觉,数据一变就醒来干活

张善友

重发?网关可能已经执行过了,有副作用的工作流跑两遍,事故。不重发?万一网关根本没收到,这次变化就永远丢了,也是事故。

10610

构建企业级 LLM 网关:计价、路由、治理的五级演进

dongdonglog

传统软件的成本治理单位是"实例"和"席位",AI 时代变成了 token——而且它按请求实时计量,一次 agent 工作流的成本可能超过一个月的 seat 费用...

21823

我为什么劝你别用Kubernetes做车联网网关

用户6260357

K8s Service默认是iptables模式。iptables做四层负载均衡,是基于连接跟踪的。什么意思?一个TCP连接建立时,iptables随机选一个P...

7710

零信任架构下的身份认证底座建设

安当加密-焱垚

零信任架构下的身份认证底座建设 摘要:零信任架构要修正的不是"边界不够厚",而是"网络位置被当成了信任的代理变量"这一隐含假设。本文按 NIST SP 800...

15510

实战:从大模型API超时看AI应用多云容灾切换

用户12770592

15210

硅碳相变:腾讯云大模型API账单为何总超预算?成本拆解与三个优化动作

用户12770583

16010

硅碳相变:腾讯云上跑AI业务,多模型API怎么接才不折腾

用户12770583

17710

MaaS平台技术栈之Aibrix

宅蓝三木

先把问题定义清楚。LLM 推理服务看起来和其他 HTTP 服务一样:前面挂个网关,后面一排后端 Pod。但把一个请求从网关打到后端,远不止”负载均衡”这么简单。

11810

硅碳相变:骁龙8至尊版端侧跑300亿参数,云端API网关价值反增

用户12770583

15610
领券