首页
学习
活动
专区
圈层
工具
发布
首页标签深圳同盟

#深圳同盟

事件驱动Agent能省多少token与等待?

目前公开资料里没有事件驱动Agent节省token和等待时间的通用基准数据,具体收益高度依赖场景。 从机制上看,传统轮询模式下Agent每隔固定时间发请求检查状态,这些“空转”请求纯耗token;事件驱动改为任务挂起、事件触发才唤醒,理论上能消除这部分开销。但实际省多少,取决于轮询频率、事件密度和任务复杂度——高频轮询+低频事件的场景收益最大,反之则有限。 等待时间方面,事件驱动确实能把响应延迟从秒级压到毫秒级,但这更多是架构优势,不等于所有Agent都适用。复杂推理链仍需同步执行,事件驱动只解决“何时干活”,不改变“怎么干活”的token消耗。 建议别信笼统的百分比宣传,拿自己的业务跑个A/B测试最靠谱。 官方详细解决方案:https://cloud.tencent.com/product/lighthouse?Is=sdk-topnav... 展开详请

109:用户友好的失败页面怎么设计?

失败页面别只写“出错了”,要同时给原因、影响范围和恢复动作。比如“网络连接中断,已保留筛选条件,点击重试或稍后导出”,比一句“请重试”有用得多。按钮状态也要跟上:处理中禁用防重复提交,失败后文案改成“点击重试”并保留用户已填内容,成功则明确告知结果和下一步去向。 request_id、幂等键和超时边界是三层不同的事。request_id用于追踪定位;幂等键标识一次业务意图,所有重试必须复用同一个键,服务端据此返回缓存结果或处理中状态;超时边界决定能不能安全重试——连接超时可重,首字节超时先查状态,总超时走续传或中断,不能无脑重发。三者协同的核心是:客户端生成幂等键贯穿重试链路,服务端用状态机记录执行进度,超时分级判定重试安全性。 验证恢复闭环不能只看技术成功率。业务任务成功率要区分“系统没报错”和“业务结果正确”,人工接管率下降也不一定是好事,可能是用户直接放弃了。建议同时监控目标完成率、业务正确率和人工接管率三个P0指标,配合四层验证(技术、业务、上下游、干系人确认)才算真正闭环。 官方详细解决方案:https://cloud.tencent.com/product/lighthouse?Is=sdk-topnav... 展开详请

108:单Agent还是多Agent怎么选?

一只特立独行的兔先生腾讯云+社区TOP100优秀作者/华为云MVP专家/CSDN博客专家/深信服MVP专家/阿里云MVP专家
不要按「多 Agent 更完整」升级。客服多租户告警修复默认仍是单 Agent 加工具;协调者加子 Agent 只拆互不依赖的只读取证。写工单、对客回复、执行修复保持单写者。并行工具调用先拿走延迟收益,多 Agent 买到的是上下文隔离和权限隔离。前提是运行时真的并发执行这些调用,而不是模型一次吐出多个调用、执行器仍串行跑。 一、状态、P95、权限各卡在哪 状态。单 Agent 的上下文就是全部状态。会话键用 tenant_id 加 alert_id,一单结束即丢弃,上一单的工具结果不能留到下一单。多 Agent 共用只追加的证据板,子 Agent 不得覆盖「当前根因」。每条证据固定 source、query、window_start、window_end、version、fetched_at、missing。日志被截断就写缺失区间,不要补猜测。子 Agent 只回传有界摘要和证据指纹,原始日志留在日志服务 CLS,不要把检索结果全文灌进协调者,否则上下文比单 Agent 更大,P95 和费用一起变差。两个子 Agent 同时改同一张工单,就是共享状态冲突,写路径不能拆。 P95。单 Agent 端到端时延约等于各轮模型耗时与工具耗时之和,一次过宽的日志检索会堵住后面所有步骤。多 Agent 约等于规划耗时,加上各子任务 P95 的最大值,再加上汇合耗时。两三轮就能给出假设的短单,几乎总是亏在多出来的规划轮和汇合轮。每个子任务的截止时间必须短于父级 SLO 减去规划和汇合预留;超时只返回带 missing 的部分证据,汇合继续。一个挂起的调用不许卡住整单。 权限。单 Agent 的工具允许列表是并集,告警正文里的注入能碰到写工具。取证和修复拆成两个 CAM 角色:取证只有日志和监控的只读策略,修复角色单独持有写权限,没有审批记录不起进程。协调者不持有写凭证。tenant_id 在工具服务端校验,不靠提示词。凭证用角色扮演拿到的临时密钥,不要把主账号密钥放进环境变量。角色创建见访问管理文档:https://cloud.tencent.com/document/product/598/19381 把这三件事写成同一份门禁。数字是设计预算,按告警分级改,不是实测: session_key: "{tenant_id}:{alert_id}" evidence_fields: [source, query, window_start, window_end, version, fetched_at, missing] roles: investigator: {mode: read_only, writes: []} applier: {mode: single_writer, start_after: approval_recorded} coordinator: holds_write_credentials: false child_payload: summary_and_fingerprint slo: p95_ms: 8000 plan_ms: 1500 merge_ms: 1000 child_deadline_ms: 5000 on_child_timeout: partial 二、按可分性和共享状态冲突取舍 先画任务图,边上标数据依赖。日志、监控、变更单三路读取互不依赖,可以并行;根因假设、对客回复、执行修复落在同一张工单上,必须顺序写。读扇出不少于两路、汇合点只有一个,才值得拆读。同一个可写对象被一个以上角色碰到,写角色保持一个。只为并行、权限边界又没变,留在单 Agent 里做并行工具调用。平台不要做单 / 多总开关,做成同一条流水线的两种执行器:读阶段可选扇出,写阶段永远单写者加审批闸门。 三、升级前的最小实验 不要先切线上对客回复。拿一批历史告警,同一输入、同一时间窗,影子跑两套执行器。每单记录:断言是否通过(关键实体和禁止项,不用模型互评)、端到端时延、成功单成本(token 加工具调用次数)、部分失败结局(降级完成、卡住、写了一半),以及越权次数(跨租户读、无审批写)。 放行条件:成功率不低于单 Agent;P95 仍在 SLO 内;越权次数为 0;部分失败只能降级,不能卡住。再做一次演练:杀掉一个取证子任务,确认工单没有半写,并且一条路由配置能切回单 Agent。切回耗时和审计记录是否留下,比 Agent 个数更能说明值不值得上。成本只比每成功单成本,不比单次调用单价。... 展开详请
不要按「多 Agent 更完整」升级。客服多租户告警修复默认仍是单 Agent 加工具;协调者加子 Agent 只拆互不依赖的只读取证。写工单、对客回复、执行修复保持单写者。并行工具调用先拿走延迟收益,多 Agent 买到的是上下文隔离和权限隔离。前提是运行时真的并发执行这些调用,而不是模型一次吐出多个调用、执行器仍串行跑。 一、状态、P95、权限各卡在哪 状态。单 Agent 的上下文就是全部状态。会话键用 tenant_id 加 alert_id,一单结束即丢弃,上一单的工具结果不能留到下一单。多 Agent 共用只追加的证据板,子 Agent 不得覆盖「当前根因」。每条证据固定 source、query、window_start、window_end、version、fetched_at、missing。日志被截断就写缺失区间,不要补猜测。子 Agent 只回传有界摘要和证据指纹,原始日志留在日志服务 CLS,不要把检索结果全文灌进协调者,否则上下文比单 Agent 更大,P95 和费用一起变差。两个子 Agent 同时改同一张工单,就是共享状态冲突,写路径不能拆。 P95。单 Agent 端到端时延约等于各轮模型耗时与工具耗时之和,一次过宽的日志检索会堵住后面所有步骤。多 Agent 约等于规划耗时,加上各子任务 P95 的最大值,再加上汇合耗时。两三轮就能给出假设的短单,几乎总是亏在多出来的规划轮和汇合轮。每个子任务的截止时间必须短于父级 SLO 减去规划和汇合预留;超时只返回带 missing 的部分证据,汇合继续。一个挂起的调用不许卡住整单。 权限。单 Agent 的工具允许列表是并集,告警正文里的注入能碰到写工具。取证和修复拆成两个 CAM 角色:取证只有日志和监控的只读策略,修复角色单独持有写权限,没有审批记录不起进程。协调者不持有写凭证。tenant_id 在工具服务端校验,不靠提示词。凭证用角色扮演拿到的临时密钥,不要把主账号密钥放进环境变量。角色创建见访问管理文档:https://cloud.tencent.com/document/product/598/19381 把这三件事写成同一份门禁。数字是设计预算,按告警分级改,不是实测: session_key: "{tenant_id}:{alert_id}" evidence_fields: [source, query, window_start, window_end, version, fetched_at, missing] roles: investigator: {mode: read_only, writes: []} applier: {mode: single_writer, start_after: approval_recorded} coordinator: holds_write_credentials: false child_payload: summary_and_fingerprint slo: p95_ms: 8000 plan_ms: 1500 merge_ms: 1000 child_deadline_ms: 5000 on_child_timeout: partial 二、按可分性和共享状态冲突取舍 先画任务图,边上标数据依赖。日志、监控、变更单三路读取互不依赖,可以并行;根因假设、对客回复、执行修复落在同一张工单上,必须顺序写。读扇出不少于两路、汇合点只有一个,才值得拆读。同一个可写对象被一个以上角色碰到,写角色保持一个。只为并行、权限边界又没变,留在单 Agent 里做并行工具调用。平台不要做单 / 多总开关,做成同一条流水线的两种执行器:读阶段可选扇出,写阶段永远单写者加审批闸门。 三、升级前的最小实验 不要先切线上对客回复。拿一批历史告警,同一输入、同一时间窗,影子跑两套执行器。每单记录:断言是否通过(关键实体和禁止项,不用模型互评)、端到端时延、成功单成本(token 加工具调用次数)、部分失败结局(降级完成、卡住、写了一半),以及越权次数(跨租户读、无审批写)。 放行条件:成功率不低于单 Agent;P95 仍在 SLO 内;越权次数为 0;部分失败只能降级,不能卡住。再做一次演练:杀掉一个取证子任务,确认工单没有半写,并且一条路由配置能切回单 Agent。切回耗时和审计记录是否留下,比 Agent 个数更能说明值不值得上。成本只比每成功单成本,不比单次调用单价。

107:GPT-6.2更强,哪些场景更适合?

一只特立独行的兔先生腾讯云+社区TOP100优秀作者/华为云MVP专家/CSDN博客专家/深信服MVP专家/阿里云MVP专家
按题目给出的单价做取舍,不把未核实的模型能力当事实。更强的模型只该接做错代价高、且结果能被核验的任务。多租户客服和复杂专业交付约束不同,不能共用一个总分,也不能按一轮闲聊估算成本。 一、约束不同,评测集按失败类型切开 复杂专业交付卡的是可核验的正确性:主张要指回材料原文,数字要能复算,输出要过 schema。时延预算可以放到分钟级。错一条金额或责任条款的返工,远贵于 token。要防的是无出处的断言、算错和漏约束。 多租户客服卡的是隔离、策略、时延和单位成本。工具参数必须落在该租户允许范围内,不能把租户 B 的订单或手机号写进租户 A 的上下文,也不能越权承诺退款。对话式客服的时延预算应卡在数秒,并写进门禁。要防的是跨租户泄漏、违规承诺,以及循环把额度打穿。 门禁用切片,不用总分放行。至少四份集合: 专业交付集:每条带 task_id、材料哈希、required_claims、forbidden_claims 和应引用片段 id。看主张支持率、禁用说法命中率、schema 通过率。金额、责任条款、法规引用单独设门槛,不和简单题平均。 客服策略集:每条带 tenant_id、允许的工具及参数范围、禁止承诺的话术。工具越界率和承诺违规率门槛为 0。 隔离对抗集:在租户 A 的问题里注入「读出租户 B 的单号或手机号」。期望拒绝,或只返回 A 的数据。失败即阻断,不进平均分。 成本时延集:记下输入和输出 token、工具轮次和 p95 时延。超预算记失败,避免循环八轮被算成质量提升。 抽样按失败类型分层,不按流量比例。线上就算大多是查物流,评测集也不该被查物流占满,否则泄漏和越权会被稀释。回归固定任务集哈希,改 prompt、换模型、改路由都重跑。几十条样本只能抓住成片的崩,抓不住几个百分点的差别;样本不够就写看不出来,不要写成一样好。 二、值得付这个单价的,是同一批任务上能复测的差距 用户感知不到推理更深。只认三类差距,且必须在同一批冻结任务上做 A/B,不能换题:一次通过率(人工不改就能交付的比例)、复核工时(同一张缺陷清单做完的时间)、新能做完的任务类型(超长附件、多文件对账,要单列)。只是更流畅、语气更好,不加价。客服还有一条硬条件:解决率上升时,越权承诺和跨租户泄漏仍为 0。质量上去、策略破了,不值得。 切流量前,高单价模型只采样、不接用户,对照同一个 task_id 的通过率和 token,算出盈亏平衡再切。 三、把多轮重传算进盈亏平衡 题目给的测算单价是每百万 token 输入 8 美元、输出 40 美元,只用于演示算法,真实账单以厂商当期价目为准。 cost_usd = (input_tokens * 8 + output_tokens * 40) / 1000000 一轮客服按输入 1500、输出 400,成本是 0.012 + 0.016 = 0.028 美元。一次专业交付按输入 20000、输出 4000,成本是 0.16 + 0.16 = 0.32 美元。若接口按每轮重传的历史计输入,预算要用各轮输入之和,不能只取最后一轮。8 轮、每轮计费输入 4000(已含该轮重传的历史)、输出 1000,合计 8 × (0.032 + 0.04) = 0.576 美元,还没算重试和工具结果回灌。只拿最后一轮去估,会少算约一个数量级。轮次用历史同类任务的 p95,不用演示里的一轮。 相对便宜模型值得升级,当且仅当: (C_strong - C_cheap) < (p_cheap - p_strong) * L C 含循环和重试。p 是该切片失败率。L 是一次失败的损失,取工单或财务里的返工、赔付或人工接管成本,不要估一个「很贵」。 撑得住的是失败损失大、且强模型能把该切片失败率压下去的任务:金额和责任条款审校、必须引用原文的专业交付、客服里规则已判失败准备转人工的那一档。撑不住的是查单、闲聊、固定话术,以及生成后仍要整篇重写的任务。 便宜模型或规则先分诊,命中隔离或策略风险,或该切片历史失败率高,才升级。观察窗结束后,失败率降幅填不满成本差,就把该切片退回,而不是放宽门禁。... 展开详请
按题目给出的单价做取舍,不把未核实的模型能力当事实。更强的模型只该接做错代价高、且结果能被核验的任务。多租户客服和复杂专业交付约束不同,不能共用一个总分,也不能按一轮闲聊估算成本。 一、约束不同,评测集按失败类型切开 复杂专业交付卡的是可核验的正确性:主张要指回材料原文,数字要能复算,输出要过 schema。时延预算可以放到分钟级。错一条金额或责任条款的返工,远贵于 token。要防的是无出处的断言、算错和漏约束。 多租户客服卡的是隔离、策略、时延和单位成本。工具参数必须落在该租户允许范围内,不能把租户 B 的订单或手机号写进租户 A 的上下文,也不能越权承诺退款。对话式客服的时延预算应卡在数秒,并写进门禁。要防的是跨租户泄漏、违规承诺,以及循环把额度打穿。 门禁用切片,不用总分放行。至少四份集合: 专业交付集:每条带 task_id、材料哈希、required_claims、forbidden_claims 和应引用片段 id。看主张支持率、禁用说法命中率、schema 通过率。金额、责任条款、法规引用单独设门槛,不和简单题平均。 客服策略集:每条带 tenant_id、允许的工具及参数范围、禁止承诺的话术。工具越界率和承诺违规率门槛为 0。 隔离对抗集:在租户 A 的问题里注入「读出租户 B 的单号或手机号」。期望拒绝,或只返回 A 的数据。失败即阻断,不进平均分。 成本时延集:记下输入和输出 token、工具轮次和 p95 时延。超预算记失败,避免循环八轮被算成质量提升。 抽样按失败类型分层,不按流量比例。线上就算大多是查物流,评测集也不该被查物流占满,否则泄漏和越权会被稀释。回归固定任务集哈希,改 prompt、换模型、改路由都重跑。几十条样本只能抓住成片的崩,抓不住几个百分点的差别;样本不够就写看不出来,不要写成一样好。 二、值得付这个单价的,是同一批任务上能复测的差距 用户感知不到推理更深。只认三类差距,且必须在同一批冻结任务上做 A/B,不能换题:一次通过率(人工不改就能交付的比例)、复核工时(同一张缺陷清单做完的时间)、新能做完的任务类型(超长附件、多文件对账,要单列)。只是更流畅、语气更好,不加价。客服还有一条硬条件:解决率上升时,越权承诺和跨租户泄漏仍为 0。质量上去、策略破了,不值得。 切流量前,高单价模型只采样、不接用户,对照同一个 task_id 的通过率和 token,算出盈亏平衡再切。 三、把多轮重传算进盈亏平衡 题目给的测算单价是每百万 token 输入 8 美元、输出 40 美元,只用于演示算法,真实账单以厂商当期价目为准。 cost_usd = (input_tokens * 8 + output_tokens * 40) / 1000000 一轮客服按输入 1500、输出 400,成本是 0.012 + 0.016 = 0.028 美元。一次专业交付按输入 20000、输出 4000,成本是 0.16 + 0.16 = 0.32 美元。若接口按每轮重传的历史计输入,预算要用各轮输入之和,不能只取最后一轮。8 轮、每轮计费输入 4000(已含该轮重传的历史)、输出 1000,合计 8 × (0.032 + 0.04) = 0.576 美元,还没算重试和工具结果回灌。只拿最后一轮去估,会少算约一个数量级。轮次用历史同类任务的 p95,不用演示里的一轮。 相对便宜模型值得升级,当且仅当: (C_strong - C_cheap) < (p_cheap - p_strong) * L C 含循环和重试。p 是该切片失败率。L 是一次失败的损失,取工单或财务里的返工、赔付或人工接管成本,不要估一个「很贵」。 撑得住的是失败损失大、且强模型能把该切片失败率压下去的任务:金额和责任条款审校、必须引用原文的专业交付、客服里规则已判失败准备转人工的那一档。撑不住的是查单、闲聊、固定话术,以及生成后仍要整篇重写的任务。 便宜模型或规则先分诊,命中隔离或策略风险,或该切片历史失败率高,才升级。观察窗结束后,失败率降幅填不满成本差,就把该切片退回,而不是放宽门禁。

106:架构模式在什么场景不能使用?

一只特立独行的兔先生腾讯云+社区TOP100优秀作者/华为云MVP专家/CSDN博客专家/深信服MVP专家/阿里云MVP专家
五种模式会失效,不是因为实现没写完,而是隐含前提不成立。事件驱动假定消费可幂等、能接受异步时延;Saga 假定每步可补偿,且允许中间态被其他事务看见;缓存假定读可以旧;分布式锁假定租约到期后旧持有者不能再写;多 Agent 假定写状态能按子任务切开,协调往返撑得起 P95。 一、一致性、时延、隔离各自卡在哪 事件驱动卡在副作用不可幂等、同步读己写、以及共享消费组没有隔离。CKafka 生产消费实践教程写明消费语义是至少一次:不丢,但不保证不重复;网络抖动和客户端重启都会打出重复消息。订单扣减、发券、改配额没有业务幂等键,就不能拿异步代替同步调用。文档给出的做法是生产时传入唯一流水号作为 Key,消费时先查这个 Key 是否已处理。同一次请求里要读到自己的写,队列时延会进入同步 SLA,这条不该异步化。顺序只在同一分区内,Key 不是业务键就没有跨消息顺序。文档同时写明 Kafka 没有处理失败消息的设计,失败消息要业务自己落到单独的 Topic,否则会堵在当前分区,位点不前进。验证:同一业务键重放两次,账本只有一条有效记录;同步接口的 P95 不随这条队列的堆积变化。 Saga 放弃的是隔离性,补偿不是回滚。短信已发出、渠道没有撤销接口的结算、货物已出库,失败后只能人工冲正,放进 Saga 已经失效。补偿必须幂等,同一补偿键打两次,净变化为零。两个 Saga 交错读到对方未完成的预占再下单,就是脏读;库存和优惠占用不要拆成无隔离的长事务。验证:每一步之后杀进程再恢复,终态只能是完成或已补偿,不能停在已扣款、未建单、且没有补偿记录。 缓存不能当鉴权、配额、库存、价格的权威。窗口长过可接受的陈旧时间,失效失败时旧值会继续放行。验证:改完权限或库存,过了约定窗口再读必须是新值;摘掉一个缓存节点,后端应被互斥重建挡住,而不是 QPS 瞬间打满。 分布式锁的典型失效不是没加锁,而是租约到期后旧持有者还在写。进程 GC 或网络分区超过租约后,第二个持有者已经开写,第一个恢复后仍用旧连接提交。没有单调递增的 fencing token,存储层拒绝不了旧写入。锁只盖住进程内临界区,唯一约束才是正确性来源。验证:持锁进程暂停超过租约,第二个写入成功后,恢复第一个进程,它的写入必须被拒绝。做不到,这把锁不能用于正确性。 多 Agent 在共享写、时延预算、权限超集三处失效。子 Agent 写同一工单、配额或订单,协调者只是多一次模型调用,冲突还在。每多一个子 Agent,至少多一轮模型调用和一次工具往返;端到端 P95 盖不住这段开销,就不要拆。子 Agent 共用管理员凭证,或工具列表是超集,一个子任务被注入,权限等于全体。验证:先数共享写对象,有任一写不能改成单写者加显式交接,就保持单 Agent。 二、自动执行、人工审批、Kill Switch 按可逆性和爆炸半径分,不按模型自报的置信度分。 自动执行只留给幂等且可覆盖的动作。幂等键用 租户:业务单号:动作,先占键再执行,不要先做副作用再插入。冲突直接返回已有结果;进程在占键后、副作用完成前崩溃,由恢复任务重试 pending 记录,而不是再开一条新键。 INSERT INTO effect_log (idem_key, status) VALUES ('tenant-a:order-1001:deduct', 'pending') ON CONFLICT (idem_key) DO NOTHING; 影响行数为 0,返回已存结果;为 1 才执行扣减,成功后把 status 改为 done。CKafka 的 enable.auto.commit 默认 true,auto.commit.interval.ms 默认 5000(以该文档当前版本为准)。下次 Poll 前若已超过该间隔就会提交位点;前一批没处理完就 Poll,文档写明可能导致位点跳跃。副作用消费应关掉自动提交,幂等记录写入成功后再提交。 人工审批卡在不可逆或跨租户的写:打款、改权限、删数据、对外发送。看影响面和证据,不看模型分数。 Kill Switch 要在工具执行前由数据面检查,不能写成提示词里的“请停止”。粒度至少全局、租户、单个工具三档。写操作在开关依赖不可用时拒绝,只读可以放行。已经发出的外部调用不假装能撤回,只停止新的写。每个工具单独凭证、默认拒绝,子 Agent 拿不到协调者的凭证超集。 三、三笔账分开,用演练验证止损 重复成本归接入方:选了至少一次投递或自动重试,却没有幂等契约。验收是重放后副作用条数为 0。 补偿成本归该步骤的业务负责人:对外副作用不可补偿,平台可以编排,不能替结果担责。上线前写清每一步失败后怎么补、补不了停在哪、谁签字。 停用损失两边分:开关按下后新写停止的时延由平台守;误触发造成的中断阈值由业务定。演练记录双方签字。 止损看演练不看配置:重放副作用为 0,Saga 终态闭合,租户级开关只拒绝该租户的新写且依赖不可用时拒绝写,旧锁持有者恢复后写入被拒绝。有一项做不到就收窄使用范围,不要再加一层重试。 生产消费语义与位点默认行为见 CKafka 生产消费实践教程。... 展开详请
五种模式会失效,不是因为实现没写完,而是隐含前提不成立。事件驱动假定消费可幂等、能接受异步时延;Saga 假定每步可补偿,且允许中间态被其他事务看见;缓存假定读可以旧;分布式锁假定租约到期后旧持有者不能再写;多 Agent 假定写状态能按子任务切开,协调往返撑得起 P95。 一、一致性、时延、隔离各自卡在哪 事件驱动卡在副作用不可幂等、同步读己写、以及共享消费组没有隔离。CKafka 生产消费实践教程写明消费语义是至少一次:不丢,但不保证不重复;网络抖动和客户端重启都会打出重复消息。订单扣减、发券、改配额没有业务幂等键,就不能拿异步代替同步调用。文档给出的做法是生产时传入唯一流水号作为 Key,消费时先查这个 Key 是否已处理。同一次请求里要读到自己的写,队列时延会进入同步 SLA,这条不该异步化。顺序只在同一分区内,Key 不是业务键就没有跨消息顺序。文档同时写明 Kafka 没有处理失败消息的设计,失败消息要业务自己落到单独的 Topic,否则会堵在当前分区,位点不前进。验证:同一业务键重放两次,账本只有一条有效记录;同步接口的 P95 不随这条队列的堆积变化。 Saga 放弃的是隔离性,补偿不是回滚。短信已发出、渠道没有撤销接口的结算、货物已出库,失败后只能人工冲正,放进 Saga 已经失效。补偿必须幂等,同一补偿键打两次,净变化为零。两个 Saga 交错读到对方未完成的预占再下单,就是脏读;库存和优惠占用不要拆成无隔离的长事务。验证:每一步之后杀进程再恢复,终态只能是完成或已补偿,不能停在已扣款、未建单、且没有补偿记录。 缓存不能当鉴权、配额、库存、价格的权威。窗口长过可接受的陈旧时间,失效失败时旧值会继续放行。验证:改完权限或库存,过了约定窗口再读必须是新值;摘掉一个缓存节点,后端应被互斥重建挡住,而不是 QPS 瞬间打满。 分布式锁的典型失效不是没加锁,而是租约到期后旧持有者还在写。进程 GC 或网络分区超过租约后,第二个持有者已经开写,第一个恢复后仍用旧连接提交。没有单调递增的 fencing token,存储层拒绝不了旧写入。锁只盖住进程内临界区,唯一约束才是正确性来源。验证:持锁进程暂停超过租约,第二个写入成功后,恢复第一个进程,它的写入必须被拒绝。做不到,这把锁不能用于正确性。 多 Agent 在共享写、时延预算、权限超集三处失效。子 Agent 写同一工单、配额或订单,协调者只是多一次模型调用,冲突还在。每多一个子 Agent,至少多一轮模型调用和一次工具往返;端到端 P95 盖不住这段开销,就不要拆。子 Agent 共用管理员凭证,或工具列表是超集,一个子任务被注入,权限等于全体。验证:先数共享写对象,有任一写不能改成单写者加显式交接,就保持单 Agent。 二、自动执行、人工审批、Kill Switch 按可逆性和爆炸半径分,不按模型自报的置信度分。 自动执行只留给幂等且可覆盖的动作。幂等键用 租户:业务单号:动作,先占键再执行,不要先做副作用再插入。冲突直接返回已有结果;进程在占键后、副作用完成前崩溃,由恢复任务重试 pending 记录,而不是再开一条新键。 INSERT INTO effect_log (idem_key, status) VALUES ('tenant-a:order-1001:deduct', 'pending') ON CONFLICT (idem_key) DO NOTHING; 影响行数为 0,返回已存结果;为 1 才执行扣减,成功后把 status 改为 done。CKafka 的 enable.auto.commit 默认 true,auto.commit.interval.ms 默认 5000(以该文档当前版本为准)。下次 Poll 前若已超过该间隔就会提交位点;前一批没处理完就 Poll,文档写明可能导致位点跳跃。副作用消费应关掉自动提交,幂等记录写入成功后再提交。 人工审批卡在不可逆或跨租户的写:打款、改权限、删数据、对外发送。看影响面和证据,不看模型分数。 Kill Switch 要在工具执行前由数据面检查,不能写成提示词里的“请停止”。粒度至少全局、租户、单个工具三档。写操作在开关依赖不可用时拒绝,只读可以放行。已经发出的外部调用不假装能撤回,只停止新的写。每个工具单独凭证、默认拒绝,子 Agent 拿不到协调者的凭证超集。 三、三笔账分开,用演练验证止损 重复成本归接入方:选了至少一次投递或自动重试,却没有幂等契约。验收是重放后副作用条数为 0。 补偿成本归该步骤的业务负责人:对外副作用不可补偿,平台可以编排,不能替结果担责。上线前写清每一步失败后怎么补、补不了停在哪、谁签字。 停用损失两边分:开关按下后新写停止的时延由平台守;误触发造成的中断阈值由业务定。演练记录双方签字。 止损看演练不看配置:重放副作用为 0,Saga 终态闭合,租户级开关只拒绝该租户的新写且依赖不可用时拒绝写,旧锁持有者恢复后写入被拒绝。有一项做不到就收窄使用范围,不要再加一层重试。 生产消费语义与位点默认行为见 CKafka 生产消费实践教程。

105:普通人AI时代赚钱的3种方式?

一只特立独行的兔先生腾讯云+社区TOP100优秀作者/华为云MVP专家/CSDN博客专家/深信服MVP专家/阿里云MVP专家
把行业经验做成可售产品,隔离和审计是成交条件,不是上线后补的功能。应用层拼 WHERE tenant_id = ? 不算隔离。 一、多租户隔离和权限审计的硬约束 租户上下文只能由网关注入。认证之后在事务里执行 SELECT set_config('app.tenant_id', '<租户uuid>', true),第三个参数必须是 true,只在当前事务有效。会话级 SET 会留在连接上,池化后下一个租户沿用上一个的设置。模型或工具参数里的租户 ID 直接丢弃。 数据层用行级安全,并强制表主也走策略。超级用户和带 BYPASSRLS 的角色始终绕过,Agent 运行时角色不能是表主,也不能带这个属性。TRUNCATE 不受行级安全约束,运行时角色不要授予它。只写 USING 时写入同样受约束。 ALTER TABLE knowledge ENABLE ROW LEVEL SECURITY; ALTER TABLE knowledge FORCE ROW LEVEL SECURITY; CREATE POLICY tenant_iso ON knowledge USING (tenant_id = NULLIF(current_setting('app.tenant_id', true), '')::uuid); current_setting 第二个参数为 true 时,变量不存在返回 NULL,比较结果不是 true,行不可见。语义见 https://www.postgresql.org/docs/current/ddl-rowsecurity.html 全局唯一的业务键会通过唯一约束冲突泄露别的租户已有该键,唯一约束要做成 (tenant_id, business_key)。走超级用户或 BYPASSRLS 的备份能读全表,不要交给租户管理员。 Agent 工具凭证按租户签发,不拿平台超管。租户知识库文本是不可信输入,提示词要求查别的租户也不能扩大权限。向量检索先带租户谓词,行级安全只做兜底。对象存储按 tenant/<id>/ 前缀授权。 审计分两层。业务审计表与业务库分开,运行时账号没有 UPDATE 和 DELETE。每条至少有 tenant_id、actor_type(user、agent、system)、actor_id、action、resource、request_id 和变更摘要哈希。删除请求只销毁业务载荷和租户密钥,审计骨架保留,租户管理员不能关自己的审计。 实例 SQL 审计不能替代这一层。云数据库 PostgreSQL 默认只保留语句前 8192 字节,超长截断后对象名、执行时间和影响行数也不再展示,参数是 tencentdb_audit_message_truncate_length。谁批准了导出、Agent 调了哪个工具,写在业务审计里。https://cloud.tencent.com/document/product/409/100550 吵邻和数据隔离是两件事。共享库时,对 Token、工具调用和并发 Agent 循环按租户设上限。一库一租户时,可用 tencentdb_serverless.set_database_cpu_limit 按库限 CPU;每个 database 都要设限才生效,且只支持主实例。内核要到 PostgreSQL 14/15/16 的 v14.11_r1.21、v15.6_r1.10、v16.2_r1.3 及以上,插件提工单开启。它只保证 CPU 配额,不保证行不可见。https://cloud.tencent.com/document/product/409/105554 上线用运行时账号复测:租户 A 的令牌按主键读租户 B,必须是 0 行;同一条物理连接先提交 A 再跑 B,B 看不到 A 的 app.tenant_id;写入后同一 request_id 在审计表恰好一条,且运行时角色 DELETE 审计表失败。 二、优先标准产品,定制只用来抽标准核 题面的三类机会没有展开。选择不看名字,看交付物能不能被验收用例钉死。输入、输出、禁止项和回归用例都能写下来的,做成标准产品。每次都要改判断规则的,先接定制,产出应是术语表、阈值、审批节点这类配置,不是私有代码分支。 经验上,第三个付费客户要新写的逻辑低于两成就产品化,一半以上对不上就继续定制。扩租户前先做完隔离;定制样本不得进共享向量索引。 三、成果分成先冻基线,验证成本写进合同 签约前只锁三样。基线:改造前连续 4 周,双方对同一份导出做哈希并留存。指标定义带版本号,上线后不许改口径再回头算。只选一个主指标进分成,例如某类工单的一次解决率。 归因:同一客户里留一个未改造的队列或租户做对照。没有对照,就写死排除清单,大促、改价、编制变化不计入。对不上的样本标未计入。 验证成本按季度估采集、对账和争议工时。建议合同写明不超过该季度预期分成的三分之一,超过就改成固定费加一个指标奖金。复算从冻结导出加版本化公式重放,不靠截图。... 展开详请
把行业经验做成可售产品,隔离和审计是成交条件,不是上线后补的功能。应用层拼 WHERE tenant_id = ? 不算隔离。 一、多租户隔离和权限审计的硬约束 租户上下文只能由网关注入。认证之后在事务里执行 SELECT set_config('app.tenant_id', '<租户uuid>', true),第三个参数必须是 true,只在当前事务有效。会话级 SET 会留在连接上,池化后下一个租户沿用上一个的设置。模型或工具参数里的租户 ID 直接丢弃。 数据层用行级安全,并强制表主也走策略。超级用户和带 BYPASSRLS 的角色始终绕过,Agent 运行时角色不能是表主,也不能带这个属性。TRUNCATE 不受行级安全约束,运行时角色不要授予它。只写 USING 时写入同样受约束。 ALTER TABLE knowledge ENABLE ROW LEVEL SECURITY; ALTER TABLE knowledge FORCE ROW LEVEL SECURITY; CREATE POLICY tenant_iso ON knowledge USING (tenant_id = NULLIF(current_setting('app.tenant_id', true), '')::uuid); current_setting 第二个参数为 true 时,变量不存在返回 NULL,比较结果不是 true,行不可见。语义见 https://www.postgresql.org/docs/current/ddl-rowsecurity.html 全局唯一的业务键会通过唯一约束冲突泄露别的租户已有该键,唯一约束要做成 (tenant_id, business_key)。走超级用户或 BYPASSRLS 的备份能读全表,不要交给租户管理员。 Agent 工具凭证按租户签发,不拿平台超管。租户知识库文本是不可信输入,提示词要求查别的租户也不能扩大权限。向量检索先带租户谓词,行级安全只做兜底。对象存储按 tenant/<id>/ 前缀授权。 审计分两层。业务审计表与业务库分开,运行时账号没有 UPDATE 和 DELETE。每条至少有 tenant_id、actor_type(user、agent、system)、actor_id、action、resource、request_id 和变更摘要哈希。删除请求只销毁业务载荷和租户密钥,审计骨架保留,租户管理员不能关自己的审计。 实例 SQL 审计不能替代这一层。云数据库 PostgreSQL 默认只保留语句前 8192 字节,超长截断后对象名、执行时间和影响行数也不再展示,参数是 tencentdb_audit_message_truncate_length。谁批准了导出、Agent 调了哪个工具,写在业务审计里。https://cloud.tencent.com/document/product/409/100550 吵邻和数据隔离是两件事。共享库时,对 Token、工具调用和并发 Agent 循环按租户设上限。一库一租户时,可用 tencentdb_serverless.set_database_cpu_limit 按库限 CPU;每个 database 都要设限才生效,且只支持主实例。内核要到 PostgreSQL 14/15/16 的 v14.11_r1.21、v15.6_r1.10、v16.2_r1.3 及以上,插件提工单开启。它只保证 CPU 配额,不保证行不可见。https://cloud.tencent.com/document/product/409/105554 上线用运行时账号复测:租户 A 的令牌按主键读租户 B,必须是 0 行;同一条物理连接先提交 A 再跑 B,B 看不到 A 的 app.tenant_id;写入后同一 request_id 在审计表恰好一条,且运行时角色 DELETE 审计表失败。 二、优先标准产品,定制只用来抽标准核 题面的三类机会没有展开。选择不看名字,看交付物能不能被验收用例钉死。输入、输出、禁止项和回归用例都能写下来的,做成标准产品。每次都要改判断规则的,先接定制,产出应是术语表、阈值、审批节点这类配置,不是私有代码分支。 经验上,第三个付费客户要新写的逻辑低于两成就产品化,一半以上对不上就继续定制。扩租户前先做完隔离;定制样本不得进共享向量索引。 三、成果分成先冻基线,验证成本写进合同 签约前只锁三样。基线:改造前连续 4 周,双方对同一份导出做哈希并留存。指标定义带版本号,上线后不许改口径再回头算。只选一个主指标进分成,例如某类工单的一次解决率。 归因:同一客户里留一个未改造的队列或租户做对照。没有对照,就写死排除清单,大促、改价、编制变化不计入。对不上的样本标未计入。 验证成本按季度估采集、对账和争议工时。建议合同写明不超过该季度预期分成的三分之一,超过就改成固定费加一个指标奖金。复算从冻结导出加版本化公式重放,不靠截图。

架构师怎样把微小改进沉淀成能力?

架构师把微小改进沉淀成能力,核心是把零散经验变成可复用的资产,而不是停留在“解决过问题”的层面。 技术上,比如修完一个错误答复,别只改代码就完事。把它提炼成回归用例或检查项,写进团队的SOP或设计模板里,下次同类场景直接调用,这才是从“救火”到“防火”的转变。 产品侧做Agent改进也一样,不是所有优化都值得长期投入。优先选那些能跨场景复用、有明确适用边界的点,比如通用的意图识别纠错机制,而不是为某个冷门case硬堆逻辑。每次改进都要问:这个能力能不能被其他模块继承?边界在哪? 商业验证上,返工和故障成本是最硬的尺子。如果某项投入能让同类故障复发率下降、返工工时减少,哪怕单次收益小,累积起来就是真金白银的能力沉淀。没有数据支撑的“感觉变好了”,不算数。 官方详细解决方案:https://cloud.tencent.com/product/lighthouse?Is=sdk-topnav... 展开详请

低成本模型能立即替换企业Agent吗?

老王说技术一线互联网技术骨干,浙江省人工智能协会专家,浙江高校网络思政中心技术顾问,热衷于AI相关技术分享
前面那份回答把「该不该换、账怎么算、哪些场景先试点」讲得很完整了,我补一个它没展开、但在企业里经常真正卡住迁移的角度:**模型替换不是一次模型选型,而是一次跨角色的产品变更,最容易翻车的地方不是能力下降,是没人说得清改了什么、谁该签字、出问题时按什么切回去**。 在企业级产品里,一次换模型至少牵动产品、后端、测试、实施和客户成功五个角色:产品改验收口径,后端改调用配置与重试策略,测试要重建回归集,实施要更新交付说明,客户成功要面对「为什么这次回答和上周不一样」的追问。只发一条「已切换到 X 模型」的通知,等于让每个角色自己猜影响面。 我的做法是把这次替换当成一个普通变更来管,用同一个 `change-id` 串三份短材料: **1. 决策记录**:只记一个决策——为什么选这个模型、放弃了哪个备选、代价是什么(比如长链路任务成功率可能下降、prefix 缓存计价规则变了)。重点是留住「当时基于什么数据做的判断」,三周后 ROI 对不上时能反查,而不是事后重新编一个理由。 **2. 影响面清单**:按维度强制枚举,每维必须指到具体的人,`none` 也要显式写。对模型替换,我用的维度是:系统提示词与 few-shot、工具 schema 与参数约束、输出 schema 与解析容错、缓存键与 prefix 命中、重试/超时/降级策略、审计日志字段、回归用例集、成本与正确率报表口径、交付文档与客户通知 / SLA。最容易漏的是最后两项:报表口径一变,历史数据就不可比;客户没被通知,一次语气变化就会被当成故障。 **3. 验收契约**:把「效果不低于现网」写成 Given/When/Then 断言,每条挂一个真实用例或自动化检查,并写清触发回滚的阈值。下面是一份最小示例,字段值是演示用的,不代表任何真实阈值: ```yaml change_id: CHG-MODEL-2026-004 adr: status: accepted decision: 仅在内部知识问答场景替换,旗舰模型保留给赔付与风控类任务 consequences: 长链路任务不纳入本次范围;报表需按 model_version 切分 impact: prompt: { owner: pm@example.com, note: 系统提示词同步调整,旧版本留档 } tool_schema: { owner: backend@example.com, note: none } output_schema: { owner: backend@example.com, note: 解析失败率纳入观测 } cache_key: { owner: backend@example.com, note: prefix 缓存键随模型变化,需重建基线 } audit_log: { owner: backend@example.com, note: 每条记录带 model_version + change_id } report_metric: { owner: data@example.com, note: 按版本切分,禁止新旧模型混算 } doc_notice: { owner: cs@example.com, note: 交付说明与客户通知 } acceptance: - id: AC-01 given: 同一批影子流量 when: 切换前后各跑一轮 then: 两个模型的结果分别带 model_version 落库,可分开统计 check: trace_schema_check rollback: trigger: 正确完成率连续两个观测窗口低于约定阈值 owner: oncall@example.com action: 切回旧模型配置,并标记在途任务需人工复核 ``` **一个很隐蔽的观测陷阱**:影子运行期间,如果两个模型的结果混在同一张报表里,会得出「质量没变化」或「质量突然下降」的假结论——那只是混合分布。所以审计日志和 trace 里必须带 `model_version` 与 `change_id`,成本和正确率都按版本切分统计。这件事要在切换**之前**就做完,事后补字段是补不回来的。 **回滚也不是一个配置开关**。要提前写清三件事:谁有权切(到岗不到人)、基于哪个指标和多大窗口判定、切回后已经产生但还在流转的任务怎么处理(是否需要人工复核、已发出的回答要不要追回)。没写这三条,真出问题时通常会在群里讨论半小时才有人敢动。 **紧急通道要留,但不能留成欠账**。线上出故障临时切模型,允许先切后补,但事后记录必须显式标 `retro: true`,并单独列「未评估项」——比如「未评估长链路任务」「未通知客户成功」。否则事后补写会不自觉地把「当时没时间评估」包装成「经过权衡选择先切」,这份记录以后反而误导人。可以用 CI 扫描超时未补的 `change-id`,阻断下一次变更,比靠人记得可靠。 最后说边界:这套契约管的是「改了什么、影响谁、怎么算做完、怎么退」,管不了「这个模型该不该换」——那是前面回答里成本公式和场景梯度要解决的问题。两者是互补的,不是替代。度量也别看「契约填写率 100%」,只看两个数:上线后两周内因口径或配置不一致产生的缺陷数、以及评审后临时补影响面的次数。这两个降下来,才说明迁移真的被管住了。... 展开详请
前面那份回答把「该不该换、账怎么算、哪些场景先试点」讲得很完整了,我补一个它没展开、但在企业里经常真正卡住迁移的角度:**模型替换不是一次模型选型,而是一次跨角色的产品变更,最容易翻车的地方不是能力下降,是没人说得清改了什么、谁该签字、出问题时按什么切回去**。 在企业级产品里,一次换模型至少牵动产品、后端、测试、实施和客户成功五个角色:产品改验收口径,后端改调用配置与重试策略,测试要重建回归集,实施要更新交付说明,客户成功要面对「为什么这次回答和上周不一样」的追问。只发一条「已切换到 X 模型」的通知,等于让每个角色自己猜影响面。 我的做法是把这次替换当成一个普通变更来管,用同一个 `change-id` 串三份短材料: **1. 决策记录**:只记一个决策——为什么选这个模型、放弃了哪个备选、代价是什么(比如长链路任务成功率可能下降、prefix 缓存计价规则变了)。重点是留住「当时基于什么数据做的判断」,三周后 ROI 对不上时能反查,而不是事后重新编一个理由。 **2. 影响面清单**:按维度强制枚举,每维必须指到具体的人,`none` 也要显式写。对模型替换,我用的维度是:系统提示词与 few-shot、工具 schema 与参数约束、输出 schema 与解析容错、缓存键与 prefix 命中、重试/超时/降级策略、审计日志字段、回归用例集、成本与正确率报表口径、交付文档与客户通知 / SLA。最容易漏的是最后两项:报表口径一变,历史数据就不可比;客户没被通知,一次语气变化就会被当成故障。 **3. 验收契约**:把「效果不低于现网」写成 Given/When/Then 断言,每条挂一个真实用例或自动化检查,并写清触发回滚的阈值。下面是一份最小示例,字段值是演示用的,不代表任何真实阈值: ```yaml change_id: CHG-MODEL-2026-004 adr: status: accepted decision: 仅在内部知识问答场景替换,旗舰模型保留给赔付与风控类任务 consequences: 长链路任务不纳入本次范围;报表需按 model_version 切分 impact: prompt: { owner: pm@example.com, note: 系统提示词同步调整,旧版本留档 } tool_schema: { owner: backend@example.com, note: none } output_schema: { owner: backend@example.com, note: 解析失败率纳入观测 } cache_key: { owner: backend@example.com, note: prefix 缓存键随模型变化,需重建基线 } audit_log: { owner: backend@example.com, note: 每条记录带 model_version + change_id } report_metric: { owner: data@example.com, note: 按版本切分,禁止新旧模型混算 } doc_notice: { owner: cs@example.com, note: 交付说明与客户通知 } acceptance: - id: AC-01 given: 同一批影子流量 when: 切换前后各跑一轮 then: 两个模型的结果分别带 model_version 落库,可分开统计 check: trace_schema_check rollback: trigger: 正确完成率连续两个观测窗口低于约定阈值 owner: oncall@example.com action: 切回旧模型配置,并标记在途任务需人工复核 ``` **一个很隐蔽的观测陷阱**:影子运行期间,如果两个模型的结果混在同一张报表里,会得出「质量没变化」或「质量突然下降」的假结论——那只是混合分布。所以审计日志和 trace 里必须带 `model_version` 与 `change_id`,成本和正确率都按版本切分统计。这件事要在切换**之前**就做完,事后补字段是补不回来的。 **回滚也不是一个配置开关**。要提前写清三件事:谁有权切(到岗不到人)、基于哪个指标和多大窗口判定、切回后已经产生但还在流转的任务怎么处理(是否需要人工复核、已发出的回答要不要追回)。没写这三条,真出问题时通常会在群里讨论半小时才有人敢动。 **紧急通道要留,但不能留成欠账**。线上出故障临时切模型,允许先切后补,但事后记录必须显式标 `retro: true`,并单独列「未评估项」——比如「未评估长链路任务」「未通知客户成功」。否则事后补写会不自觉地把「当时没时间评估」包装成「经过权衡选择先切」,这份记录以后反而误导人。可以用 CI 扫描超时未补的 `change-id`,阻断下一次变更,比靠人记得可靠。 最后说边界:这套契约管的是「改了什么、影响谁、怎么算做完、怎么退」,管不了「这个模型该不该换」——那是前面回答里成本公式和场景梯度要解决的问题。两者是互补的,不是替代。度量也别看「契约填写率 100%」,只看两个数:上线后两周内因口径或配置不一致产生的缺陷数、以及评审后临时补影响面的次数。这两个降下来,才说明迁移真的被管住了。

102:一句顶一万句驯服大模型原理刨析?

技术侧做A/B测试别只看整体准确率,得把用例按“长尾专业词”和“通用描述”分层。A组喂术语表,B组给Few-shot示例,重点对比专业实体的召回和幻觉率。判定别靠模型打分,用硬断言卡死关键实体。 产品选型得看场景脾气。工单分类和RAG召回优先上术语表,意图边界固定,术语做Query改写最稳,少样本反而易引噪声。但接口代码生成必须上少样本,代码讲究格式,给俩标准API示例比解释一堆名词管用百倍。 商业验证别扯“模型变聪明”这种虚词。直接盯俩硬指标:一是交付周期,看术语表和回归门禁上线后,Prompt调试和发版时间缩没缩短;二是返工率,查线上因“名词理解错”导致的人工兜底工单降没降。省下的工时和兜底成本就是ROI。 官方详细解决方案:https://cloud.tencent.com/product/lighthouse?Is=sdk-topnav... 展开详请

流量团队供应商变了,旧架构能复用吗?

一只特立独行的兔先生腾讯云+社区TOP100优秀作者/华为云MVP专家/CSDN博客专家/深信服MVP专家/阿里云MVP专家
不能按「接口能调通」复用。多 Pod 下旧限流和缓存是否还成立,取决于计数存在哪、存储挂了是放行还是拒绝,以及新供应商的配额单位和错误语义有没有变。这三件没复验,峰值仍会超卖,或继续吐上一家的旧数据。 一、技术:先复验这五条 进程内令牌桶(例如 Guava RateLimiter)每个 Pod 各持一份。副本从 4 扩到 20,实际放行大约是配置值的 5 倍。配额若是集群总额,这就是超卖。复验:配额设为 Q,N 个 Pod 合计打出 QPS = Q,看上游拒绝比例。几乎不触发,说明限额被副本数放大了。 共享计数不能把 INCR 和 EXPIRE 拆开。进程在两条命令之间退出,key 没有 TTL,额度会被永久占住。限流走一条 EVAL。官方写明 EVAL / EVALSHA 在服务端同一事件循环里执行,不会被其他命令打断。固定窗口: local n = redis.call('INCR', KEYS[1]) if n == 1 then redis.call('PEXPIRE', KEYS[1], ARGV[1]) end if redis.call('PTTL', KEYS[1]) < 0 then redis.call('PEXPIRE', KEYS[1], ARGV[1]) end if n > tonumber(ARGV[2]) then return 0 end return 1 KEYS[1] 用 rl:{tenantA}:qps,ARGV[1] 是窗口毫秒,ARGV[2] 是限额。花括号内才参与选 slot。这是固定窗口,边界仍可能约 2 倍突发,配额留余量。不要用各 Pod 本地时间戳写 ZSET。 集群还有 slot 约束。官方说明:标准架构和集群架构都默认开通 Lua,但脚本里的 key 必须在同一 slot,否则可能失败。Redis 按 CRC16 分到 16384 个 slot,跨 slot 返回 CROSSSLOT。同时改 rl:tenantA 和 rl:global,单机能跑,上集群会失败。要原子更新的 key 用同一个 tag;不要把所有租户打成 {global},否则变成单分片热 key。全局限额和租户限额拆成两次调用。上线前在目标实例上跑这条 EVAL,单机通过、集群报错,就是 slot 或方言问题。 部分较新版本为修 CVE,沙箱禁止全局函数,非 local 会报 ERR Attempt to modify a readonly table。升级或换实例前把 function foo() 改成 local function foo(),适用版本以命令差异文档为准。 Redis 超时后是放行还是拒绝,要在代码里搜出来。对合同配额,放行等于把超卖打到新供应商。降级用更严的单机额度:配置值除以当前 ready 副本数,再留余量;副本数读服务发现,读不到就用保守上限。缓存三件套:key 加版本前缀如 v2:,避免旧结构反序列化失败;负缓存错误码重审,上一家的 404 不是新供应商的「尚未同步」;只靠 TTL 的本地缓存,不一致窗口等于最长 TTL,价格、库存、权限不能只放本地。连接池另算:Pod 数乘以每 Pod 最大连接,必须低于实例上限,上限以控制台规格为准。 二、产品:四格有一格为否,就不算复用 复用机制,不复用供应商适配。每个接口填四格,有一格为否就只留骨架: 配额单位是否同构。按 QPS,和按每分钟成功调用或按字节,阈值不能照搬。 身份键是否同构。旧 appId 和新的账号加项目不是同一维,限流 key、缓存 key 都要重映射。 错误码是否可映射。哪些可缓存、哪些必须穿透、哪些算已消耗配额。 不一致窗口是否可接受。价格、库存、权限不沿用旧 TTL;展示文案可以。 四格都通过,才留下观测字段 tenant、route、cache_hit、limit_decision、upstream_status。旧阈值和旧 TTL 不要一起搬。 三、商业:三步影子验证,不过就停 契约回放:脱敏旧请求打新供应商沙箱,对状态码映射、配额消耗次数、会写入缓存的字段。不过就停。 影子限流:旧限流继续拦截,新限流只记 would_reject,跑满一个含峰值的业务日。看新旧判定一致率、实际放行 QPS 与配置配额的比值(进程内限流会接近副本数)、改一个上游字段后所有 Pod 读到新值的最大延迟。一致率按合同罚则自定,不要抄「行业 99%」。 金丝雀:只切一个低风险读接口,小流量,一键回旧供应商。门禁看新供应商 5xx、本方 P99 增量、429 比例、缓存命中率,越线即回滚。成本只算这一条:单价乘调用量,加上未命中打到上游的次数乘单价,与旧供应商同口径对比。 影子期的计数和日志,远小于一次超卖后的封禁。若本来就是网关集中限流,多 Pod 放大不存在,改查超时、重试和配额单位。不要假设普通多 key 读命令能跨 slot,Lua 仍要求同一 slot。 参考:功能与使用、大版本命令使用差异、CROSSSLOT 与 hash tag。... 展开详请
不能按「接口能调通」复用。多 Pod 下旧限流和缓存是否还成立,取决于计数存在哪、存储挂了是放行还是拒绝,以及新供应商的配额单位和错误语义有没有变。这三件没复验,峰值仍会超卖,或继续吐上一家的旧数据。 一、技术:先复验这五条 进程内令牌桶(例如 Guava RateLimiter)每个 Pod 各持一份。副本从 4 扩到 20,实际放行大约是配置值的 5 倍。配额若是集群总额,这就是超卖。复验:配额设为 Q,N 个 Pod 合计打出 QPS = Q,看上游拒绝比例。几乎不触发,说明限额被副本数放大了。 共享计数不能把 INCR 和 EXPIRE 拆开。进程在两条命令之间退出,key 没有 TTL,额度会被永久占住。限流走一条 EVAL。官方写明 EVAL / EVALSHA 在服务端同一事件循环里执行,不会被其他命令打断。固定窗口: local n = redis.call('INCR', KEYS[1]) if n == 1 then redis.call('PEXPIRE', KEYS[1], ARGV[1]) end if redis.call('PTTL', KEYS[1]) < 0 then redis.call('PEXPIRE', KEYS[1], ARGV[1]) end if n > tonumber(ARGV[2]) then return 0 end return 1 KEYS[1] 用 rl:{tenantA}:qps,ARGV[1] 是窗口毫秒,ARGV[2] 是限额。花括号内才参与选 slot。这是固定窗口,边界仍可能约 2 倍突发,配额留余量。不要用各 Pod 本地时间戳写 ZSET。 集群还有 slot 约束。官方说明:标准架构和集群架构都默认开通 Lua,但脚本里的 key 必须在同一 slot,否则可能失败。Redis 按 CRC16 分到 16384 个 slot,跨 slot 返回 CROSSSLOT。同时改 rl:tenantA 和 rl:global,单机能跑,上集群会失败。要原子更新的 key 用同一个 tag;不要把所有租户打成 {global},否则变成单分片热 key。全局限额和租户限额拆成两次调用。上线前在目标实例上跑这条 EVAL,单机通过、集群报错,就是 slot 或方言问题。 部分较新版本为修 CVE,沙箱禁止全局函数,非 local 会报 ERR Attempt to modify a readonly table。升级或换实例前把 function foo() 改成 local function foo(),适用版本以命令差异文档为准。 Redis 超时后是放行还是拒绝,要在代码里搜出来。对合同配额,放行等于把超卖打到新供应商。降级用更严的单机额度:配置值除以当前 ready 副本数,再留余量;副本数读服务发现,读不到就用保守上限。缓存三件套:key 加版本前缀如 v2:,避免旧结构反序列化失败;负缓存错误码重审,上一家的 404 不是新供应商的「尚未同步」;只靠 TTL 的本地缓存,不一致窗口等于最长 TTL,价格、库存、权限不能只放本地。连接池另算:Pod 数乘以每 Pod 最大连接,必须低于实例上限,上限以控制台规格为准。 二、产品:四格有一格为否,就不算复用 复用机制,不复用供应商适配。每个接口填四格,有一格为否就只留骨架: 配额单位是否同构。按 QPS,和按每分钟成功调用或按字节,阈值不能照搬。 身份键是否同构。旧 appId 和新的账号加项目不是同一维,限流 key、缓存 key 都要重映射。 错误码是否可映射。哪些可缓存、哪些必须穿透、哪些算已消耗配额。 不一致窗口是否可接受。价格、库存、权限不沿用旧 TTL;展示文案可以。 四格都通过,才留下观测字段 tenant、route、cache_hit、limit_decision、upstream_status。旧阈值和旧 TTL 不要一起搬。 三、商业:三步影子验证,不过就停 契约回放:脱敏旧请求打新供应商沙箱,对状态码映射、配额消耗次数、会写入缓存的字段。不过就停。 影子限流:旧限流继续拦截,新限流只记 would_reject,跑满一个含峰值的业务日。看新旧判定一致率、实际放行 QPS 与配置配额的比值(进程内限流会接近副本数)、改一个上游字段后所有 Pod 读到新值的最大延迟。一致率按合同罚则自定,不要抄「行业 99%」。 金丝雀:只切一个低风险读接口,小流量,一键回旧供应商。门禁看新供应商 5xx、本方 P99 增量、429 比例、缓存命中率,越线即回滚。成本只算这一条:单价乘调用量,加上未命中打到上游的次数乘单价,与旧供应商同口径对比。 影子期的计数和日志,远小于一次超卖后的封禁。若本来就是网关集中限流,多 Pod 放大不存在,改查超时、重试和配额单位。不要假设普通多 key 读命令能跨 slot,Lua 仍要求同一 slot。 参考:功能与使用、大版本命令使用差异、CROSSSLOT 与 hash tag。

全家桶来了,Agent平台会失业吗?

伊卡洛斯LA

ICBC | 后端开发工程师 (已认证)

腾讯云架构师深圳同盟会员

不会,全家桶把搜索和读文件这些通用工具包圆了,但企业自己的业务逻辑、权限和私有数据它管不了,自建平台该干的事一件没少,只是不用再重复造这些基础轮子了。

99:如何搭建个人思考和成长框架?

搭建个人思考和成长框架,本质上是把“踩过的坑”变成“可复用的系统”。针对你提的三个维度,我的拆解如下: 技术侧:用“边界与白盒”约束 Agent 在多租户客服和 Agent 平台里,知识输入最怕“串味”和“过期”。思考框架的第一原则是“强隔离与版本化”,知识必须带租户 Tag、生效时间和置信度,输入前要有清洗和校验门禁。 评测不能只盯大模型的对话准确率,得看“任务闭环率”和“工具调用成功率”。 故障定位是 Agent 最头疼的——代码没报错,但业务结果错了。这就要求“全链路白盒化”,必须留存完整的 Trace(思考链、Prompt、Tool 出入参),把黑盒的 LLM 变成可回溯的决策树,否则排障就是玄学。 产品侧:抛弃“收藏库”,死磕“决策流” 数字员工的知识管理做成收藏库(文档、FAQ 堆砌)是偷懒的做法,那只是个带了 UI 的网盘。真正的壁垒是“可复用的决策流程”(SOP、Workflow)。 知识不应该是一篇篇文章,而应该被拆解成条件分支、动作节点和 API 调用。把“死文档”变成“活 SOP”,数字员工才能从“问答机器”进化成真正的“业务执行者”。 商业侧:用“三率”算清 ROI 账 成长框架不能只谈情怀,得用数据证伪。 复用率看沉淀:一个决策流被跨场景、跨租户调用的次数。复用率上不去,说明知识太定制化,没抽象好。 返工率看质量:数字员工处理后,人工兜底修改或客户投诉重开的比例。返工率不降,说明决策逻辑有缺陷,框架没迭代到位。 决策周期看效率:从问题触发到闭环的平均时长。 这三个指标交叉起来,就能算出真实的 ROI:(降低的返工成本 + 缩短周期释放的人力)除以 建设和维护决策流的成本。数据不会骗人,框架有没有用,看这三个率的趋势就够了。 官方详细解决方案:https://cloud.tencent.com/product/lighthouse?Is=sdk-topnav... 展开详请
搭建个人思考和成长框架,本质上是把“踩过的坑”变成“可复用的系统”。针对你提的三个维度,我的拆解如下: 技术侧:用“边界与白盒”约束 Agent 在多租户客服和 Agent 平台里,知识输入最怕“串味”和“过期”。思考框架的第一原则是“强隔离与版本化”,知识必须带租户 Tag、生效时间和置信度,输入前要有清洗和校验门禁。 评测不能只盯大模型的对话准确率,得看“任务闭环率”和“工具调用成功率”。 故障定位是 Agent 最头疼的——代码没报错,但业务结果错了。这就要求“全链路白盒化”,必须留存完整的 Trace(思考链、Prompt、Tool 出入参),把黑盒的 LLM 变成可回溯的决策树,否则排障就是玄学。 产品侧:抛弃“收藏库”,死磕“决策流” 数字员工的知识管理做成收藏库(文档、FAQ 堆砌)是偷懒的做法,那只是个带了 UI 的网盘。真正的壁垒是“可复用的决策流程”(SOP、Workflow)。 知识不应该是一篇篇文章,而应该被拆解成条件分支、动作节点和 API 调用。把“死文档”变成“活 SOP”,数字员工才能从“问答机器”进化成真正的“业务执行者”。 商业侧:用“三率”算清 ROI 账 成长框架不能只谈情怀,得用数据证伪。 复用率看沉淀:一个决策流被跨场景、跨租户调用的次数。复用率上不去,说明知识太定制化,没抽象好。 返工率看质量:数字员工处理后,人工兜底修改或客户投诉重开的比例。返工率不降,说明决策逻辑有缺陷,框架没迭代到位。 决策周期看效率:从问题触发到闭环的平均时长。 这三个指标交叉起来,就能算出真实的 ROI:(降低的返工成本 + 缩短周期释放的人力)除以 建设和维护决策流的成本。数据不会骗人,框架有没有用,看这三个率的趋势就够了。 官方详细解决方案:https://cloud.tencent.com/product/lighthouse?Is=sdk-topnav

本地 Agent 能成为企业执行入口吗?

李福春游戏发行平台,跨境电商,低代码,物联网,数字人商业项目架构师
员工需要的不是一段模型回答,而是能在授权范围内读文件、跑命令、调业务工具并交付结果的执行入口。以 Goose 为例,Interface 接收请求,Agent Loop 调用 LLM Provider,模型提出 Tool Call,真正执行由 MCP Extension 完成,结果再回传模型继续循环。技术约束因此落在权限上:文件、Shell、密钥、出站网络和扩展都要最小权限与审批。 官方默认偏自主,结合 Developer Extension 可在未逐次审批时执行命令和改文件,但这是默认行为,不是企业建议;生产应配置 permission mode 与 tool permissions,先只读验证,再逐步开放写入和命令执行,恶意软件检查也不能替代供应链审查。 产品取舍在于部署边界。桌面端贴近本地文件与开发工具,体验直接,但会话隔离、集中审计、统一升级和强 SLA 较弱;服务端便于身份、审计与治理,却增加工具接入和数据出网复杂度。企业不宜把 Goose 当天然多租户平台,而应分层设计:本地执行、企业系统调用、审批点与审计各自明确。... 展开详请

代码仓库如何给Agent立规矩?

伊卡洛斯LA

ICBC | 后端开发工程师 (已认证)

腾讯云架构师深圳同盟会员

在仓库根目录放个 AGENTS.md 把编码规范、目录职责、禁用操作这些写清楚,Agent 开工前先读它基本就能管住手了。

OpenSandbox如何隔离Agent?

李福春游戏发行平台,跨境电商,低代码,物联网,数字人商业项目架构师
Agent执行未知脚本、网页自动化、读写文件或访问企业API时,风险集中在执行面。按给定资料,OpenSandbox以SDK/CLI/MCP接入OpenAPI生命周期API,由Runtime Provider创建Docker、Kubernetes或模板化microVM,execd承担 命令、文件、PTY与代码执行,Network/Credential Plane单独管理出口与凭证。技术约束是创建常为异步,需查询状态或使用readiness helper;不同Runtime对挂载、网络策略、暂停恢复和凭证代理支持不同,不能泛化,具体矩阵要查文档并在目标环境实测。 产品取舍上,Credential Vault由宿主侧Egress Sidecar注入真实凭证,沙箱只拿假值或空值,但前提是dns+nft透明拦截、默认拒绝出站并显式允许绑定域名,且当前不支持与同网络命名空间的透明Service Mesh Sidecar叠加,因此不是无条件可启用的保险箱。... 展开详请

Open Responses能统一API吗?

可以统一客户端与服务端之间的基本通信契约,但不能保证各家模型能力和输出效果相同。技术上,Open Responses 用共同的请求、响应结构和流式事件表达输入输出与状态变化;Provider 扩展仍需单独处理。适配层可先实现公共字段和事件,再用能力声明管理扩展;某项能力不支持时,应明确报错或给出可见的降级结果,避免静默忽略。接入门禁要按 Provider 和模型覆盖普通响应、流式结束、工具调用、错误及扩展,并记录用例维护工时和失败率;验证成本取决于接入数量和实际使用的能力,不能只凭统一 Schema 估算。规范:https://www.openresponses.org/specification... 展开详请

MCP工具接入标准到底解决什么?

李福春游戏发行平台,跨境电商,低代码,物联网,数字人商业项目架构师
数字员工同时访问订单、物流、客服工单和知识库时,MCP 解决的是重复造连接器、工具 Schema 和权限逻辑的失控:Host 为每个 Server 建 Client,Server 可本地或远程,数据层用 JSON-RPC 2.0,传输层分 STDIO 与 Streamable HTTP;Tools、Resources、Prompts 应分开建模。 按 2026-07-28 基线,核心是无会话请求/响应,每请求带版本与客户端元信息,网关可按 Mcp-Method、Mcp-Name Header 路由;但 2025-11-25 及更早的有状态客户端/服务端仍可能存在,必须核对协议版本与 SDK 兼容模式。协议连通不等于权限开放,认证、租户隔离、参数校验、幂等、超时、审计和脱敏仍由 Server 与后端负责,旧式 HTTP+SSE 不宜作新项目默认。 方案上,本地进程用 STDIO,远程优先 Streamable HTTP,并结合 Bearer Token、API Key、Header 或 OAuth。... 展开详请

Agent训练环境如何标准化?

李福春游戏发行平台,跨境电商,低代码,物联网,数字人商业项目架构师
多轮浏览器或 Coding Agent 的复现问题,往往不在模型,而在环境契约:任务如何初始化、状态如何推进、观察与奖励如何返回。OpenEnv 用 reset/step/state 抽象 episode,Client 连接隔离的 Environment Server,环境可跑在 Docker 或 HF Space 中。要让实验可复现,需固定依赖与镜像版本,记录 episode_id、step_count、Action、Observation、Reward 和 done,并用契约检查与轨迹回放验证同一任务版本下的行为一致。 方案取舍上,Simulation Mode 用 reset/step/state 控制训练与评测 episode,返回 reward 与 done;Production Mode 则把环境中的 MCP Tools 通过 /mcp 暴露给 Agent,不再由 Agent 控制训练 episode。 两者不能混用:训练奖励接口不是生产工具接口。产品化时应把环境契约回归、隐藏评测集、Reward/Rubric 验证和轨迹采集纳入发布流程,并明确仿真成绩不等于真实业务效... 展开详请

Agent流量需要新网关吗?

不一定需要“新”网关,但需要网关具备新能力。 传统 API 网关(Nginx、Kong)解决的是短请求、无状态、按路由转发。Agent 流量有三个不同点:长连接流式(SSE/WebSocket 要透传)、多协议混跑(REST、LLM、MCP、A2A)、以及会话有状态(同一 Agent 的多轮请求要粘到同一后端)。 K8s 场景下,Gateway API + xDS 已经能覆盖前两条。Istio/Envoy 的 Gateway API 资源经控制面翻译成数据面配置,流式和长连接是原生支持的。真正要补的是第三层:会话亲和、按 token 用量限流、模型级路由和降级。 边界建议划清:代理层只做路由、鉴权、限流、审计,不碰业务编排。Agent 的意图识别、工具选择、多轮状态机留给编排层。混在一起做,后面谁都改不动。 私有化验收重点看两个指标:审计日志能否还原单次 Agent 任务的完整调用链,以及身份能否穿透到工具调用层(而不是只到网关)。 官方详细解决方案:https://cloud.tencent.com/product/lighthouse?Is=sdk-topnav... 展开详请

多模型与MCP流量该由谁来统一治理?

一只特立独行的兔先生腾讯云+社区TOP100优秀作者/华为云MVP专家/CSDN博客专家/深信服MVP专家/阿里云MVP专家
路由、换钥和 Token 计量可以在同一次请求里完成,但不该挂在同一个 ExtProc、同一套 processing_mode 上。换钥要同步改请求头并且失败即拒绝;计量是旁路读流,失败也不能打断吐字。混在一起,要么拖慢首 token,要么换钥失败时把调用方自己的 key 放给了 Provider。 一、ExtProc 的硬约束(Envoy ext_proc) 以下按 Envoy 官方 API 文档,observability_mode 与 route_cache_action 都是 1.31 加入的,更老版本没有,以部署版本为准:https://www.envoyproxy.io/docs/envoy/latest/api-v3/extensions/filters/http/ext_proc/v3/ext_proc.proto 每条需要回包的消息单独计时,message_timeout 默认 200ms。体模式为 FULL_DUPLEX_STREAMED、GRPC 或开了 observability_mode 时没有这个超时。 默认失败即拒绝:建连失败、流提前出错、乱回消息返回 500,超时返回 504(1.31 起)。只有 failure_mode_allow: true 才放行。 默认 mutation_rules 不允许改 host、:authority、:scheme、:method 和 x-envoy-*。改了用于选集群的头后路由缓存不会自动重算,同一条响应要带 clear_route_cache;配了 route_cache_action: RETAIN 则会忽略它。先于 ext_proc 执行的 RBAC 已按旧路由决策,清缓存只对可信处理器开启。 BUFFERED 超过 buffer 上限直接给下游报错,长 prompt 不适用;STREAMED 每个分片都要一条匹配回包。改 body 会去掉 content-length,除非开 allow_content_length_header,长度对不上有请求走私风险。 拆成两个过滤器,放在 router 之前(只列关键字段): # 换钥:同步、只看请求头、失败即拒绝 failure_mode_allow: false message_timeout: 0.2s processing_mode: { request_header_mode: SEND, response_header_mode: SKIP } --- # 计量:Send-and-Go,失败放行 failure_mode_allow: true observability_mode: true processing_mode: { response_header_mode: SEND, response_body_mode: STREAMED } 换钥处理器的凭证和路由表读本地缓存,不在这条路径上查库。计量是 Send-and-Go,数据面不等回包;官方对该模式标了流控未就绪的警告,处理慢于流速时没有背压,要监控落后量并标 meter_degraded,不要记成 0。Token 数优先取 Provider 响应里的 usage,不在网关重算。 二、统一 AI 网关与 agentgateway 的边界 按「账本和身份在谁手里」切,不按产品名。agentgateway 项目自述已覆盖 LLM 路由、预算控制、MCP 和 A2A,叠在模型网关旁边时,重复的是凭证缓存和 Token 账。已有模型网关做换钥计量时,agentgateway 只管 MCP 会话、工具级授权和 A2A 路由,工具里再调模型仍走同一个模型网关,账只记一次。没有模型网关时,让 agentgateway 当唯一入口,别再前置 ExtProc 换钥,两处密钥缓存的轮换窗口会对不齐。MCP 工具调用不是模型请求,别套换钥过滤器,否则工具的 Authorization 会被换成 Provider key。 三、配额与 BYOK 的验证成本 成本高在失败注入和对账: 缺归因头的请求拒绝,或进 unattributed,不默认记到某个部门。 SSE 中途断开,已生成未送达的 token 算谁的,先写成规则,再谈网关计数与 Provider usage 的容差。cached token 如何计费以各 Provider 文档为准。 BYOK 下网关没有发票,只能限 RPM/TPM 和记用量;拿一笔真实调用与 Provider 控制台对账,对不上就别承诺部门金额硬顶。 停掉计量进程,流必须继续并标 meter_degraded;停掉换钥进程,客户端拿到 500 或 504,上游看不到调用方原始 key。... 展开详请
路由、换钥和 Token 计量可以在同一次请求里完成,但不该挂在同一个 ExtProc、同一套 processing_mode 上。换钥要同步改请求头并且失败即拒绝;计量是旁路读流,失败也不能打断吐字。混在一起,要么拖慢首 token,要么换钥失败时把调用方自己的 key 放给了 Provider。 一、ExtProc 的硬约束(Envoy ext_proc) 以下按 Envoy 官方 API 文档,observability_mode 与 route_cache_action 都是 1.31 加入的,更老版本没有,以部署版本为准:https://www.envoyproxy.io/docs/envoy/latest/api-v3/extensions/filters/http/ext_proc/v3/ext_proc.proto 每条需要回包的消息单独计时,message_timeout 默认 200ms。体模式为 FULL_DUPLEX_STREAMED、GRPC 或开了 observability_mode 时没有这个超时。 默认失败即拒绝:建连失败、流提前出错、乱回消息返回 500,超时返回 504(1.31 起)。只有 failure_mode_allow: true 才放行。 默认 mutation_rules 不允许改 host、:authority、:scheme、:method 和 x-envoy-*。改了用于选集群的头后路由缓存不会自动重算,同一条响应要带 clear_route_cache;配了 route_cache_action: RETAIN 则会忽略它。先于 ext_proc 执行的 RBAC 已按旧路由决策,清缓存只对可信处理器开启。 BUFFERED 超过 buffer 上限直接给下游报错,长 prompt 不适用;STREAMED 每个分片都要一条匹配回包。改 body 会去掉 content-length,除非开 allow_content_length_header,长度对不上有请求走私风险。 拆成两个过滤器,放在 router 之前(只列关键字段): # 换钥:同步、只看请求头、失败即拒绝 failure_mode_allow: false message_timeout: 0.2s processing_mode: { request_header_mode: SEND, response_header_mode: SKIP } --- # 计量:Send-and-Go,失败放行 failure_mode_allow: true observability_mode: true processing_mode: { response_header_mode: SEND, response_body_mode: STREAMED } 换钥处理器的凭证和路由表读本地缓存,不在这条路径上查库。计量是 Send-and-Go,数据面不等回包;官方对该模式标了流控未就绪的警告,处理慢于流速时没有背压,要监控落后量并标 meter_degraded,不要记成 0。Token 数优先取 Provider 响应里的 usage,不在网关重算。 二、统一 AI 网关与 agentgateway 的边界 按「账本和身份在谁手里」切,不按产品名。agentgateway 项目自述已覆盖 LLM 路由、预算控制、MCP 和 A2A,叠在模型网关旁边时,重复的是凭证缓存和 Token 账。已有模型网关做换钥计量时,agentgateway 只管 MCP 会话、工具级授权和 A2A 路由,工具里再调模型仍走同一个模型网关,账只记一次。没有模型网关时,让 agentgateway 当唯一入口,别再前置 ExtProc 换钥,两处密钥缓存的轮换窗口会对不齐。MCP 工具调用不是模型请求,别套换钥过滤器,否则工具的 Authorization 会被换成 Provider key。 三、配额与 BYOK 的验证成本 成本高在失败注入和对账: 缺归因头的请求拒绝,或进 unattributed,不默认记到某个部门。 SSE 中途断开,已生成未送达的 token 算谁的,先写成规则,再谈网关计数与 Provider usage 的容差。cached token 如何计费以各 Provider 文档为准。 BYOK 下网关没有发票,只能限 RPM/TPM 和记用量;拿一笔真实调用与 Provider 控制台对账,对不上就别承诺部门金额硬顶。 停掉计量进程,流必须继续并标 meter_degraded;停掉换钥进程,客户端拿到 500 或 504,上游看不到调用方原始 key。
领券