ARTICLE / 新闻中心

Anthropic微微发力,AI中转站的天就要塌了?

新闻中心 8215
Anthropic微微发力,AI中转站的天就要塌了?
Anthropic微微发力,AI中转站的天就要塌了?

你付钱调用的那个 AI,真的是商家承诺的那个模型吗? 比如,一个第三方平台声称接入了旗舰模型,后台却换成便宜的小模型、旧模型,光看回答的语气和质量,我们很难判断;又或者是同一道题目,官网能做出来,用中转站却卡住了。 图|GitHub 上部分 AI API 中转站推荐与评测项目,都提到了掺水率 不少通过第三方 API、聚合平台或中转服务调用模型的国内用户来说,这大概是经常需要面对的问题。 一个看起来简单的模型请求,背后需要经过「用户—中转站—上游服务商—模型」多个环节,只要其中一环缺少透明度,我们就很难确认自己买到的,是不是标价对应的模型。 图|研究链接:https://www.anthropic.com/research/provable-inference Anthropic 近日发布的一项研究,试图把这个只能靠口碑、截图和体感争论的问题,变成一个可以数学验证的问题。 这套名为 FlashProve 的开源研究原型,可以为模型推理生成密码学证明。它尝试让服务商为模型的计算结果提供密码学证明,用户不用拿到模型权重,也不用自己再跑一遍大模型,就能核验。 不公开模型,也能证明「你就是你」 除了使用模型厂商官方的应用,和从官网调用 API 进行对话,我们能确认使用模型的情况。在大多数的 API 调用里,我们提交问题,服务器返回回答,模型世界上是跑在了远程的机器上,我们无法得知后台究竟进行了那些计算。 斯坦福大学的研究项目《Model Equality Testing》曾经就测试过 2024 年四款 Llama 模型的 31 个商业 API 端点,发现其中 11 个端点的输出分布,与 Meta 发布权重的参考分布存在统计差异。 同一个模型名字,有时候并不能对应同一种表现。即便在服务页面挂着的都是 Opus 5.5,但根本无法保证用户获得完全相同的模型。 有时候我们想着可以靠几个问题来鉴别模型,就像最近内测 Opus 5.5 一样,有网友说问他 2026 年 5 月,Karpathy 去了哪里,如果模型答不出他去了 Anthropic,那就是没有被测试到。 但靠这些问题来鉴别模型,还会遇到模型厂商自己路由的问题,往往很难直接定位原因。像是碰巧答错、参数不同、上下文没传完整,和后台换了模型,最后都可能表现成一句「怎么变笨了」、「这不是我想要的模型吧」。 FlashProve 的核心,是一种名为 zkSNARK 的零知识简洁证明技术。 首先,模型服务商为权重生成一个「承诺」,它类似一组密码学指纹,能够唯一锁定特定权重,却不会公开权重本身。 随后,服务商针对给定的输入与待检查输出,生成一份证明,核验这些输出是否符合事先约定的模型计算。用户拿到模型承诺、提示词、回答和证明文件,就可以在自己的电脑上检查: 这套被锁定的权重处理这段输入时,是否确实会产生这些输出。 如果中转站偷偷换了一套模型,或者有人修改了输出,证明便无法与原来的模型承诺对应。 这里用到的零知识证明也很重要,目的是为了让验证者在确认计算结果时,却不会因此获得模型权重、中间计算值,以及 MoE 模型在各层调用了哪些专家。 这也解释了它为什么比「让 AI 自报家门」可靠,回答里写了什么模型名字,不再充当身份证明,检查的是输出与指定权重之间的计算关系。 一台笔记本就能核验 过去,为大模型生成零知识证明的最大障碍是成本,证明过程可能比普通推理慢上几个数量级,证明文件也可能非常大。 Anthropic 使用公开 4-bit 权重的 Llama 4 Maverick 进行实验。这是一个拥有 4000 亿参数的混合专家模型,每个 token 实际激活约 170 亿参数。根据 Anthropic 公布的数据: 单张 H100 生成证明的吞吐量约为 110 tokens/秒 ; 每个 1,024-token 请求的证明约为 19 MB ; 验证不需要 GPU,在 24 线程 CPU 上约需 17 秒 ,单线程约需 21 秒 ; 模型权重的初始承诺只需生成一次,耗时约 39 分钟 。 不过这里的 110 tokens/秒是 证明生成速度 ,不是用户聊天时的模型输出速度。证明依然昂贵,在 Anthropic 的对比条件下,其 GPU 时间约为普通 vLLM 推理的 70~95 倍 。 即便不是免费,但这套方案,以及把一种过去近乎难以承受的验证方式,推进到了开始具有实际想象空间的阶段。 但解释不了「降智」 对于中转站用户,这项技术最直接的吸引力,当然是识别模型替换。但这里有一个关键前提,是我们必须提前知道 正品模型的承诺 是什么。 如果中转站拿出一份有效证明,却只能证明回答来自它自己选择的模型 B,而用户无法确认模型 B 与自己购买的模型 A 是否相同,那么这份证明仍然解决不了身份问题。 真正有效的使用方

about image
KEEP READING / 02

相关阅读

查看全部
斯科特:魔术师要求我们领先25到30分,第四节好坐板凳冰敷膝盖

斯科特:魔术师要求我们领先25到30分,第四节好坐板凳冰敷膝盖

前湖人球员拜伦·斯科特在自己的一档播客节目中,谈到了“魔术师”约翰逊在“Showtime湖人”时期提出的赢球要求。 斯科特回忆,约翰逊在比赛开始前会把全队叫到一起,直接说出自己的目标: “我希望到第四节时,我们已经坐在板凳席上冰敷膝盖了。” 他转述约翰逊的原话是,希望球队领先25分、30分,这样第四节就不用再上场,大家可以在场边冰敷休息。 在斯科特看来,这正是那支球队面对“本该去赢的比赛”时的心态

NBA战报:尼克斯133-127公牛,布伦森38+1+7

NBA战报:尼克斯133-127公牛,布伦森38+1+7

北京时间10月29日NBA 常规赛,芝加哥公牛对阵纽约尼克斯。半场公牛62-56尼克斯,最终公牛127-133尼克斯。芝加哥公牛诺曼-鲍威尔30分2板2助,凯莱布-威尔逊20分6板4助;纽约尼克斯布伦森38分1板7助,OG-阿奴诺比21分6板1助。 赛况 第一节公牛凯莱布-威尔逊拿下6分,尼克斯布伦森拿下11分,首节战罢公牛33-34落后尼克斯 第二节公牛特雷-琼斯拿下7分,尼克斯克拉克森拿下6分

维尔茨:我不在意个人状态,我只希望球队能够赢球

维尔茨:我不在意个人状态,我只希望球队能够赢球

英超第9轮,利物浦主场0-1不敌阿森纳,赛后,利物浦中场维尔茨接受了Stadium Astro采访,谈到了球队未能取胜的原因、自己的个人表现以及比赛中的点球判罚争议。 记者:今天究竟出了什么问题?因为从场面上看,你们似乎是表现更好的一方。 维尔茨:抱歉? 记者:你们今天看起来是表现更好的一方,那你觉得问题出在哪里? 维尔茨:我想,是的,我们只是错失了几次创造出来的机会。而且我认为在几次射门的处理上