转卖 Token

作者：晓静（腾讯科技作者） 大模型从实验室走向市场，沿途也开出了大大小小的“商店”。这些商店出售的，是以 Token 计量的模型服务。同一个模型，在不同的店里，报价可能相差数倍，凭什么呢？ 9 月 29 日，一项发布于预印本平台 arXiv 的研究，对六个开放权重模型在不同供应商处的表现进行了比较。论文标题为《你无法仅凭价格表选择供应商》，研究者发现，同一个模型，换一家提供服务的公司，回答质量、速度和可用性都可能变化。在测试样本中，较高的价格通常对应更快的速度，却不能可靠地预测质量和稳定性。这其中还有一个值得注意的现象是，某个部署在知识类任务中表现接近正常，到了多步推理任务却会严重退化。 这项研究揭示的结果背后，其实有一个实际应用中的具体问题。当用户选择了一个具体的模型，真的在生产场景中使用的时候，是不是一定就能效果稳定？答案是否定的，而且，围绕着这个问题，已经生长出一系列“转卖token”的复杂生意。这些交易都围绕“模型调用”展开，卖家赚钱的逻辑却各不相同。 图：同一个模型，价格更高的供应商未必能给出更准确的答案。研究在分类、信息提取和数学任务中发现，报价相差数倍的供应商，准确率可能