AI工具AI评分 一般 (60)AI 中文改写

Hugging Face中的决策模型

7 天前 5 阅读来源:HuggingFace Blog

AI 中文改写

原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接

Hugging Face 博客近日发布了一篇由 Aritra Roy Gosthipaty、Lysandre、Pedro Cuenca 和 Tom Aarsen 联合撰写的技术文章,正式介绍了一类被称为“决策模型”(Decision Models)的新模型形态。文章的核心观点是:大语言模型(LLM)擅长生成文本,但并非所有任务都需要“写字”——比如客服系统收到一条“我被重复扣费了,今天就要退款”的工单,系统真正需要的是判断该由哪个团队处理、紧急程度如何、客户是否在要求退款,而不是让模型逐字生成一段 JSON。决策模型的做法是直接接收输入上下文(状态)、一组预设问题以及每个问题的候选答案,然后输出带概率的结构化决策,全程不生成任何文本。文中给出的示例代码显示,开发者可以通过 transformers 的 pipeline 调用一个名为 autotrust/GEV-26B-Decide 的模型,传入工单内容和部门分类标准,直接得到各部门的概率分布。 文章进一步解释了这类模型出现的背景。此前,很多应用通过提示词让 LLM 输出 JSON 来完成分类、路由等结构化任务,但这种方式存在明显缺陷:模型不保证遵守 schema,可能返回非法 JSON、多余字段或不在允许范围内的答案;Outlines、XGrammar 等约束解码库虽然能限制 token 生成以强制符合语法,却带来了额外的计算开销;更重要的是,当应用只需要在几个预设答案中做选择时,让模型自回归地生成完整回复本身就是一种浪费。决策模型因此被定位为区别于传统分类模型的新接口:状态加问题加允许答案,映射到决策加概率。文章提到,TypeSafe AI 推出的 Jev 最早将这类模型称为“System One 模型”,借用了快思考与慢思考的认知理论类比,但社区最终倾向于“决策模型”这一叫法,因为它描述的是模型的计算角色而非某种认知理论。对跨境电商卖家和 AI 工具开发者而言,这意味着未来在客服工单分流、订单异常判定、退款意图识别等高频结构化场景中,可能不再需要为了一个分类结果而调用昂贵的大模型生成接口,转而使用更轻量、输出更可控的专用决策模型,从而降低延迟和调用成本。

以上为 AI 中文改写版本,如需查看英文原文请访问

英文原文 · HuggingFace Blog

内容版权归原作者及 HuggingFace Blog 所有

这篇文章对你有帮助吗?
觉得有用?分享给更多人

留言 · 0 条

暂无留言,来说两句吧

留言经合规过滤后展示,禁止违法内容