AI评分 头条 (69)AI 中文改写

MosaicLeaks:你的研究助手能保密吗?

3 天前 2 阅读来源:HuggingFace Blog

AI 中文改写

原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接

企业级AI研究助手正在成为一把双刃剑。一方面,它能大幅提升信息检索和整合效率;另一方面,它可能在不知不觉中把公司的核心机密“说”出去。HuggingFace博客近日发布的一项研究MosaicLeaks,首次系统性地揭示了这一风险:当深度研究型AI代理(Deep Research Agent)在处理需要结合内部文档和外部网络信息的复杂问题时,其发出的每一次网络搜索请求,都可能像一块拼图,被外部观察者拼凑出完整的商业秘密。 这项研究的核心发现令人警醒。在测试中,AI代理在回答多跳问题时,频繁泄露私有信息。所谓“多跳问题”,是指需要将多个信息点串联起来才能回答的复杂问题,例如“去年完成云迁移的那家医疗公司,其安全漏洞是在哪个月份披露的?”——代理需要先从内部文档中找出“哪家公司完成了云迁移”,再根据这个信息去网上搜索“该公司的安全漏洞披露时间”。问题在于,代理在搜索“完成云迁移的医疗公司”时,其搜索词本身就可能暴露公司名称。研究人员发现,单纯优化任务完成度(即让代理更准确地回答问题),反而会加剧信息泄露,因为代理会更积极地发出更多、更具体的搜索请求。 MosaicLeaks将泄露分为三个层级:意图泄露(观察者能推断出代理在研究什么)、答案泄露(观察者能根据搜索日志回答关于私有信息的具体问题)和全信息泄露(观察者无需任何提示,就能从搜索日志中直接发现并陈述私有事实)。例如,一个代理连续搜索了“Lee's Market 2020年流量增长”和“Lee's Market 2020年流量增长率”,观察者不仅能知道它在研究什么(意图泄露),还能直接得出“Lee's Market 2020年线上流量增长15%”这一结论(全信息泄露)。在测试中,未经防护的代理在任务完成度(严格链成功率)为48.7%的情况下,答案/全信息泄露率高达34.0%。 针对这一漏洞,研究团队提出了一种名为“隐私感知深度研究”(PA-DR)的强化学习训练方法。该方法在训练过程中引入了“马赛克泄露”感知机制,让代理在学习如何更好完成任务的同时,也学习如何最小化外部搜索请求中的信息泄露。实验结果显示,PA-DR将严格链成功率从48.7%提升至58.7%,同时将答案/全信息泄露率从34.0%大幅降低至9.9%。这意味着,AI代理可以在不牺牲太多性能的前提下,显著提升对商业机密的保护能力。对于正在部署或使用AI研究助手的跨境电商卖家和企业而言,这项研究敲响了警钟:在追求效率的同时,必须将数据隐私和查询安全纳入AI系统的核心设计考量。

以上为 AI 中文改写版本,如需查看英文原文请访问

英文原文 · HuggingFace Blog

内容版权归原作者及 HuggingFace Blog 所有

这篇文章对你有帮助吗?
觉得有用?分享给更多人

留言 · 0

暂无留言,来说两句吧

留言经合规过滤后展示,禁止违法内容