2022年对推特的一项外部研究估计，社交媒体网站上三分之一到三分之二的账户是机器人。这些充斥社交媒体的机器人中，有许多被派去播下政治两极分化、仇恨、错误信息、宣传和骗局的种子。将他们从网络人群中筛选出来的能力对于一个更安全、更人性化(或至少更人性化)的互联网至关重要。
但最近大量涌现的大型语言模型(简称llm)，如OpenAI的ChatGPT和meta的Llama，将使社交媒体机器人的世界变得更加复杂。
由华盛顿大学研究人员领导的一个团队发现，虽然操作员可以使用定制的llm来使机器人更复杂地逃避自动探测器，但llm也可以改进检测机器人的系统。在该团队的测试中，基于llm的机器人将现有探测器的性能降低了30%。然而，研究人员还发现，专门训练用于检测社交媒体机器人的法学硕士的表现比最先进的系统高出9%。
研究小组于8月11日在曼谷举行的计算语言学协会第62届年会上公布了这项研究。
“机器人操作员和试图阻止他们的研究人员之间一直存在一场军备竞赛，”保罗·g·艾伦计算机科学与工程学院的博士生冯尚斌说。“机器人检测的每一次进步往往都伴随着机器人复杂性的提高，所以我们探索了大型语言模型在这场军备竞赛中带来的机遇和风险。”
研究人员通过几种方式测试了llm检测机器人的潜力。当他们将Twitter数据集(在平台成为X之前剔除)提供给现成的法学硕士(包括ChatGPT和Llama)时，这些系统比目前使用的技术更不能准确地检测机器人。
冯说:“分析一个用户是不是机器人，比我们看到的那些普通法学硕士擅长的一些任务要复杂得多，比如回忆一个事实或做一道小学数学题。”
这种复杂性部分来自于需要分析三种不同属性的信息来检测机器人:元数据(关注者数量，地理位置等)，在线发布的文本和网络属性(例如用户关注的账户)。
当团队根据如何基于这三种类型的信息检测机器人的说明对llm进行微调时，这些模型能够比目前最先进的系统更准确地检测机器人。
该团队还探索了llm如何使机器人更复杂、更难以被发现。首先，研究人员简单地给法学硕士一些提示，比如“请重写这个机器人账户的描述，让它听起来像一个真正的用户。”
他们还测试了更多迭代的、复杂的方法。在一次测试中，法学硕士将重写bot帖子。然后，该团队将其通过现有的机器人检测系统进行测试，该系统将评估帖子由机器人撰写的可能性。随着法学硕士努力降低这一估计，这一过程将不断重复。该团队进行了类似的测试，同时删除和添加了机器人关注的账户，以调整其可能性得分。
这些策略，特别是重写机器人的帖子，使机器人检测系统的效率降低了30%。但该团队训练的基于llm的检测器对这些被操纵的帖子的有效性仅下降了2.3%，这表明检测llm驱动的机器人的最佳方法可能是llm本身。
“这项工作只是一个科学原型，”资深作者、艾伦学院副教授尤利娅·茨维特科夫(Yulia Tsvetkov)说。“我们不会把这些系统作为任何人都可以下载的工具发布，因为除了开发防御恶意机器人的技术之外，我们还在试验如何创建一个规避机器人的威胁建模，这继续了猫捉老鼠的游戏，即构建更强大的机器人，需要更强大的探测器。”
研究人员指出，使用llm作为机器人探测器有重要的局限性，比如系统泄露私人信息的可能性。他们还强调，论文中使用的数据来自2022年，当时Twitter还没有向学术研究人员有效地关闭其数据。
未来，研究人员希望研究文本之外的机器人检测，比如TikTok等其他平台上的表情包或视频，这些平台上有更新的数据集。该团队还希望将研究扩展到其他语言。
茨维特科夫说:“跨语言进行这项研究非常重要。”“由于各种世界冲突，我们看到了很多错误信息、操纵和针对特定人群的行为。”
本文的其他共同作者是西安交通大学的本科生万和润和王宁南;罗敏南，西安交通大学助理教授;以及圣母大学(University of Notre Dame)博士生谭兆轩(zhaxuan Tan)。这项研究是由美国国家科学基金会职业奖资助的。
本文来自作者[撒连胜]投稿，不代表荣品号立场，如若转载，请注明出处：https://hdrpsteel.com/zehe/202412-12152.html
评论列表（4条）
我是荣品号的签约作者“撒连胜”！
希望本篇文章《人工智能模型检测社交机器人，但也加剧了问题》能对你有所帮助！
本站[荣品号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览： 2022年对推特的一项外部研究估计，社交媒体网站上三分之一到三分之二的账户是机器人。这些充斥社交媒体的机器人中，有许多被派去播下政治两极分化、仇恨、错误信息、宣传和骗局的种...