2024-04-10 18:27 来源：本站编辑
去年12月，红迪网上流行的r/AskHistorians论坛的版主注意到，出现了一些带有人工智能生成文本特征的帖子。
“他们很容易被发现，”该论坛的主持人之一、康奈尔大学(Cornell University)博士后萨拉·吉尔伯特(Sarah Gilbert)说。“它们不够深入，不够全面，而且经常包含虚假信息。”该团队很快意识到，他们在互联网上的小角落已经成为chatgpt创建内容的目标。
当ChatGPT去年推出时，它引发了一场似乎永无止境的炒作。根据布道者的说法，ChatGPT背后的技术可能会消灭数亿个工作岗位，展示奇点式人工通用智能的“火花”，很可能会毁灭世界，但在某种程度上，这意味着你必须马上购买它。到目前为止，不那么引人注目的影响，比如在互联网上释放人工智能产生的恶臭浪潮，还没有引起同样的关注。
这个拥有200万会员的AskHistorians论坛允许非专家用户提交有关历史话题的问题，并从历史学家那里得到深入的回答。最近流行的帖子探讨了“准时”的压力是否是一个现代概念的蜂群思维;如果修道院的猫在他们的牛皮纸上留下墨迹，中世纪的抄写员会怎么做;以及成吉思汗是如何在饮食中摄入纤维的。
吉尔伯特说，在ChatGPT推出后不久，该论坛每天有5到10个ChatGPT帖子，随着越来越多的人发现这个工具，这个数字很快就上升了。现在这种频率已经逐渐减少，该团队认为这可能是他们严格处理人工智能生成内容的结果:即使帖子没有因为是由ChatGPT写的而被删除，它们也往往违反了sub的质量标准。
版主怀疑一些ChatGPT帖子旨在“测试”这些mod，或者看看用户能逃脱什么。其他评论显然是造势和垃圾邮件活动的一部分，或参与“业力耕种”，这些账户的建立是为了随着时间的推移积累赞数，让它们看起来是真实的，这样它们就可以在以后被用于更邪恶的目的。
但遇到这个问题的不只是一个精心策划的论坛。事实上，Reddit的chatgpt机器人问题目前“相当严重”，据一位了解该平台更广泛的审核系统的匿名版主表示。他们表示，该网站已经删除了数百个账户，每天还会有更多账户被发现，并补充说，大多数删除都是手动完成的，因为Reddit的自动系统难以处理人工智能创建的内容。Reddit拒绝对此发表任何评论。
今年2月，AskHistorians和其他几个reddit子版块遭到了一次使用ChatGPT的协同机器人攻击。吉尔伯特说，机器人的自动化系统被发现是将在AskHistorians上提出的问题输入到ChatGPT，然后通过大量的托词账户输出回答。同一个僵尸网络发布了很多“问”的帖子，例如r/AskWomen, r/AskEconomics和r/AskPhilosophy。
吉尔伯特说，发现机器人的垃圾答案是用ChatGPT生成的不是问题，问题是“它们来得太快了。”在攻击最严重的时候，该论坛在三天内每天封禁75个账号。虽然他们不能确定攻击的目的，但他们确实注意到一些宣传电子游戏的帖子。
Reddit最近的一份透明度报告强调了垃圾邮件和“虚假账户”的巨大问题，这些虚假账户的目的是推广产品，但像ChatGPT这样的生成式人工智能可能会大大加剧这一问题。虽然“垃圾邮件”过去依赖于由许多不同账户共享的复制粘贴文本，但现在像ChatGPT这样的网站只需按一下按钮就可以创建完全新颖的垃圾邮件。
r/Technology是Reddit最大的论坛之一，拥有超过1400万订阅者，其主持人u/ brownn评论道:“机器人的问题已经非常严重，Reddit的自动反垃圾邮件系统几乎不起作用，当他们这样做的时候，已经太晚了，机器人的存在已经达到了它的目的。”
“Reddit上的机器人绝大多数是用于简单的广告目的，而不是像每个人都喜欢声称的那样进行政治操纵。这些机器人账户发布的大部分广告都是面向成人的:大麻/Delta8广告、色情广告、赌博广告，或者出售或运营这些机器人是为了大规模宣传运费下降的商品，其中大多数是信用卡诈骗，或者提供与订购的商品不同的商品，或者根本就不送货。”
除了r/AskHistorians之外，包括r/AskPhilosophy、r/AskEconomics和r/Cybersecurity在内的订阅用户表示，他们在ChatGPT上遇到了问题，但目前频率在可控范围内。“ChatGPT的风格很容易识别，但真正的测试是质量，看起来ChatGPT在哲学方面很糟糕，”来自AskPhilosophy的一位版主说。
但关于机器人攻击，AskPhilosophy的主持人说:“其他人尝试这只是时间问题，而且他们可能会更好地逃避我们的质量控制工作。”他们认为ChatGPT评论现在在论坛上已经变得相对少见了。“要么是这样，要么就是他们越来越擅长愚弄我们了。”
一位网络安全版主表示，当ChatGPT内容明确用于营销时，该子具有很好的检测率。然而，将假账户伪装成真实账户的“业力耕种”带来了一个更棘手的问题。他们说:“用户报告偶尔会发现这些内容，但我们自己的审核工具坦白说没用，我们不知道目前在这类内容中发现的不真实内容的比例是多少。”因此，“我们的问题不一定是‘到目前为止我们发现了什么’，而是‘我们错过了什么’。”
不管现在这是否是一个严重的问题，大多数sub都在为未来做准备——特别是如果像GPT-4这样的大型语言模型能够更好地制作听起来像人类的内容。
对OpenAI的GPT-3和GPT-2 XL的研究发现，人类很难可靠地识别人工智能生成的文本。这项研究是在当前生成式AI炒作开始之前进行的，大多数人都不确定如何识别AI。“机器生成的文本往往非常流畅，非常符合语法，非常连贯，但[…]它很容易偏离主题，说了很多无关紧要的事情，”宾夕法尼亚大学的博士生、该论文的主要作者利亚姆·杜根(Liam Dugan)说。
“人们进入(人工智能文本检测任务)时，期待看到表面的错误、拼写错误或不符合语法的句子，而实际上，他们真正应该寻找的是，这是事实吗?这是常识吗?这和帖子里说的有关系吗?”
像GPTZero这样的工具通过分析文本来预测它是否由大型语言模型编写，但在检测人工智能生成的内容时，它们也不是绝对正确的。更复杂的是，最近的两篇论文表明，使用释义模型来混淆chatgpt生成的文本，极大地破坏了今天的人工智能文本探测器。
Reddit的一名员工告诉吉尔伯特和团队的其他成员，Reddit正在为想要根除这类内容的论坛开发人工智能检测工具。
但目前，这项工作主要落在版主身上。吉尔伯特说:“这需要大量的人力，一点也不好玩。”“我们都是作为志愿者来做这件事的。”但Reddit和其他社交媒体平台有巨大的动力在问题变得更糟之前，现在就解决这个问题。“他们希望人们阅读他们的广告，对吗?”吉尔伯特指出。“(谷歌的人工智能聊天机器人)Bard不会买任何东西。”
能否以一种有意义的方式解决这个问题，可能会决定社交媒体是否会以目前的形式继续存在。“我认为很多关于‘GPT将彻底改变什么’的说法都是胡扯，”r/Cybersecurity的主持人说，“但我敢打赌，传统社交媒体的寿命是有限的，主要是因为不真实的内容变得如此真实，制作成本如此低廉，以至于我们将很难找出谁是真实的，谁是机器人。”
