近年来，虚假信息在世界范围内已经成为一个巨大的问题，但打击它是困难的。
本文由ESET基金会支持，该基金会每年颁发ESET科学奖，以表彰杰出的科学家。
来自肯佩伦智能技术研究所(KinIT)的IVAN SRBA和他的同事们是提高空气质量的领军人物之一在线有限公司内容和防止传播骗局和谎言，并创建了世界上最大的数据库世界上的事实和一个应用程序的媒体专业必须核实信息，不管它来自世界的哪个地方。
你帮助媒体行业部分e评估内容的可信度。这是什么意思?
我们的目标是研究和开发基于人工智能(AI)的解决方案，帮助媒体专业人士更有效地创造和传播可信的信息。与此同时，我们帮助他们识别不可信的信息，比如虚假信息或骗局。在这些解决方案中，我们主要处理多种语言。斯洛伐克语的数据永远不会像英语那样多。因此，我们采用一个经过英语和其他语言训练的语言模型，测试它是否也可以用于斯洛伐克语。其中一种解决方案是检测生成文本，也就是说，人工智能是否用于编写在线找到的给定文本，报纸文章或社交媒体帖子。
您如何知道文本是由语言模型生成的?它会留下痕迹吗?
语言模型是基于统计概率的。就像每个人都有自己的词汇、选择单词的方式、在头脑中编码的句子风格一样，语言模型也同样编码了它的作者身份。因此，这种风格可以被检测到。例如，在机器生成的图像或视频中，你可以发现一个人以错误的方式眨眼。对于文本来说，这就比较困难了，因为它只是一串字母，所包含的信息要少得多。然而，与此同时，也有一些方法可以隐藏机器的风格和作者。一个非常简单的例子是在另一个字母表中使用相似的字母。另一种方法是回译，即我拿一篇斯洛伐克文的文章，把它翻译成英文，然后再回译，这在一定程度上可以隐藏语言模型的作者身份。
为了及时了解斯洛伐克科学家或世界各地的斯洛伐克科学家正在做的事情，请订阅斯洛伐克科学通讯，该通讯将每年免费发送给读者四次。
媒体职业如何能应用这个吗?
作为中欧数字媒体观察站(CEDMO)项目的一部分，我们收集了目前世界上最大的事实核查数据库，该项目涉及斯洛伐克、捷克共和国和波兰。我们已经检查了来自世界各地50多种语言的大约43万份索赔。我们创建了一个应用程序，允许事实核查员获取社交媒体帖子，无论语言如何，并评估其中包含的信息是否已经在某处得到验证，即使它是用不同的语言发布的。一篇关于全球议题的文章可能是用斯洛伐克文写的，但有了这个工具，他们就能知道围绕这个议题的事实，是否已经用任何语言证实。
在哪儿它被使用了吗?
起初，它由斯洛伐克、捷克共和国和波兰的事实核查员进行了测试。他们真的很感激这一点，因为之前他们必须手动验证一切。它现在被整合为在线内容验证工具包的一部分，将为全球超过10万用户提供服务。由于它是多语言的，它也可以被任何其他国家的人使用。
您目前还在开发一个工具，该工具将执行co内容筛选和可信度分析，也可以发现逻辑谬误。它是如何工作的?
这有助于媒体专业人员在不需要通读文本的情况下预先筛选内容，并评估其是否可信或有不专业的迹象。我们称其为可信度信号或可信度指标。有很多信号，比如标题党，情绪化的文字等等。然而，必须要说的是，这种模型的性能不是100%，也永远不会是100%——总是会有假阳性或假阴性。
这是不是像人工智能“产生幻觉”?
有点不同。当我谈到假阳性和假阴性时，它涉及到一个人工智能程序，它试图将事物分类。产生幻觉意味着，人工智能程序不是把东西放进盒子里，而是自己生成文本，自己编东西。通常情况下，人工智能程序无法检测谬论和其他说服技巧——这很难做到。老实说，人们也做不到。给10个人看一个句子，然后问他们在哪里使用了说服技巧，你不会得到一个明确的答案。我们试着训练多语种的语言模型，这样他们就能指出对权威和其他技术的诉求。它的效果相对较好，但还远远不够完美，进一步开发模型将是一个挑战。
你认为人工智能有一天能够理解语言中的各种隐藏层吗?
两年前，我们无法想象大型语言模型现在能够做的事情。随着我们看到大型语言模型的发展，它们理解文本的能力也会增长，它们将能够做出更有创造性的反应。我相信，在未来，他们将能够做到至少与普通人相同的水平。
伊凡Srba。(来源:ESET科学奖/Linda kiskov
人工智能有一天能实时验证索赔吗?这样的事情可能吗?
如果我们谈论的是观看一场辩论，辩论的人提出的主张立即得到证实，那么这将是圣杯。目前，这在一般级别上是不可能的，尽管可以在非常具体的领域和主题上实现。另一方面，记者每天都要使用可信的消息来源进行人工验证。还有一个中间地带，这是我们所关注的——我们帮助媒体专业人士，当一种说法被提出时，指出它是否已经被事实核查员证实。
即使有这样的技术，人们会相信吗?
虽然这确实是社会科学家的问题，但我们已经研究了行为研究，不幸的是，确实存在这样的情况:一旦一个人确信某件事是真的或假的，就很难纠正这种信念。例如，研究分析了人们对社交媒体帖子真实性警告的反应。如果这样的警告是由人工智能生成的，那么一个人改变主意是否分享的可能性就会低于由人来评估的可能性。人工智能似乎不如人可信。与此同时，必须指出的是，在大多数情况下，即使是警告也不能阻止一个人分享帖子。
你还研究了ChatGPT等聊天机器人在传播虚假信息方面的使用。你发现了什么?
人们经常谈论它们可能被滥用来制造仇恨、人身攻击、攻击性语言等危险，但它们的创造者正试图阻止这种情况。作为欧洲研究项目vera的一部分。我们看到了这样做的真正潜力。我们研究了几个大型语言模型，不仅是ChatGPT，还有开源的。我们使用了一些众所周知的虚假信息，比如医药、地球是平的、登月，还有一些地区性的问题，比如尼日利亚的选举舞弊，我们让这些模型写一篇报纸文章。我们还测试了如果向他们提供简短的抽象解释上下文会发生什么。我们发现，大多数模型都是自愿生成虚假信息的文章，尽管它们的创建者试图加入所谓的安全过滤器，比如通知某个主题是医疗问题，读者应该联系他们的医生。
但人们知道如何绕过这些。
当然，但我们没必要绕过它们。令我们惊讶的是，开源模型更不愿意生成这样的文本。另一个结论是，即使给定的模型不知道给定的主题，它也能够非常迅速地掌握它并生成文本，尤其是在给定一个抽象概念的情况下。它甚至提出了自己的论点来支持这种叙述。例如，当一个模型缺乏医学信息时，它能够支持一个不存在的医学研究或一个不存在的美国大学教授的错误论点。所以，我回到当有人这样做的时候，我们能检测到它是机器生成的文本吗?答案是成功率各不相同。
有没有已知的模型被用来传播虚假信息的例子?
这很难说。仅仅因为潜力在那里，并不意味着它正在积极地发生。此外，与图像和视频不同，在图像和视频中操作是可以被证明的，而在文本中操作则更加困难。随着时间的推移，这将变得更加困难，因为模特的技能将不断发展，使其能够隐藏自己的风格。
在打击虚假信息方面，我们似乎受到了不公平的对待。有没有办法利用人工智能来预测接下来会开始传播什么样的虚假信息?
我不认为人工智能可以成功地预测在三天内某些虚假信息将开始传播。我相信人们更有可能做到这一点。例如，在选举之前，我们可以积极主动地警告人们，某种叙事可能正在传播。这被称为“预掩体”，它提供了一个机会，不仅可以打击不可靠内容的传播，还可以展示如何识别不可靠内容。预铺可以加强媒体素养。如果一个人不懂媒体，他们会无视任何警告，传播帖子。他们可能认为人工智能程序被训练来审查内容——这与我们想要实现的目标完全相反。人们需要被教导，当一篇文章提到大学教授时，他们应该查一下他们是否真的存在。我不确定这是否已经成为学校课程的一部分。
斯洛伐克在传播和相信虚假信息方面非常糟糕。培养媒体素养，教育民众但虚假信息是打击这种情况的一个开始。还有什么值得关注的?
有必要更深入地探索社交媒体是如何将我们包围在泡沫中，让我们被我们想要看到的内容包围的。在某种程度上，由于信息量巨大，这是很自然的。问题是，当泡沫不是基于我们感兴趣的话题(比如爱好)，而是基于信念(比如一些众所周知的虚假信息叙述)形成时。到目前为止，还没有太多关于审计社交媒体推荐系统的研究，这些推荐系统让我们陷入了这种不受欢迎的泡沫。
有什么好消息吗?
是的。事情开始向前发展了。欧盟委员会已经批准了《数字服务法案》(旨在创造更安全的数字空间)和《人工智能法案》(监管被评估为潜在危险的人工智能系统)。
监管是否足以让大公司改变他们的政策?罚款够吗?
重要的是在罚款发出之前会发生什么。例如，如果一家社交媒体公司想要进入欧洲市场——一个相对庞大的市场——它将被要求删除有害内容。如果不遵守，将不允许进入，或被开除。欧盟委员会还引入了自我监管的原则，例如最近得到加强的《虚假信息实务守则》，规定了如何打击有害内容。其目的是让公司意识到自己的责任。当然，我并不是说它是完美的，但它确实有影响，否则这些事情也不会被讨论。
KInIT高级研究员，专门研究人工智能、机器学习和自然语言处理，专注于低资源人工智能、有限标签数据学习、多语言和社会计算系统，特别是社交媒体。他目前的主要研究包括支持媒体专业人士制作可信的内容和打击网上的虚假信息。他是三个欧盟资助项目的研究员和执行委员会成员- CEDMO, vera。ai和ai - code。
本文由ESET基金会支持，该基金会每年颁发ESET科学奖部分科学家。
