如何区分人类和AI创作的内容？一种新的辨识方法

构建运行良好的人工智能模型最重要的要素之一是一致的人类反馈。当生成式人工智能模型由人类标注员训练时，它们可以为最终用户提供更有效的工具，从而有助于推动迈向更光明的未来。我们可以测量的行为信号越多，我们创建高质量数据的机会就越大。

问题在于，随着人工智能工具的不断激增，人类标注员可能会越来越多地使用它们来加速模型训练和数据标记任务。人工智能从业者目前正在讨论将人工智能工具纳入反馈循环的潜在影响。这也是为什么我们必须找到可靠的方法来区分人工智能生成的数据和人类生成的数据。

关于如何解决这个问题，各方提出了许多建议。他们中的大多数人专注于评估最终产品、使用水印或分析输出的风格。在最近的研究“点击不会说谎：通过用户输入事件推断众包中生成式人工智能的使用”中，澳鹏数据科学家 Arjun Patel 和 Phoebe Liu 分享了不同的观点。通过关注用户行为而不是输出本身，我们的研究人员提出了一种更有效的方法来识别标注团队使用人工智能工具的实例。在这里，我们总结了他们的发现，并分享了一些关于我们如何应对这些起源检测挑战的见解。

检测人工智能生成文本的挑战

在检测人工智能生成的文本时，需要解决几个挑战。随着人工智能的兴起及其在生成文本方面的日益广泛使用，区分人类编写的内容和机器生成的内容变得更加困难。这对于依赖准确的数据注释和标签来进行机器学习训练和自然语言处理任务的公司来说是一个重大挑战。

生成式人工智能模型的快速发展

生成式人工智能模型，特别是大型语言模型(LLM) ，正在加速发展，生成的文本、音频和图像与人类创建的内容几乎没有区别。随着它们变得更加复杂，市场的广泛引入是显而易见的，越来越多的个人和实体，包括众包人工智能培训师，正在利用这些模型。这种快速的演变和采用给区分人工智能生成的输出和人类输出带来了巨大的挑战。

人工智能扩张中整合信息面临的挑战

在这项研究中，刘强调了一个紧迫的问题，“生成人工智能的快速扩张对人类独有的手工数据的管理提出了重大挑战。” 这些模型的加速增长和集成使确保数据完全由人类生成的任务变得更加复杂，特别是当客户提出要求时。

当前人工智能检测方法的固有局限性

虽然水印等各种策略旨在简化人工智能生成内容的识别流程，但它们也面临着一系列挑战。具体来说，水印的有效性取决于对原始人工智能模型的访问，而这一要求往往无法实现。

研究挑战和人工智能不断发展的本质

目前的研究主要强调通过精确定位语言和结构的细微差别来检测人工智能生成的文本，例如不寻常的措辞或句子结构中的特定模式。然而，这些曾经可靠的标记很容易通过简单的改写而被绕过，特别是当人工智能模型完善其输出、包含微妙的表达、习语和不同的风格时。甚至 OpenAI在发现无法可靠地兑现其承诺后也关闭了自己的人工智能检测工具。

人工智能生产内容的能力正在与人类产出的质量无限靠近甚至融合。人工智能和人类创造内容之间的区别日益模糊，需要立即做出反应。迫切需要建立可靠的系统来应对这一挑战。

澳鹏研究：用户行为如何揭示人工智能创建的文本

澳鹏数据科学家帕特尔和刘提出了一种不同的方法：在整个文本创建过程中评估用户行为，而不是仅仅关注文本输出本身。人类在文本生成过程中与工具交互的方式可能是区分人工智能和人类创作内容的关键。

在他们的研究中，澳鹏研究人员设计了涉及标注员管理的实验，要求他们在三种指定条件下用美式英语完成任务：人类（不允许任何形式的外部帮助）、搜索（允许使用谷歌等搜索引擎）和人工智能（允许使用生成式人工智能工具）。

然后，在这三种类型的任务中，所有这些任务都由整个标注团队执行，他们收集了行为数据，包括击键模式、鼠标移动和时间相关事件。为了支持该研究的有效性，标注团队被要求对他们的会议进行屏幕记录。

这项研究背后的想法很简单：与操纵人工智能生成文本的人相比，自己书写的人可能有不同的击键模式（例如按退格键的频率）。同样，使用搜索引擎可能涉及更多的复制粘贴，而人工智能的使用则涉及更少的打字，但更多的鼠标在应用程序窗口外移动。

他们的研究结果表明，这三种情况下的用户行为存在显着差异。在人工智能条件下操作时，众包工作人员表现出较少的按键和删除操作，暗示了使用复制粘贴功能的可能性。此外，他们经常将鼠标导航到应用程序窗口之外，这是因为需要访问屏幕另一部分的人工智能工具。为了提供更具体的视角，值得注意的是，与人工智能（0.374 比率）相比，不使用任何工具的人员具有更高的中值按键比例（0.918比率）。此外，与人类撰写相比，用人工智能编写的回复具有较低的中位数删除比例（0.028比率）和较高的鼠标移动离屏比例（0.238比率）。

另一方面，在搜索条件下操作时，与人工智能相比，众包工作者表现出更多的按键和删除操作，但不如在纯写作条件下操作时那么多。这种模式建议将手动打字和复制粘贴结合起来。

值得注意的是，数据表明人工智能和搜索条件下通常会产生结构化内容，例如列表或要点。相比之下，人类生成的文本更加流畅，并且更有可能包含拼写错误。

确定文本来源的未来

该研究的初步结果为人们提供了一个更可靠的人工智能文本检测系统的希望，表明当标注团队部署此类外部工具时，行为会发生明显的变化。

当我们为人工智能开发这一领域的持续探索铺平道路时，澳鹏团队的目标是扩大我们的数据收集工作，以涵盖更广泛的人群。这种扩大的范围对于巩固我们最初观察的有效性至关重要。除此之外，我们将分析由我们的标注团队创建的文本的特定属性，交叉引用内容本身的质量与他们用于创建内容的过程。

“了解人工智能探测器如何处理现实世界的数据对于下游消费者来说非常重要，”帕特尔解释道。“验证创建的数据确实来自人类，将防止在微调模型后出现从看不见的语言模型中泄漏出的不良行为。”

AI训练对可靠的标注团队的需求不断增长

需要训练的人工智能模型数量将会不断增加，最重要的是我们拥有可靠的众包团队及其独特的见解。随着生成式人工智能模型生成的内容变得越来越像人造数据，我们的重点应该在此过程的早期转移，以用户行为为目标。

招聘和行为监控

从一开始就为我们的人群招募顶尖人才至关重要。我们希望与热衷于开发人工智能来帮助解决实际问题的人们合作，并认真对待训练这些模型的任务，而不是寻找捷径。我们还明白，衡量标注员的行为至关重要，以确保他们保持在正轨上，并避免在人类反馈很重要的情况下使用人工智能工具。凭借我们研究的见解，我们可以确保了解客户数据的来源。

这些实践超出了为商业训练人工智能模型的标注团队的范围。作为一个社会，我们必须有一种方法来理解所有内容的来源，无论是谁或什么创造了它。我们不应该与我们的机器发生冲突：我们应该与它们合作，建设一个进步的未来。