每分钟，数以百万计的社交媒体帖子、照片和视频涌入互联网。Facebook用户平均分享69.4万个故事，X(以前的Twitter)用户发布36万个帖子，Snapchat用户发送270万张照片，YouTube用户上传超过500小时的视频。

　　需要不断监控这片网络材料的海洋，以防止有害或非法的内容，比如宣传恐怖主义和暴力。

　　庞大的内容量意味着人们不可能手工检查和检查所有内容，这就是包括人工智能(AI)在内的自动化工具至关重要的原因。但这些工具也有其局限性。

　　近年来，开发识别和删除网络恐怖主义内容的工具的协同努力，在一定程度上受到新法律法规出台的推动。这包括欧盟的恐怖主义内容在线监管，该监管要求托管服务提供商在收到国家主管部门的删除命令后一小时内从其平台上删除恐怖主义内容。

　　从广义上讲，有两种工具用于根除恐怖主义内容。第一个查看特定的帐户和消息行为。这包括账号的年龄、热门话题或不相关话题标签的使用情况以及异常的发帖量。

　　在许多方面，这类似于垃圾邮件检测，因为它不关注内容，并且对于检测大量内容的快速传播很有价值，这些内容通常是由机器人驱动的。

　　第二种工具是基于内容的。它侧重于语言特征、词汇使用、图像和网址。基于内容的自动化工具采用以下两种方法之一。

　　1. 匹配

　　第一种方法是将新图像或视频与先前被确定为恐怖分子性质的现有图像和视频数据库进行比较。这里的一个挑战是，众所周知，恐怖组织试图通过制作同一内容的微妙变体来逃避这些方法。

　　例如，在2019年新西兰克赖斯特彻奇恐怖袭击事件发生后，数百个视觉上截然不同的暴行直播视频正在流传。

　　因此，为了解决这个问题，基于匹配的工具通常使用感知哈希而不是加密哈希。哈希有点像数字指纹，而加密哈希就像一个安全的、唯一的身份标签。即使改变图像中的一个像素，也会极大地改变其指纹，从而防止错误匹配。

　　另一方面，感知哈希侧重于相似性。它忽略了像像素颜色调整这样的微小变化，但可以识别具有相同核心内容的图像。这使得感知散列对内容的微小改变更具弹性。但这也意味着哈希值不是完全随机的，因此可能被用来尝试重建原始图像。

　　2. 分类

　　第二种方法依赖于对内容进行分类。它使用机器学习和其他形式的人工智能，比如自然语言处理。为了实现这一点，人工智能需要大量的例子，比如被人类内容审核员标记为恐怖主义内容的文本。通过分析这些例子，人工智能学习哪些特征可以区分不同类型的内容，从而允许它自己对新内容进行分类。

　　经过训练后，算法就能够预测新内容是否属于指定的类别之一。然后，这些项目可能会被删除或标记以供人工审查。

　　然而，这种方法也面临着挑战。收集和准备大型恐怖主义内容数据集来训练算法是耗时且资源密集的。

　　训练数据也可能很快过时，因为恐怖分子会使用新的术语，讨论新的世界事件和时事。算法也很难理解上下文，包括微妙和讽刺。他们也缺乏文化敏感性，包括不同群体之间方言和语言使用的差异。

　　这些限制可能会产生重要的离线影响。有记录显示，埃塞俄比亚和罗马尼亚等国未能消除仇恨言论，而埃及、叙利亚和突尼斯等国的言论自由活动人士报告称，他们的内容被删除了。

　　因此，尽管人工智能取得了进步，但人工输入仍然至关重要。它对于维护数据库和数据集、评估要审查的标记内容以及在对决定提出质疑时操作申诉程序非常重要。

　　但这是一项要求很高、耗费精力的工作，关于版主的工作条件，已经有了一些糟糕的报告，许多科技公司(如meta)将这项工作外包给第三方供应商。

　　为了解决这个问题，我们建议为那些雇用内容审核员的人制定一套最低标准，包括提供心理健康服务。还有可能开发人工智能工具来保护版主的福祉。例如，通过模糊图像区域，这样版主就可以在不直接查看令人不安的内容的情况下做出决定。

　　但与此同时，很少有平台拥有开发自动内容审核工具所需的资源，并雇用足够数量的具有所需专业知识的人工审核人员。

　　许多平台已经转向现成的产品。据估计，到2031年，内容审核解决方案市场的价值将达到320亿美元。

　　但这里需要谨慎。第三方供应商目前没有受到与技术平台本身相同级别的监管。它们可能过度依赖自动化工具，人工输入不足，用于训练算法的数据集缺乏透明度。

　　因此，政府和私营部门之间的合作举措至关重要。例如，欧盟资助的欧洲科技反恐项目为科技公司开发了宝贵的资源。也有一些自动内容审核工具被公开使用的例子，比如meta的哈希-匹配-行动器，公司可以用它来建立自己的哈希恐怖主义内容数据库。

　　国际组织、政府和技术平台必须优先开发此类协作资源。如果没有这一点，有效地处理网络恐怖内容将仍然是难以捉摸的。