OpenAI 的 Sora 凸显深度伪造日益加剧的威胁

Sora by OpenAI ranks first on App Store free app chart

(SeaPRwire) –   当 OpenAI 在 9 月发布其 AI 视频生成应用程序 Sora 时,它表示“您可以端到端地控制自己的肖像”。该应用程序允许用户通过一项名为“客串”的功能将自己和朋友包含在视频中——该应用程序会扫描用户的脸部并进行活体检测,提供数据以生成用户的视频并验证他们同意朋友在该应用程序上使用其肖像。

但专门识别深度伪造的 Reality Defender 公司表示,它在 24 小时内成功绕过了 Sora 的反冒充安全措施。Reality Defender 首席执行官 Ben Colman 表示,Sora 等平台给人一种“貌似合理的安全感”,尽管“任何人都可以使用现成的工具”冒充他人通过身份验证。

Reality Defender 的研究人员使用了公开可用的知名人士(包括首席执行官和艺人)的视频素材,这些素材来自财报电话会议和媒体采访。该公司成功地突破了他们试图冒充的每个肖像的安全措施。Colman 认为,“任何聪明的十年级学生”都能弄清楚他公司使用的工具。

OpenAI 的一位发言人在给 TIME 的电子邮件声明中表示,“研究人员构建了一个复杂的深度伪造系统,利用首席执行官和艺人的形象试图绕过这些保护措施,我们正在不断加强 Sora,使其更能抵御此类滥用。”

Sora 的发布及其认证机制的迅速规避,提醒我们社会尚未为下一波日益逼真、个性化的深度伪造做好准备。先进技术与滞后法规之间的鸿沟使个人独自应对不确定的信息环境——并保护自己免受可能的欺诈和骚扰。

Colman 说:“平台绝对知道这种情况正在发生,也绝对知道如果他们愿意,他们可以解决它。但除非法规跟上——我们在所有社交媒体平台上都看到了同样的情况——否则他们什么都不会做。”

据 OpenAI Sora 负责人 Bill Peebles 称,Sora 在不到五天内达到了 100 万次下载量——比当时的增长最快的消费者应用程序 ChatGPT 还要快——尽管它要求用户拥有邀请码。OpenAI 发布 Sora 之前,Meta 也推出了一款名为 Vibes 的类似产品,该产品已集成到 Meta AI 应用程序中。

令人信服的深度伪造日益普及,这让一些观察家感到震惊。美国中情局前数字创新副主任 Jennifer Ewbank 在给 TIME 的一封电子邮件中表示:“事实是,鉴于文本转图像、文本转视频和音频克隆能力的快速发展,肉眼识别[深度伪造]变得几乎不可能。”

自 2019 年以来,监管机构一直在努力解决深度伪造问题,当时特朗普总统签署了一项法律,要求国家情报总监调查外国政府使用深度伪造的情况。然而,随着深度伪造的可及性增加,立法焦点已转向国内。2025 年 5 月,《取下法案》(Take It Down Act) 被签署成为联邦法律,禁止在线发布未成年人和未经同意的成年人的“私密视觉描绘”,并要求平台在收到请求后 48 小时内删除违规内容——但该法案将于 2026 年 5 月才开始执行。

禁止深度伪造的立法可能充满争议。“这实际上在技术和法律上都非常复杂,因为存在关于删除某些言论的第一修正案担忧,”Future of Privacy Forum 美国政策副主任 Jameson Spivack 说。8 月,一名联邦法官驳回了加州一项旨在限制选举期间人工智能生成深度伪造内容的法律,此前 Elon Musk 的 X 公司以该法律违反第一修正案保护为由起诉了该州。因此,Spivack 表示,要求标记人工智能生成内容比彻底禁止更常见。

哈佛大学国防、新兴技术与战略项目研究员 Fred Heiding 表示,另一个有前景的方法是平台采用更好的“了解你的客户”(know-your-customer) 方案。了解你的客户方案要求 Sora 等平台的用户使用经过验证的身份登录,从而增加问责制并允许当局追查非法行为。但这里也有权衡。“问题是我们在西方非常重视匿名性,”Heiding 说。“这很好,但匿名是有代价的,代价是这些事情真的很难执行。”

尽管立法者正在努力应对深度伪造日益普遍和逼真的问题,但个人和组织可以采取措施保护自己。Spivack 建议使用由 Coalition for Content Provenance and Authenticity 开发的认证软件,该软件将有关出处的元数据附加到图像和视频中。来自 Leica 和 Nikon 的相机以及 Adobe Photoshop 都支持该水印。使用此类认证可以增加对真实图像的信任,并削弱虚假内容。

随着在线信息环境的变化,使我们更难相信在网上看到和听到的内容,立法者和个人都必须建立社会对虚假媒体的抵御能力。Ewbank 说:“我们越是培养这种韧性,就越难让任何人垄断我们的注意力并操纵我们的信任。”

本文由第三方内容提供商提供。SeaPRwire (https://www.seaprwire.com/)对此不作任何保证或陈述。

分类: 头条新闻,日常新闻

SeaPRwire为公司和机构提供全球新闻稿发布,覆盖超过6,500个媒体库、86,000名编辑和记者,以及350万以上终端桌面和手机App。SeaPRwire支持英、日、德、韩、法、俄、印尼、马来、越南、中文等多种语言新闻稿发布。