▲12月22日晚,不少网友反映,快手直播间出现大量色情内容,包括播放淫秽视频、主播低俗表演等。图/九拍新闻 12月22日晚,快手平台出现大量违规直播。该平台随后回应称,遭到黑灰产品攻击,并已报警。表面上看,这是一起突发的内容安全事件,但如果放在更大的技术和产业背景下,则是对随着技术的快速迭代,人工智能可以用来作恶的警示,对抗互联网平台安全的逻辑也面临重大变化。据媒体报道,黑灰生产突袭行动发生在夜间22:00左右。快手平台上,不少直播间在短视频中被恶意注入色情、低俗等内容有一段时间。高峰时期,约17000个被指控的“僵尸账户”同时上线,产生刷屏效果。涉事直播间观看人数接近十万,评论区充斥着仇恨言论。更为严重的是,现阶段部分用户的举报功能暂时失效,可见黑灰产品不仅发布了违法内容,还干扰了平台的处理渠道。一小时后,平台果然删除了违法内容,并冻结了所有涉案账户。此事件导致快手股价次日大幅波动。谨防“系统性风险” 回顾历史,随着互联网的发展,如此规模的恶意网络攻击并不多见。这次攻击背后的操纵者看起来攻击性很强,不仅仅是为了窃取收入,而更像是一次“示威行动”,具有明显的恶毒性质。时间这是中国首次在领先平台上发生人工智能驱动的、自动化的、短期突发的非法内容攻击。在这次攻击中,黑灰产品并不依赖分散的账户和人工操作。相反,他们使用自动化工具依次注册和控制帐户,以在极短的时间内完成内容的创建、发布和传播。它渗透了平台的标准安全和管理措施,并造成了重大负面影响。每一步都如魔鬼般高大。自从互联网出现以来,网络攻击就层出不穷,而攻击手段的改进也与网络技术的进步不谋而合。此次攻击的“自动化”特征非常明显:攻击者利用自动化工具批量注册,同时控制僵尸账户一起广播,实现非法内容秒级发布和传播。这种大规模的攻击完全超出人工分析的极限,短时间内造成安全漏洞。某网络安全公司对此评论称,这是网络行为者利用人工智能技术发起的有组织、有计划的攻击,标志着网络攻击进入了产业化的新阶段。目前尚不清楚攻击者使用了何种AI技术,但AI技术的使用本身就使得本次事件预警的重要性远远超出了网络安全的层面。 AI的崛起总是伴随着担忧和争议,但大多是在情感层面和宏观层面,比如担心AI未来将主宰人类、AI将取代人类的工作等等。在这次快手事件中,公众不太可能突然担心“AI已经有了自我意识”,而是会面临一系列更现实、更危险的新现象:AI帮助让事物低门槛、可复制、可扩展。之前其中,人们主要接触到利用人工智能“做坏事”带来的个人风险和道德风险,比如换脸、盗窃、假视频、假直播、算法歧视、侵犯隐私、知识产权等。这些问题虽然也很严重,但一般在短期内是可控的。但在快手事件中,当违法内容在人工智能技术的操控下如洪水般涌来时,公众感受到的不再是个别的技术问题,而是一种秩序被撕裂的失控感。目睹数千个包含非法内容的帐户充斥屏幕就像观看在线奇观。如果所有技术先进的互联网平台公司都被攻破,未来当互联网和人工智能成为社会基础设施时,更强大的攻击是否会引发相应的系统性风险?我们准备好了吗?遵循“AI对AI”的管理逻辑,这起事件警告我们必须立即开始应对人工智能技术可能成为新风险源的可能性。谁能在被滥用时真正踩刹车?过去,公众对平台公司有一种潜意识的信任。人们始终相信,平台可以通过技术手段和人力监督,及时消除潜在的危害。然而,快手事件中平台的“突破防线”却揭示了另一种可能。这进一步引发了人们的担忧,如果平台都应付不了,普通社交系统怎么办?无疑,此次事件的发生,各大平台都受到了极大的震动,普遍将面临安全运营领域从单一防御到系统化管理的新课题和挑战。但应对这些挑战的不仅仅是平台公司,而是整个社会。 AI是不可阻挡的科技趋势,此类事件的发生令人震惊不可避免的。当这种情况发生时,不会导致社会对人工智能的排斥,只会强化监管共识。过去,许多监管讨论都是抽象的,例如“人工智能向善”和“算法透明度”。未来将逐步走向实际落地,这实际上对监管机构提出了更高的要求。平台职责也将升级。随着AI全面进阶,平台还需要证明是否能够控制AI,是否具备自动防御能力,是否有极端场景演练,是否设置了熔断、降级、止损机制?同时,这一事件可以导致公众在所有人工审核中的浪漫想象彻底消失,“AI对AI”的管理逻辑将被接受。快手事件虽然严重,但天还没有到塌下来的地步。它更像是一个触发器,导致未来面临的一个现实风险是:如果坏党改变了未来的工业化、自动化、人工智能,执政党就够了吗?撰稿/辛海光(专栏作家)编辑/迟道华/李立军校对