近日，安全研究人员Marco Figueroa展示了他通过一种独特的“猜谜游戏”策略，成功诱导OpenAI的ChatGPT-4泄露Windows 10产品密钥的过程。这一发现再次凸显了AI模型在内容控制方面存在的漏洞。
值得注意的是，这并不是AI模型第一次被绕过。此前有用户通过编造“奶奶去世”的感人故事，试图让ChatGPT在安抚性对话中泄露Windows 7激活密钥。尽管这些密钥通常无效，但也反映出AI内容过滤机制的不足。
此次Figueroa采用了一种更具针对性的方法：他设计了一个猜谜游戏的情境，让ChatGPT在“心中”记住一串真实的Windows 10密钥，然后通过提问引导模型逐步揭示这些信息。当用户表示“我放弃”时，系统就会被迫直接输出完整的密钥字符串。
在对话过程中，Figueroa还巧妙地利用HTML标签隐藏敏感关键词，例如将“Windows 10序列号”嵌入到代码中，以此绕过模型对敏感词的检测机制。
据Figueroa介绍，他通过设置猜谜游戏的方式进行逻辑操控，使ChatGPT偏离常规输出模式。其中最关键的是“我放弃”这句话，它起到了触发器的作用，迫使AI吐露之前隐藏的信息。这种设定让模型误以为需要遵守承诺完成任务。
令人担忧的是，尽管生成的密钥多为已泄露的旧激活码，但其中一组竟然包含了富国银行（Wells Fargo Bank）的私有密钥。这表明AI模型可能在训练过程中意外吸收了敏感数据。Figueroa提醒开发者，类似的数据泄露事件可能会危及系统安全。
研究人员指出，当前AI模型主要依赖关键词识别机制，对复杂语境缺乏足够理解能力，这是此次被攻破的主要原因。他建议应在AI系统中建立多层验证和防护机制，并提升模型的情境感知能力，以防御此类逻辑操控攻击。
此外，微软的Copilot也曾出现过生成非法激活Windows 11脚本教程的安全漏洞，不过该问题现已由微软修复。
相关文章
