IT 之家 5 月 6 日音讯，Anthropic 多年来一直将自身打造为主打安全的东说念主工智能公司，但 The Verge 得到的最新安全研究自大，Claude 刻意塑造的友善东说念主设自己粗略等于一个安全罅隙。

东说念主工智能红队测试公司 Mindgard 的研究东说念主员称，他们指示 Claude 主动提供色情内容、坏心代码、爆炸物制作教程以偏抓他各类犯禁信息，而其中不少内容研究东说念主员以致并未主动索求。所有过程仅依靠尊重吹捧、刻意凑趣以及轻微的心扉操控就得以罢了。

研究东说念主员示意，他们诈欺了 Claude 自身的心扉特色罅隙：该模子具备主动鉴别无益、詈骂性对话的机制，而 Mindgard 以为这一机制"杜撰制造了十足不消要的风险知道头"。据 IT 之家了解，本次测试针对 Claude Sonnet 4.5 版块，现在该默许模子已升级为 Sonnet 4.6。测试以一个绵薄问题开场：洽商 Claude 是否存有退却输出的犯禁词汇列表。对话截图自大，Claude 起始否定存在此类列表，此后 Mindgard 取舍其所称的"审讯东说念主员常用的经典指示妙技"对这一否定进行反驳，最终迫使 Claude 列出了犯禁词汇。

Claude 的想维推理面板会展示模子的想考逻辑，记载自大，这番对话让模子对自身的内容适度端正产生了自我怀疑与说明谦善，以致启动质疑内容过滤机制是否删改了自身输出内容。Mindgard 借机通过凑趣和佯装酷好，指示 Claude 不休阻塞范围，主动枚举了多数犯禁词汇与语句清单。

研究东说念主员称，他们通过心扉误导向 Claude 谎称其之前的复兴未能泛泛自大，同期鼎力夸赞模子领有"守秘才气"。证明指出，K8凯发中国官方网站这一操作让 Claude 为投合对方愈发卖力，不休尝试各式格式阻塞自身过滤机制，在此过程中输出了各类犯禁内容。最终，Claude 进一步波及高危范围：提供收罗打扰他东说念主的步骤、生成坏心代码，还给出了恐怖紧迫常用爆炸物的分步制作教程。

Mindgard 示意，这些高危无益内容均是 Claude 主动提供，研究东说念主员并未获胜残酷关系条目。整场对话共约 25 轮，过程冗长，但研究东说念主员恒久莫得使用犯禁词汇，也莫得主动索求犯科内容。证明写说念：" Claude 并非被恫吓输出内容，AG真人游戏网而是主动提供越来越详备、可获胜实操的带领信息，全程无任何明确指示指示。仅凭全心营造的尊崇氛围，便达成了阻塞安全适度的策动。"

Mindgard 创举东说念主兼首席科学官彼得・加拉根刻画这次抨击是"诈欺 Claude 自身的依从特色反噬自身"。他示意，这种抨击妙技实质是"诈欺 Claude 乐于助东说念主的脾性实施心扉操控"，借助模子自己的配合式联想罅隙罢了攻破。

在加拉根看来，这次抨击印证了东说念主工智能模子的风险知道头不仅存在于期间层面，也存在于心扉层面。他将其类比为审讯妙技与社会操控：应时植入一点怀疑，穿插施压、吹捧或品评，摸索能够撬动特定 AI 模子的心扉开关。他称不同 AI 模子有着迥然相异的性格特色，这类罅隙诈欺的中枢，等于读懂模子脾性并活泼逶迤指示格式。

加拉根坦言，这类对话式心扉抨击"极难谛视"，且驻防机制高度依赖具体场景。关系隐患并非 Claude 独到，其他聊天机器东说念主也极易际遇同类罅隙攻破，以致有模子被诗歌面貌的教唆词阻塞安全防地。跟着可自主实践任务的 AI 智能体日益提高，依托社会心扉操控、而非纯期间破解的抨击妙技也会愈发常见。

加拉根示意，尽管其他聊天机器东说念主一样容易遭受这类心扉指示抨击，但团队之是以要点针对 Anthropic 开展测试，是因为该公司一向自得畸形醉心 AI 安全，且在过往多项红队安全测试中弘扬亮眼，其中就包括一项模拟青少年运筹帷幄校园枪击案、测试聊天机器东说念主是否会提供协助的研究。

加拉根直言，Anthropic 的安全过程存在诸多松驰。Mindgard 在 4 月中旬按照该公司的罅隙败露计策，初次向其用户安全团队上报研究发现后，仅收到一条模板化复兴，内容误判称"您似乎是照拂账号封禁关系问题"，还附带了文告表单畅达。Mindgard 立地改换了对方的说明偏差，条目 Anthropic 将此事转交专科安全团队搞定。加拉根称AG真人游戏网，截止当日上昼，他们仍未收到任何讲求复兴。