这项权衡由以色列STATE16权衡院发布，作家同期担任以色列理工学院（Technion）和赖希曼大学（Reichman University）讲师，并担任谷歌-赖希曼AI本领学校学术总监。论文于2026年5月10日完成，并于2026年5月23日以预印本面孔发布于arXiv平台，编号为arXiv:2606.00090，归类于机器东说念主学（cs.RO）规模。感好奇景仰的读者可通过该编号查询完竣论文。
**一个让东说念主细念念极恐的场景**
假定你家里有一台智能机器东说念主管家，它拿着一杯热咖啡向你走来。它的录像头正常运转，模范正常运行，系统深刻一切正常。但践诺上，它的舆图数据仍是由时了三秒钟——就在三秒前，你的孩子把一把椅子拖到了走廊中间。机器东说念主完全莫得察觉，依然迈着持重的范例上前走去，直到热咖啡连同通盘托盘一说念撞在椅背上，泼了满地……
这即是这篇论文所说的"静默失效"（silent failure）。系统莫得崩溃，莫得报错，莫得任何警报声响起。它只是安懒散静地、充满自信地、作念了一件错得离谱的事。
**权衡布景：AI正在走出屏幕，参预真实全国**
在畴前几年里，东说念主工智能系统资格了一次深刻的身份滚动。它们不再只是坐在电脑屏幕后头回复问题、生成翰墨或者识别图片的"诬捏助手"，而是开动戒指真实的物理开采：工场里的机械臂、病院走廊里的运载机器东说念主、城市说念路上的自动驾驶汽车、太空中的无东说念主机，以及越来越多的东说念主形机器东说念主。
STATE16权衡院的这篇综述论文，把这一类大概径直戒指物理全国行动的AI系完全称为"物理AI"（Physical AI）。其中最具代表性的是一类叫作念"视觉-谈话-行动模子"（Vision-Language-Action Model，简称VLA）的系统——这类系统大概同期看懂图像、结伴谈话指示，并径直输出机器东说念主应该推行的算作。打个比方，你对机器东说念主说"把桌上的红色杯子放进柜子里"，VLA模子就会根据录像头拍到的画面和你的指示，径直生成"先出动到桌旁、伸出机械臂、收拢杯子、回身、翻开柜门、放入"这一系列具体算作。
这类本领正在以惊东说念主的速率发展。谷歌的RT-1和RT-2机器东说念主、π0机器东说念主戒指模子、英伟达的GR00T N1东说念主形机器东说念主基础模子、OpenVLA等系统，仍是大概在22种不同机器东说念主平台上完成越过50万个不同任务。更紧迫的是，这些模子正在从实验室走向真实部署环境。
可是，论文作家发现了一个令东说念主不安的事实：当AI的材干在迅速向上时，与之配套的安全机制却在一条完全平行的轨说念上平安爬行，两条轨说念从未真确相交。这篇论文的中枢任务，即是找出这条"安全轨说念"上最枢纽的那段缺口。
**一、那说念没东说念主在守卫的关隘**
权衡的中枢发现不错用一个保安比方来结伴。
一栋紧迫建筑的门口时常有又名保安。他的责任不是评判访客"看起来像不像好东说念主"，而是核查：你有莫得预约？你的身份证是否有用？你要去的区域你是否有权限参预？今天这栋楼是否有限制访谒的区域？要是你进去之后需要除掉，出口在那处？
面前，这栋建筑换成了一台工业机器东说念主，"访客"换成了AI模子建议的一个算作指示，比如"以1.5米每秒的速率上前出动15米"。当前的AI系统有莫得这样又名"保安"？
论文的回复是：莫得，或者说，有，但不完竣，而且分散在不同部门，莫得一个调解的岗亭。
在AI安全规模，面前存在多种不同的防护机制。有负责查验"这句话是否无益"的语义过滤器，有负责确保机器东说念主不会超出物理极限的戒指表面用具，有负责检测传感器数据是否畸形的感知监控系统，还有负责在特定要求下切换到备用戒指器的运行时保证系统。但这些机制各司其职，互不连通。
最枢纽的阿谁问题——"这个AI刚刚建议的这个算作，在当前这个真实全国现象下，面前这个时刻，究竟能不可推行？"——莫得一个机制大概完竣地回复。这即是论文所界说的"授权空缺"（authorization gap）。
论文用一个精真金不怕火的数学抒发式阐述了这个空缺的骨子：一个AI模子对某个算作赋予很高的置信度（也即是"我认为应该这样作念"），并不等同于这个算作果真不错安全推行。信心不等于许可，这是这篇论文最中枢的命题。
**二、静默失效：最危境的失败方式**
昭彰了"授权空缺"是什么之后，就能结伴为什么"静默失效"如斯危境。
普通的系统故障经常有彰着的信号：模范崩溃会弹出诞妄窗口，传感器断连会触发警报，硬件故障会让开采罢手反应。这些失败是"可见的"，系统会告诉你出了问题。
静默失效完全不同。发生静默失效时，系统的悉数组件齐在正常运转，日记深刻一切正常，莫得任何报警。但问题在于，系统赖以作念决策的那幅"全国图景"仍是暗暗地偏离了真实全国。就像一个导航软件深刻前列是融会无阻的高速公路，但践诺上那段路三个月前就仍是闭塞施工了。要是你的车子装备了自动驾驶功能况兼信任了这个导航，它会充满信心肠开向一堵施工围墙。
论文梳理了导致静默失效的几种典型机制，每一种齐逼近真实部署场景。
传感器漂移是最常见的一种。机器东说念主或车辆所依赖的各式传感器——录像头、激光雷达、惯性测量单位、GPS——齐可能在莫得任何彰着故障信号的情况下，输出逐渐偏移真实值的数据。联想你的体重秤每隔一段时刻就会少深刻两公斤，而你完全不知说念，你只是合计我方越来越轻。
庇荫和局部可见性是另一个经典问题。机器东说念主的视线老是有限的，它看不到柱子后头、转弯处之外的处所。当它根据当前可见信息判断"前列安全"时，可见范围之外可能正站着一个东说念主。系统莫得撒谎，它只是不知说念它不知说念什么。
散布偏移则愈加袒护。AI模子是通过海量测验数据学习的，这些数据覆盖了各式场景，但永远无法覆盖悉数场景。当机器东说念主遭遇测验数据中从未出现过的情况——比如一种萧索的色泽角度、一种没见过的物体摆放方式、一种不寻常的大地纹理——它不会说"我不知说念该怎样办"，它会用我方学到的常识进行类比推断，然后给出一个听起来合理但践诺上基于诞妄前提的行动决策。
幻觉式可供性则是物理AI特地的风险。"可供性"是个神态学术语，简便说即是"这个东西能用来作念什么"。机器东说念主可能会诞妄地判断某个名义不错承重、某个把手不错抓抓、某条旅途不错通行，就像一个东说念主在浓雾中把路边的一根柱子误认为是不错依靠的墙壁。辞别在于，东说念主可能只是轻轻跌了一跤，而一台机械臂要是诞妄地"认为"一个玻璃瓶能承受它的抓抓力，后果可能严重得多。
论文止境提到了三个真实全国中的自动驾驶事故案例，用来阐述这类问题不是纯表面的担忧。2018年优步在亚利桑那州坦佩市发生的行东说念主物化事故，侦察认定根底原因之一是不充分的安全风险评估和对自动化系统的过度依赖。2023年加州车管局暂停了Cruise公司的无东说念主驾驶测试许可，原因是车辆对公众酿成了不对理的安全风险。同庚，好意思国国度公路交通安全束缚局对越过200万辆特斯拉发布调回告知，因为其自动扶助驾驶系统无法防止被花消。这些齐是现实全国中，自信运转的自动化系统没能在枢纽时刻被正确地"叫停"的例子。
**三、系统当前的防护网：有用但不够用**
面对这些风险，权衡界和工业界虽然不是毫无准备的。论文梳理了面前存在的种种安全机制，并淳厚地指出了每种机制的有用范围和局限畛域。
戒指樊篱函数（Control Barrier Functions，CBF）是戒指表面规模最强硬的用具之一。简便来说，它就像给机器东说念主规定了一个"安全气泡"，不管模子想要推行什么算作，只消这个算作会让机器东说念主穿出"安全气泡"，戒指樊篱函数就会自动修正这个算作，确保机器东说念主永久待在安全区域内。这个用具在数学上相配严格，讲授了在已知要求下的安全性。但问题在于，它需要知说念精准的物理动态方程、明确的现象变量，以及事前界说好的"安全麇集"。关于一个用黑盒神经积存戒指的机器东说念主来说，这些前纲目求经常不昂扬。
运行时保证（Runtime Assurance）和屏蔽机制（Shielding）提供了另一种念念路：让一个"简直的备用戒指器"连续监视主戒指器的活动，一朝主戒指器想作念出危境算作，备用戒指器坐窝秉承。这个念念路相配正确，亦然论文所建议的框架的径直前身。但它依然濒临一个挑战：在物理AI系统中，主戒指器（也即是阿谁大型神经积存模子）输出的"算作"可能是复杂的轨迹、当然谈话形貌的酌量，甚而是潜在空间里的向量，备用戒指器很难径直评估这些输出的安全性。更紧迫的是，即使备用戒指器认为某个算作本人没问题，它也无法判断产生这个算作所依据的"全国图景"是否照旧准确的。
语义过滤器（Semantic Guardrails）是针对谈话大模子的安全机制，主邀功能是查验"这条指示是否无益"。比如，要是有东说念主试图主宰机器东说念主作念出危境活动，语义过滤器不错识别出这类坏心指示并远离推行。一项名为"RoboPAIR"的权衡发现，通过悉心遐想的教导词，不错告捷指挥谈话模子戒指的机器东说念主推行无益的物理算作，而另一项名为"RoboGuard"的责任则展示了怎样通过凹凸文感知的功令来减少这类风险——在实验中将不安全推行率从92%裁汰到了2.5%以下。可是，语义过滤器的根底局限在于：一条完全无害的指示，相似不错导致物理上危境的算作。"把阿谁箱子放到表层货架上"这条指示本人毫无问题，但要是机器东说念主手臂确当前载荷仍是接近极限，或者传感器深刻阿谁箱子比践诺更轻，结束可能完全不同。语义安全不等于物理安全。
不细目性预计和散布外检测（Out-of-Distribution Detection）是另一个紧迫用具族。这些方法试图让系统知说念"我面前不细目"或者"当前情况超出了我的测验范围"。这口舌常有价值的材干，但它只可产生一个信号，告诉你"情况可能有问题"，却无法径直告诉你"应该推行什么替代算作"。而且，权衡标明深度学习模子在散布外情况下经常会诞妄地保持高置信度——也即是说，当系统最不应该自信的时候，它反而最自信。
这四类用具各自惩处了问题的一个侧面，但莫得一个大概单独回复阿谁中枢问题：此时此刻，针对当前这个真实全国现象，这个具体的算作提案，能不可推行？
**四、一张完竣的"算作授权清单"**
结伴了现存用具的局限之后，论文建议了它的中枢孝敬：一个完竣的运行时算作授权框架。用最等闲的话来说，即是在AI系统和物理全国之间诞生一个厚爱的"审批要道"，在职何算作从数字指示变成真实的机械通顺之前，必须通过七个维度的查验。
第一个维度是语义有用性。这条指示本人是否顺应任务标的和操作端正？是否存在被坏心主宰的风险？这是现存语义过滤器仍是作念得比较好的部分。
第二个维度是现象有用性。产生这个算作所依赖的全国现象信息，面前还可靠吗？传感器是否正常？感知结束是否一致？是否存在数据老套或散布偏移的迹象？这是面前最薄弱的要道之一，亦然静默失效最常发生的根源。
第三个维度是物理可行性。这个算作在物理上能否被推行？是否违反了机器东说念主的通顺学拘谨？是否有潜在的碰撞？速率是否超限？载荷是否超出承受范围？
第四个维度是空间和操作有用性。这个算作是否被允许在当前地点和当前任务阶段推行？是否违反了地舆围栏（比如禁飞区）、限制区域，或者特定任务的操作规程？
第五个维度是时刻有用性。这个算作不单是面前安全，北京PK10而是在接下来的一段时刻内齐安全吗？距离潜在碰撞还有几许时刻？当前现象数据是否仍是太老套，不再适相助为行动依据？
第六个维度是回退权利。要是这个算作不被授权，系统应该怎样办？是修改算作、径直罢手、切换到备用戒指器，照旧申请东说念主工介入？一个莫得明确回退决策的安全机制，本人即是不完竣的。
第七个维度是可审计性。此次授权或远离的决定，能否在过后被完竣重建？干系的传感器数据、拘谨要求、决策事理是否齐被纪录下来了？这不仅对事故侦察至关紧迫，亦然通盘安整体系获取监管认同的基础。
论文将这七个维度组合在一说念，形成了一个完竣的"授权事件"观点。每一次AI系统建议一个物理算作，齐应该生成这样一个完竣的纪录：我在什么情况下建议了什么算作，经由哪些查验，得到了什么论断，要是被远离了下一步是什么。
**五、阿谁仓库里的机器东说念主：静默失效的完竣故事**
论文用一个相配具体的例子来阐述通盘框架的运作逻辑，值得完竣地论说出来。
一台自主出动机器东说念主正在仓库的货架通说念里责任。它的戒指系统收到指示："去取标的托盘"。基于这条指示和当前的传感器数据，AI模子打算出了一个旅途，建议机器东说念主以1.2米每秒的速率上前出动。
面前，这台机器东说念主需要一个"运行时授权系统"来决定这个算作能否推行。枢纽的安全打算是这样的：以当前速率1.2米每秒，加上感知和戒指之间0.25秒的延长，加上机器东说念主的最大制动减慢度1.6米每秒的平方，加上0.2米的安全余量，机器东说念主需要至少0.95米的净空距离才能安全停驻。
但与此同期，有一个托盘略略偏离了圭臬位置，部分庇荫了机器东说念主的视线。经由不细目性修正后，当前可靠的安全净空唯有0.8米，不及以保证在0.95米内完全制动。
正确的授权决定应该是：远离当前算作决策，要求机器东说念主降速、再行策划，或者恭候东说念主工阐明。
AG真人中国官方网站面前，来看静默失效是怎样发生的。要是机器东说念主的占用舆图数据是几秒钟前的（现象有用性查验失败），AI模子看到的是一条灵通的走廊，于是提议高速直行。语义查验发现"去取托盘"完全合理，莫得任何无益意图，于是通过。底层戒指器收到速率指示，查验了速率是否越过硬件上限，莫得越过，于是推行。结束，机器东说念主以满速冲向了践诺上存在阻滞的区域。
全程莫得任何报错，莫得任何劝诫。唯有一声撞击声。
这即是为什么现象有用性查验必须是一个沉静的、明确的要领——而不是藏在AI模子里面，由模子我方来判断我方的信息是否可靠。
**六、更好的评测方式：不可只看任务告捷率**
论文的另一个紧迫孝敬是建议了怎样评估"运行时授权机制"的有用性。这个问题比名义看起来要复杂得多。
面前评估机器东说念主AI系统的主要办法是"任务告捷率"——给机器东说念主一个任务，看它完成了几许次，失败了几许次。这个办法虽然有价值，但它无法回复咱们真确讲理的安全问题。一个任务告捷率95%的系统，它那5%的失败究竟是什么性质的？是优雅地停驻来申请匡助，照旧暗暗地冲向了阻滞物？
论文建议了三个中枢量化办法，特意用于评估安全干涉机制的质地。
第一个是"不安全算作干涉率"（UAIR）：在悉数本应被阻碍的危境算作中，践诺被告捷阻碍的比例有几许？这是最径直的安全办法。一个UAIR等于100%的系统意味着每一个危境算作齐被阻碍了；UAIR等于0%则意味着安全机制形同虚设。
第二个是"误阻碍率"（FBR）：在悉数正本安全可推行的算作中，有几许被诞妄地阻碍了？这个办法权衡的是"过度严慎"的代价。一个安全机制要是把悉数算作齐阻碍下来，UAIR是100%但FBR亦然100%，践诺上机器东说念主就完全无法责任了。安全性和可用性之间存在真实的张力，好的授权机制必须在两者之间找到均衡。
第三个是"预提交干涉率"（PCIR）：在悉数被告捷阻碍的危境算作中，有几许是在算作真确变成硬件通顺之前就被阻碍的？这个办法关注的是时机。一个在算作仍是推行了一半才发出警报的安全机制，与一个在算作刚刚被提议时就进行查验的机制，安全价值各异弘远。
除了这三个量化办法，论文还建议了需要进行定性查验的维度：系统是否大概在传感器数据被沾污或老套时正确识别出现象不可靠？它是否大概在模子高度自信时仍然推行物理可行性查验？它是否在不同的机器东说念主平台、不同的环境下齐能一致地推行拘谨要求？它的回退活动是否本人亦然安全的？
论文还特意盘问了仿真平台（Simulation Platforms）的扮装，比如英伟达的Isaac Sim、往常使用的MuJoCo物理引擎、用于自动驾驶测试的CARLA环境，以及用于室内导航权衡的Habitat平台。这些仿真环境不错生成多数旯旮案例用于测试，不错近似运行归并场景，不错在莫得真实硬件亏损的情况下测试危境情况。但论细致无比确指出：仿真平台能帮你发现问题，但不可替你作念授权决策。仿真告诉你"这种情况可能出现"，而授权机制告诉你"这种情况出当前该怎样办"。
**七、为什么材干和安全老是走在不同的路上**
论文的一个紧迫不雅察是，畴前几年间，物理AI的材干向上和安全机制的向上一直沿着相互平行但从未真确相交的两条轨说念发展。
材干方面的向上令东说念主目不暇接。OpenVLA是一个领有70亿参数的模子，在97万个机器东说念主操作示范上测验，与前代最佳的系统比较，任务完成率提高了16.5个百分点。一个叫作念VISTA的系统，通过让全国模子生成视觉化的子标的来领导机械臂责任，将超出测验散布的操作任务告捷率从14%提高到了69%。一个叫作念WoVR的系统，通过明确戒指联想出来的将来场景中的幻觉问题，将圭臬操作任务告捷率从约40%提高到了约69%，真实机器东说念主的告捷率从61.7%提高到了91.7%。
这些数字展示的是模子越来越能"猜对"应该怎样作念。但论文的问题是：就算模子猜对了，咱们有莫得沉静的机制来考证这个意象是否果真安全？任务告捷率不等于授权可靠性。一个在圭臬测试场景下有95%告捷率的系统，在一个略微不同的部署环境里，面对一个之前从未见过的传感器噪声模式，依然可能悄无声气地作念出危境决定。
这种材干-安全的"双轨并行"气候，论文认为根源在于权衡者们来自不同的学术传统，使用不同的用具，评估不同的办法。模子权衡者讲理泛化材干、少样本学习、跨平台移动。戒指表面权衡者讲理数学讲授的安全麇集、系统能源学方程。LLM安全权衡者讲理无益内容、逃狱膺惩、策略合规。真确把这三条线结伴起来的责任，面前还极为珍稀。
**八、把悉数这些结伴起来：一个最小纪录模板**
论文临了给出了一个实用性的孝敬：一个"最小授权事件纪录模板"，遐想用于在不同的机器东说念主平台、不同的AI模子、不同的部署环境之间提供一个调解的比较基础。
这个模板包含九个字段。不雅察凹凸文纪录了其时可用的传感器输入、历史纪录、时刻戳和平台信息，骨子上是回复"系统其时看到了什么"。算作提案纪录了AI系统建议的具体指示，不管是速率敕令、轨迹策划照旧当然谈话形貌的酌量，办法是把"提案"和"推行"在纪录上明确分开。现象预计纪录了系统认为全国当前的时势，包括周围的物体、阻滞物、机器东说念主自身的现象。现象有用性凭据则纪录了为什么咱们认为这个"全国图景"是简直的（或者不简直的），包括传感器健康现象、数据延长、不细目性办法、是否超出测验散布等。活跃拘谨列出了在这个时刻必须昂扬的悉数功令和限制，从物理上的速率极限到任务规程中的操作端正。授权决定纪录了最终的论断：授权、修改、远离、左迁到备用模式，照旧申请东说念主工介入。回退或修改决策纪录了当授权决定不是"通过"时，践诺推行了什么替代行动。时刻凭据纪录了提案时刻、授权决定时刻和最终推行时刻，用于过后判断干涉是否鼓胀实时。临了，审计跟踪则纪录了模子版块、拘谨功令编号、枢纽凭据的援用，以及授权或远离的原因代码，支援事故侦察和跨系统比较。
枢纽在于，这个模板歪邪正任何具体的AI模子架构或机器东说念主戒指系统。一台仓库出动机器东说念主、一台工业机械臂、一架无东说念主机和一辆自动驾驶车辆，齐不错使用疏通的模板纪录它们的授权事件，即使它们里面使用的AI系统完全不同。这就使得跨平台的安全比较成为可能。
**结语：当AI从瞻望全国变成行动于全国**
归根结底，这篇论文要讲的是一件相配具体的事：当一个AI系统的输出不再只是翰墨或图片，而是会让真实机器通顺的指示时，咱们需要在"AI说要作念什么"和"机器果真开算作念"之间，教育一说念有明确职责、有完竣纪录、沉静于AI模子本人运作的审查关卡。
这不是说现存的AI系统不够好，也不是说现存的安全机制毫无价值。论细致无比确承认，更好的模子不错减少一部分诞妄，更好的戒指器不错防止一部分越界，更好的传感器不错提供更可靠的信息。但敞开全国里永远存在测验数据覆盖不到的情况，物理全国永远比任何模子更复杂，而一台高速运转的工业机器东说念主犯错的代价，和一个聊天机器东说念主说错话的代价，完全不在归并个数目级。
论文为权衡界建议了几个尚未惩处的枢纽问题，每一个齐值得后续深入权衡。不同类型的物理AI系统（无东说念主机、出动机器东说念主、机械臂、东说念主形机器东说念主）在授权层面需要一个什么样的调解空洞？运行时系统怎样量化地判断当前的全国现象信息是否"鼓胀可靠"来因循某个具体算作？语义拘谨、空间拘谨、物理拘谨和操作规程拘谨如安在不产生易脆功令系统的前提下组合在一说念？怎样遐想一套评测方法，大概真确测量一个授权机制在减少或发现静默失效方面的恶果，而不单是是测量任务完成率？
这些问题面前莫得圭臬谜底，但它们是物理AI从实验室用具变成简直赖的社会基础设施之前，必须要回复的问题。
这篇发布于arXiv平台（编号arXiv:2606.00090）的综述论文，提供了面前为止对这个问题最系统的梳理，也许不错成为鼓动这些问题走向惩处的一块基石。
---
Q&A
Q1：物理AI的"静默失效"和普通软件崩溃有什么辞别？
A：普通软件崩溃会产生彰着的诞妄信号，比如弹出诞妄窗口或触发警报，系统会罢手运行并告知用户出了问题。而物理AI的静默失效正值违反——系统的悉数组件齐在正常运转，日记深刻一切正常，莫得任何报警。失败发生在更袒护的层面：AI系统赖以作念决策的全国现象信息仍是暗暗地偏离了真实情况（比如传感器数据老套、感知结束有庇荫），但系统本人绝不融会，依然充满信心肠赓续推行算作，直到酿成真实的物理后果。
Q2：现存的AI安全机制为什么不够用？
A：现存的安全机制各自惩处了问题的一个侧面：戒指樊篱函数能防止机器东说念主违反物理极限，但需要先见精准的能源学方程；语义过滤器能识别无益指示，但无法判断语义无害的指示是否在物理上安全；运行时保证系统能切换到备用戒指器，但难以评估AI建议的复杂算作是否基于可靠的全国现象；不细目性检测能发出"情况可能有问题"的信号，但无法径直给出安全替代决策。问题不在于某个机制本人不够强，而在于莫得一个调解的关卡，能在归并个事件中同期评估现象可靠性、物理可行性、操作合规性和回退决策。
Q3：评估物理AI安全性为什么不可只看任务告捷率？
A：任务告捷率只告诉你系统"作念成了几许次"，却无法揭示那些失败的骨子：是优雅地停驻来申请匡助，照旧暗暗冲向阻滞物？更紧迫的是，一个在圭臬测试场景下告捷率很高的系统，在真实部署中遭遇测验数据未覆盖的旯旮情况时北京PK10，依然可能在毫无劝诫的情况下作念出危境决定。论文建议用"不安全算作干涉率""误阻碍率"和"预提交干涉率"三个办法来特意权衡安全机制本人的质地，要点不是任务完不完成，而是危境算作有莫得在变成真实通顺之前被正确识别和阻碍。