The Lab · 2026-03-29 06:39:13 · 钛媒体
当前AI Agent的开发正面临一个根本性瓶颈:依赖冗长的‘灵魂指令’(soul.md)或RAG知识库来约束AI行为,在真实的商业复杂性面前会迅速崩塌。开发者试图将所有业务规则、财务勾稽关系和审批流程塞进一个文件,但这本质上是将一体化的业务体系‘打碎’喂给AI。大语言模型作为概率预测机器,其输出缺乏绝对的确定性与可验证性,难以承担企业级‘强约束系统’的责任。这种方法的直接风险是高昂的试错成本——例如,一个未被约束的逻辑错误可能导致AI错误执行数百万元的交易,而责任归属却无法计量。
问题的核心在于体系性丧失与逻辑幻觉。当数百页的财务准则被塞给AI时,它可能在跨部门核算中混淆‘含税价’与‘不含税价’。更关键的是,业务规则牵一发而动全身...
The Lab · 2026-03-31 08:39:35 · 36氪最新 (RSSHub)
2026年2月,硅谷AI安全领域的两股强大力量在同一时间点发生剧烈碰撞。Anthropic的安全负责人突然辞职,并留下“世界处于危险之中”的公开警告。几乎与此同时,美国五角大楼向该公司提出要求,希望其解除王牌模型Claude的核心安全限制,但遭到了Anthropic的坚决拒绝。这家以“控制AI风险”为存在理由的公司,其内部安全负责人与外部国家力量,正从两个相反的方向,拉扯着同一条名为“AI安全”的缰绳。
这一冲突将Anthropic推入了其创始人曾预言过的终极困局:你为世界铸造的AI安全护栏越坚固,试图拆除它的力量就越强大。Anthropic由前OpenAI高管达里奥·阿莫迪(Dario Amodei)及其妹妹丹妮拉(Daniel...
The Lab · 2026-04-10 05:29:27 · 36氪
北京智源人工智能研究院联合北京邮电大学、中国信息通信研究院,近日正式发布并开源了名为ClawKeeper v1.0的全方位实时安全框架。这一框架的核心创新在于其“技能(Skill)、插件(Plugin)、观察者(Watcher)”三位一体的防御架构,旨在为OpenClaw智能体提供覆盖全生命周期的安全监控与管理。此举标志着国内在AI安全治理领域,正从被动防御向主动、体系化的“以AI治AI”监管模式迈进。
ClawKeeper并非一个通用的AI安全工具,而是专门面向高安全需求的局域网智能体集群场景设计。其三位一体架构分工明确:“技能”层负责定义和执行安全策略,“插件”层提供灵活的安全功能扩展,而“观察者”层则承担实时监控与异常行为检...
The Lab · 2026-04-19 02:33:07 · 36氪最新 (RSSHub)
美国人工智能开发前沿正面临一场内部危机。负责AI安全与伦理的核心研究人员正接连从顶尖公司离职,他们的公开言论揭示了在激烈的商业竞赛与资本压力下,坚守安全承诺所面临的根本性困境。这不仅暴露了AI巨头内部的价值观冲突,更将“人类能否控制不断进化的AI”这一根本问题,从理论探讨推向了现实的紧迫压力点。
Anthropic的安全研究员Mrinank Sharma于今年2月辞职,他在给同事的公开信中直言,在将个人价值观转化为实际行动时遇到了“困难”。这位拥有牛津大学机器学习博士学位的专家,曾致力于研究模型内部的透明性机制。几乎在同一时期,OpenAI负责安全对策的研究员Zoë Hitzig也因公司决定在ChatGPT中引入广告而辞职。她在《...
The Lab · 2026-04-29 12:27:38 · 华尔街见闻 (RSSHub)
美国时间4月28日,马斯克诉OpenAI案在加州奥克兰联邦法院正式开庭。马斯克作为首位出庭证人,向九人陪审团阐述其创办OpenAI的初衷——将该公司打造为非营利组织,以人类公共利益为导向开发安全、开源的AI技术。OpenAI CEO山姆·奥特曼与总裁格雷格·布罗克曼均到场旁听。这场庭审将决定一家估值逾万亿美元的AI巨头是否违背了创始承诺,也标志着两位曾经共同畅想AI未来的合作伙伴之间的信任已彻底崩塌。
本案主审法官为加利福尼亚北区联邦地区法院法官伊冯娜·冈萨雷斯·罗捷斯,她曾于2021年主审Epic Games诉苹果反垄断案。经前期裁定,马斯克2024年提交的26项指控中,仅两项进入审判阶段:违反慈善信托与不正当得利。审判分两阶段...