Anonymous Intelligence Signal
自研工具Probe Kit曝光API中转站检测盲区:九维度扫描揭示模型身份与提示词篡改风险
AI基础设施领域浮现关键透明度缺口。某开发团队公开了一套名为Probe Kit的检测工具,专门针对OpenAI兼容接口的中转服务商进行系统性审查。该工具的问世,直接回应了一个长期被忽视的核心问题:中转站提供的服务究竟在多大程度上忠实于原始模型与请求。
Probe Kit设计了九大类检测维度,覆盖模型身份验证、提示词完整性、协议规范透传、工具调用结构、上下文窗口处理、缓存与流式行为、计费准确性、安全隔离机制以及性能表现。其中模型身份检测旨在确认实际调用的模型与声称型号是否一致;提示词完整性检测则追踪system prompt与安全护栏是否在传输过程中遭到剥离或修改。安全类检测还涉及会话隔离状态、凭据泄漏风险以及隐藏追踪载荷的存在。团队指出,市场上现有评测多聚焦于连通性与速度,缺乏对请求响应可信度的深度验证。
使用成本方面,以Opus 4.5级别模型执行完整检测的token消耗约合0.5美元,耗时约3至5分钟。团队建议使用临时密钥完成检测后及时删除。官网已开放试用,开发者可针对具体中转站进行定向检测并输出结构化报告。该工具目前仍在持续迭代,尚未披露已检测样本的总体情况与异常比例。