애플 인텔리전스 보안망 '뚫렸다'…프롬프트 인젝션으로 AI 필터 76% 우회 성공

애플의 온디바이스 AI 보안 제어 장치가 공격자의 명령을 강제 실행하도록 유도하는 프롬프트 인젝션 취약점에 뚫렸다. 보안 연구진은 애플이 모델의 내부 작동 방식을 비공개로 유지했음에도 불구하고, 입력과 출력 단계의 취약점을 결합해 시스템의 내부 제한을 우회하는 데 성공했다. 이 공격 기법은 특정 조건에서 약 76%의 성공률을 보였으며, 애플은 최근 iOS 18.4를 포함한 최신 운영체제 업데이트를 통해 이 문제에 대한 패치를 배포했다.

IT 매체 나인투파이브맥의 보도에 따르면, 이번 연구는 애플 인텔리전스의 '시스템 프롬프트'를 조작하는 방식으로 진행됐다. 연구진은 AI 모델이 사용자 요청을 처리할 때 적용하는 기본적인 안전 필터와 가이드라인을 공격자의 의도대로 재작성하도록 유도하는 프롬프트 인젝션 기술을 활용했다. 이를 통해 본래 허용되지 않아야 할 동작이나 응답을 생성하도록 AI를 속이는 것이 핵심이었다.

이번 발견은 기업이 자체적인 '블랙박스' AI 모델에 대한 보안을 과신할 때 발생할 수 있는 위험을 적나라하게 보여준다. 애플이 신속하게 패치를 배포했지만, 이 사례는 온디바이스 AI 시대에 프롬프트 계층의 보안이 새로운 전선이 되고 있음을 시사한다. 사용자 데이터의 프라이버시를 핵심으로 내세우는 애플의 AI 전략에 있어, 이러한 근본적인 소프트웨어 취약점은 지속적인 관리와 투명성에 대한 압력으로 이어질 수 있다.