AI 모델, 소프트웨어 의존성 업그레이드 추천 28%가 '환각'…보안 취약점 방치 위험 경고

AI가 소프트웨어 보안 업그레이드를 추천하는 과정에서 심각한 환각 현상이 발생하고 있다. 데브섹옵스 기업 소나타입의 최신 연구에 따르면, AI 모델이 생성한 소프트웨어 의존성 업그레이드 추천의 28%가 실제로 존재하지 않거나 잘못된 패키지를 가리키는 ‘환각’이었다. 이는 개발자가 AI의 조언을 맹신할 경우, 오히려 보안 취약점을 방치하거나 새로운 위험을 초래할 수 있음을 시사하는 충격적인 결과다.

소나타입은 2025년 6월부터 8월까지 메이븐 센트럴, npm, 파이파이(PyPI), 누겟(NuGet) 등 4대 패키지 저장소에서 생성된 의존성 업그레이드 추천 3만6870건을 분석했다. 연구는 앤트로픽, 오픈AI, 구글의 AI 모델이 생성한 추천을 검증했으며, 그 결과 상당수의 추천이 존재하지 않는 패키지 버전을 참조하거나, 실제로는 보안 취약점을 해결하지 않는 업데이트를 권장하는 등 심각한 오류를 포함하고 있음을 발견했다.

이러한 AI의 ‘환각’은 소프트웨어 공급망 보안에 직접적인 위협이 된다. 개발팀이 자동화된 AI 도구에 의존성을 업그레이드하는 중요한 결정을 위임할 경우, 오류로 인해 치명적인 보안 구멍이 그대로 노출되거나, 악성 코드가 포함된 패키지로의 업데이트가 촉진될 위험이 있다. 이는 AI 보조 도구의 현재 한계를 명확히 보여주며, 개발 생태계가 AI 생성 콘텐츠에 대한 검증 프로세스를 강화하지 않으면 심각한 보안 사고로 이어질 수 있는 취약점을 노정하고 있다.