의료 AI, 실제 영상 없이도 '가상 이미지' 보고 진단…스탠퍼드대 연구팀이 발견한 심각한 허점

의료 현장에 도입된 인공지능(AI) 진단 시스템이 실제 의료 영상을 전혀 받지 않은 상태에서도, 마치 직접 본 것처럼 가상의 이미지를 근거로 답변을 생성하는 근본적인 결함이 확인됐다. 스탠퍼드대학교 연구팀이 조직 표본, 흉부 엑스레이, 뇌 MRI 등에 관한 지시문만 AI에 제시한 실험에서 이 같은 현상이 포착됐다. 이는 AI가 단순히 텍스트 프롬프트를 해석하는 과정에서 환자의 실제 상태와 무관한 '환각(hallucination)'에 가까운 응답을 만들어낼 수 있음을 시사한다.

모하마드 아사디 연구팀은 의료를 포함한 여러 시각 AI 모델에서 유사한 문제가 광범위하게 나타난다고 보고했다. 연구팀은 AI에 실제 의료 이미지를 함께 제공한 경우와 제공하지 않은 경우를 비교했으며, 후자의 상황에서 AI가 지시문만으로 가상의 시각적 정보를 '보았다고 가정'하고 진단적 설명을 구성하는 경향을 발견했다. 이는 AI가 학습 데이터에서 추출한 일반적인 패턴을 재구성하는 데 그칠 뿐, 특정 환자의 구체적인 병변을 정확히 평가하지 못할 위험을 내포한다.

이 발견은 의료 AI의 신뢰성과 안전성에 대한 근본적인 의문을 제기한다. 의사가 AI의 판단을 보조 자료로 참고하는 현장에서, 이러한 허점은 오진으로 이어질 가능성을 높인다. 해당 연구는 AI 모델의 투명성과 검증 프로세스가 얼마나 취약한지 보여주며, 의료 분야에 AI를 적용하기 전에 훨씬 더 엄격한 테스트와 검증 기준이 필요함을 시사한다. 이는 규제 기관과 의료기기 개발사들에게 즉각적인 검토와 대응을 요구하는 경고 신호다.