은행 AI 챗봇서 XSS·간접 프롬프트 인젝션 발견…연구진 “패치 완료”

보안 연구업체 Positive Security의 연구자 원문에 따르면 한 기업은행용 AI 챗봇에서 교차 사이트 스크립팅(XSS)과 간접 프롬프트 인젝션을 결합해 이용자 세션을 탈취할 수 있는 취약점이 발견됐다. 연구진은 책임 있는 공개 절차를 거쳐 문제를 알렸고, 은행 측이 신속히 수정 사항을 배포했다고 밝혔다.

연구진이 공개한 개념증명은 챗봇이 고객 데이터에 접근하고 일부 작업을 수행할 수 있는 환경을 대상으로 한다. 공격자는 악성 내용을 담은 PDF를 올리거나 거래 적요에 페이로드를 넣을 수 있었고, 이용자가 챗봇에 거래 내역을 조회하도록 요청하는 과정에서 악성 코드가 실행될 수 있었다는 설명이다.

문제의 핵심은 AI가 참조한 데이터를 화면에 되돌려 주는 과정에서 HTML이 안전하게 처리되지 않은 점이다. 연구진은 이벤트 처리기가 포함된 이미지 태그가 챗봇 응답에 렌더링되는 방식을 이용해 외부 자바스크립트를 불러올 수 있었다고 설명했다. 이렇게 실행된 코드는 인증된 브라우저 세션의 API 요청을 수행해 계정 정보를 읽고 외부로 전송하는 데 악용될 수 있다.

PDF 속 흰색 글씨처럼 이용자가 알아보기 어려운 텍스트를 모델이 읽도록 하거나, 제3자가 보낸 송금의 거래 적요에 내용을 삽입하는 방식도 제시됐다. 특히 거래 적요는 피해자가 악성 프롬프트를 직접 입력하지 않아도 AI가 거래 정보를 읽는 과정에서 공격 흐름이 시작될 수 있다는 점에서 위험도가 높다고 연구진은 평가했다.

이번 사례는 생성형 AI 기능이 외부 문서와 거래 데이터처럼 신뢰 수준이 서로 다른 정보를 다룰 때, 모델의 지시 해석 문제와 기존 웹 보안 문제가 결합할 수 있음을 보여준다. AI 응답을 표시하는 경로에는 출력 인코딩과 콘텐츠 보안 정책을 적용하고, 모델이 참조한 비신뢰 데이터가 브라우저 실행 문맥으로 넘어가지 않도록 분리하는 점검이 필요하다.

연구진은 취약점이 이미 패치됐다고 밝혔지만, 대상 은행명과 영향을 받은 이용자·계좌 범위는 공개하지 않았다. 따라서 이번 글에서 설명한 영향은 연구진의 개념증명과 기술 분석에 한정되며, 은행의 별도 공식 공지는 확인되지 않았다.

출처: Positive Security https://positive.security/blog/banking-ai-xss