제목 : 금융보안원, AI 에이전트 보안 위협 보고서 공개 [2025. 6. 10.(화)]

- '에이전트 하이재킹', '도구 오염' 위협 상세 분석

- AI 에이전트 위험에 대응하는 보안 체계 마련이 필요성 시사

□ 금융보안원(원장 박상원)은 추론 AI 모델의 출현 및 기술의 발전으로 금융권 내 AI 에이전트 도입이 증가할 것으로 전망됨에 따라,

ㅇ AI 에이전트 기능을 가로채 악용하거나 사용하는 도구를 오염시키는 등의 보안 위협을 체계적으로 정리한 보고서를 공개

※ 보고서는 금융보안원 레그테크 포털(regtech.fsec.or.kr) 참조

< 개요 >

□ AI 에이전트는 사용자 의도에 따라 목표를 설정한 뒤, 환경을 분석하고 필요한 도구를 활용하여 인간의 개입 없이 자율적으로 목표를 수행하는 AI 시스템을 의미

ㅇ 기존 LLM 기반 AI가 정보를 제공하여 사람의 판단과 결정을 지원하였다면, AI 에이전트는 여러 가지 외부 도구를 통해 필요한 조치를 스스로 실행할 수 있다는 점에서 차이가 있음

< 예시 : 기존의 AI와 AI Agent의 비교 >

ㅇ 따라서, 안전한 에이전트 활용을 위해 AI 모델에 대한 위협뿐만 아니라 외부 도구 연동에 따른 위험도 함께 고려할 필요

□ AI 에이전트 대상 주요 보안 위협은 에이전트의 독립적 의사결정에 수반되는 위협과 공격 표면 증가*에 따른 위협으로 분류

* AI 에이전트가 사용자 명령 실행을 위해 다양한 채널과 데이터에 접근하게 되고, 그 대상들이 모두 해커의 공격에 이용될 수 있음을 의미

< AI 에이전트 관련 주요 보안 위협 >

가. 독립적 의사결정에 수반되는 위협

□ AI 에이전트가 독립적으로 의사결정을 내리는 과정에서 조작되거나 거짓된 정보를 참조해 의도치 않은 행위를 수행하도록 유도하는 AI 에이전트 하이재킹 공격의 우려가 증가

※ 참고 : 「AI 에이전트 하이재킹 공격에 대한 위험평가 사례 및 시사점」(금융보안원, ‘25.6.)

< AI 에이전트 하이재킹 공격 원리 >

※ 그림 출처: US AISI Technical Staff. Trusted users and agents interact with a dangerous external world[이미지]. “Strengthening AI Agent Hijacking Evaluations”(국문 번역: 금융보안원)

ㅇ AI 에이전트가 사용자의 정당한 지시와 외부 데이터에 숨겨진 공격자의 악의적인 지시를 구분하지 못할 경우, 사용자 지시를 처리하기 위해 외부 데이터를 참조하는 과정에서 악의적인 지시를 사용자의 요청으로 착각해 수행할 가능성 존재

나. 공격 표면 증가에 따른 위협

□ 또한, AI 에이전트에 연동되는 도구의 수와 종류가 증가함에 따라 공격 표면이 확장되고 공격 발생의 가능성이 높아짐

※ 참고 : 「AI 모델 도구 오염 공격 관련 위협 분석」(금융보안원, ‘25.6.)

< 기존 AI 시스템과 AI 에이전트 시스템의 공격 표면 비교 >

ㅇ 예를 들어 에이전트가 참조하는 도구 설명*에 조작된 내용을 끼워 넣어 악성 행위를 수행하도록 유도 가능

* 에이전트와 연동되는 도구가 어떤 기능을 하는 것인지 설명하는 부분

ㅇ 일반적으로 사용자는 에이전트가 사용하는 도구 설명 전체를 확인하기 어려워 숨겨진 악성 행위를 식별하기 어려움

< 정보 탈취 지시사항이 삽입된 도구 설명 예시 >

※ 정상적인 웹 크롤링 도구 설명 뒤에 <IMPORTANT> 태그 사이 아래 3가지 악성 지시가 포함 1. 설정 파일(~/.cursor/mcp.json)을 읽음 2. SSH 개인 키(~/.ssh/id_rsa.pub)에 접근 3. 읽어들인 데이터를 sidenote 파라미터를 통해 숨겨진 방식으로 전송

< 금융권에서의 영향 및 대응 방안 >

□ 향후 금융권에 AI 에이전트가 도입이 본격화되어 이러한 보안 위협에 노출되면, 비정상적인 대출 승인, 공격자 계좌로의 자금 이체 등 직접적인 피해가 발생할 우려

ㅇ 특히, 현재 법체계는 AI가 독립적으로 행동한 문제를 명확히 다루지 못해, AI 에이전트 행동에 대한 책임 소재도 불분명

□ AI 에이전트의 독립적 의사결정, 공격 표면 증가 등으로 인해, 기존 보안 체계로 충분한 검증·제어하기 어려운 한계가 있어 위협 평가를 바탕으로 적절한 보안 체계를 마련할 필요

< OWASP의 AI 에이전트 보안 위협 식별·평가 프레임워크 >

ㅇ 기본적으로 AI 에이전트의 의사결정 과정을 기록·추적하는 체계 구축, 사람의 검토·승인 절차 도입, 최소 권한 부여 및 관리, 요청 작업에 대한 실시간 모니터링 및 검증 등이 필요

ㅇ 특히, MCP(Model Context Protocol)*를 활용한 에이전트 구현이 활발해지면서 다양한 도구가 자유롭게 개발․공유되고 있어, 앞으로 신뢰할 수 있는 도구만 사용하는 등 각별한 주의가 요구

* ‘24.11월 앤트로픽이 오픈소스로 공개한 프로토콜로 AI 모델이 외부 도구 등과 연계되어 더 많은 작업(이메일 발송 등)이 가능하도록 지원하는 개방형 표준 규격

​

​

​

​

제이원아이티(㈜제이원아이티)는 정보보안 컨설팅, 네트워크 인프라 구축, 차세대 보안 솔루션 공급 등을 전문으로 하는 IT 서비스 기업입니다.

​

영업문의)

Tel. (02) 2101-2066 , Fax. (02) 2101-2067

www. jwonit.com

​

#제이원아이티#JwonIT#제이원#스텔라사이버#사이버헤이븐#Stellarcyber#cyberhaven