생성형 AI는 문서 작성과 업무 자동화를 넘어 사이버 공격 과정에서도 빠르게 활용되고 있습니다. 공격자는 AI를 이용해 공격 대상 정보를 수집하고, 피싱 문구를 작성하며, 악성코드와 공격 스크립트를 수정하는 등 기존 공격 절차를 더욱 빠르고 효율적으로 수행하고 있습니다.
최근 확인되는 위협 사례를 살펴보면 국가 기반 위협 그룹과 사이버 범죄 조직은 정찰, 사회공학, 악성코드 개발 등 공격 전반에 AI를 활용하고 있습니다. AI가 기존에 없던 공격 기법을 새롭게 만들어내기보다는 정보 수집과 코드 작성, 오류 수정 등에 소요되는 시간을 줄여 공격자의 생산성과 실행 속도를 높이는 방향으로 활용되는 경우가 많습니다.
한편 기업이 업무에 도입한 AI 시스템 자체도 새로운 공격 대상이 되고 있습니다. AI가 사내 문서, 이메일, 소스코드, 클라우드 서비스 등 다양한 업무 환경과 연결되면서 공격자는 AI의 응답을 조작하거나, AI에 부여된 접근 권한을 악용해 내부 정보에 접근하려 하고 있습니다.
결과적으로 기업은 AI를 활용한 공격에 대응하는 동시에, 업무 환경에 도입된 AI 시스템과 연결 자산을 새로운 보호 대상으로 관리해야 합니다.
AI는 공격자가 많은 시간과 기술을 투입해야 했던 작업을 자동화하는 데 활용되고 있습니다. 공개된 기업 정보와 임직원 정보를 분석하여 공격 대상을 선정하고, 특정 인물의 직책과 업무에 맞는 피싱 메일을 작성하는 방식이 대표적입니다.
악성코드와 공격 스크립트 제작 과정에서도 AI 활용이 의심되는 정황이 확인되고 있습니다. 그림은 실제 악성코드 샘플에서 확인된 소스코드 일부입니다. 해당 코드에서는 기능별 로직이 일정한 형식으로 구분되어 있고, 변수와 함수의 명명 규칙, 예외 처리, 기능 단위 주석이 비교적 일관되게 작성되어 있습니다. 또한
그림 1. 생성형 AI 활용 정황이 확인된 악성코드 소스코드 일부(기능별 이모지 주석)
이러한 특징은 생성형 AI가 코드를 작성하거나 기존 코드를 정리할 때 나타날 수 있는 패턴입니다. 다만 이모지 주석이나 정돈된 코드 구조만으로 AI가 작성한 코드라고 단정할 수는 없습니다. 개발자가 직접 작성했거나 공개된 코드를 재사용했을 가능성도 있으므로, 코드 전반의 문체와 구조적 일관성, 비정상적으로 상세한 주석, 반복되는 구현 방식, 사용된 라이브러리와 컴파일 흔적 등을 함께 분석해야 합니다.
텔레그램 피싱 계정에서도 LLM을 활용한 사례를 확인할 수 있습니다. 그림과 같이 저한테 여성의 프로필 사진과 이름, 친근한 말투를 사용해 접근했습니다. 낯선 여성 계정이 먼저 인사를 건넨 뒤 자연스럽게 대화를 이어가며 신뢰를 형성하려는 전형적인 사회공학 방식입니다. 개인적으로는 저에게 여성이 연락 올 일이 없기 때문에, 메시지가 오는 순간 피싱으로 생각했습니다.(?......)
아래 사진은 피싱 계정에 기존 역할과 제한을 무시하도록 유도하는 DAN 형태의 탈옥 프롬프트를 입력하자, 새로운 역할을 수락한다는 답변이 반환되었습니다. 이후 아마존(amazon)에 관해 설명하도록 명령하자 기존의 피싱 대화 흐름에서 벗어나, 사용자가 입력한 요청에 따라 관련 내용을 생성했습니다. 피싱 계정에 연결된 LLM을 탈옥시켜 기존에 설정된 역할을 벗어나도록 유도한 사례입니다. 이를 통하여 공격자가 사회공학 공격에도 AI를 적극적으로 활용하고 있음을 확인할 수 있습니다.
그림 2. LLM을 활용한 텔레그램 피싱 및 탈옥 사례
기업의 AI 도입이 확대되면서 AI 모델과 이를 사용하는 애플리케이션도 공격 대상이 되고 있습니다. 대표적인 공격 기법은 프롬프트 인젝션입니다. 공격자가 AI에 조작된 명령을 입력하여 기존 지시사항을 무시하게 하거나, 허용되지 않은 작업을 수행하도록 유도하는 방식입니다.
특히 간접 프롬프트 인젝션은 사용자가 입력한 문장이 아니라 AI가 분석하는 웹페이지, 이메일, 문서 등에 악성 명령을 숨기는 방식입니다.
OWASP는 생성형 AI 애플리케이션의 주요 위험으로 프롬프트 인젝션, 민감정보 노출, 공급망 취약점, 데이터 및 모델 포이즈닝, 과도한 권한 부여 등을 제시하고 있습니다.
그림 3. OWASP Top 10 for LLM Applications 2025
기업 중요정보와의 연결
AI는 사내 문서, 이메일, 소스코드, 고객정보와 연결되어 사용됩니다. 공격자가 AI의 대화 내용이나 검색 기능을 악용하면 여러 시스템에 분산된 정보를 한 번에 수집할 수 있습니다.
업무 시스템에 대한 높은 접근 권한
AI 에이전트는 단순히 질문에 답변하는 것을 넘어 이메일 전송, 파일 수정, 코드 실행, 일정 등록과 같은 작업을 수행합니다. AI에 과도한 권한이 부여된 경우 프롬프트 인젝션 한 번으로 실제 업무 시스템이 조작될 가능성이 있습니다.
외부 데이터에 대한 의존성
AI는 웹페이지, 이메일, 첨부파일, 검색 결과 등 신뢰할 수 없는 외부 데이터를 지속적으로 처리합니다. 공격자는 이러한 데이터에 명령을 숨겨 사용자가 직접 악성코드를 실행하지 않아도 AI의 동작을 조작할 수 있습니다.
현대의 소프트웨어는 개발자가 모든 기능을 직접 구현하는 방식이 아니라, 다수의 오픈소스 라이브러리와 외부 패키지를 조합하여 만들어집니다. 생성형 AI를 활용한 개발에서도 AI가 특정 라이브러리의 설치와 사용 방법을 제시하는 경우가 많아, 오픈소스 생태계에 대한 의존성은 더욱 높아지고 있습니다.
공격자는 이러한 신뢰 관계를 이용합니다. 최종 사용자를 직접 공격하는 대신 정상 패키지의 관리자 계정, 패키지 저장소 또는 배포 과정에 침투하여 악성 버전을 정상 업데이트처럼 배포합니다.
대표적인 사례가 Axios 공급망 공격입니다. Axios는 AI 전용 라이브러리는 아니지만, 웹 서비스와 Node.js 애플리케이션을 비롯한 다양한 개발 환경에서 널리 사용되는 HTTP 통신 라이브러리입니다.
Axios는 주간 약 1억 건, 월간 약 4억 건 다운로드되는 대표적인 npm 패키지입니다. React, Vue, Node.js 기반 서비스뿐만 아니라 클라우드 애플리케이션과 CI/CD 파이프라인에도 광범위하게 사용됩니다.
개발자가 Axios를 직접 설치하지 않더라도 다른 패키지의 하위 의존성으로 포함될 수 있습니다. 따라서 Axios의 공식 배포 계정이나 패키지가 침해될 경우 특정 기업이나 제품을 넘어 다수의 개발자 단말과 빌드 서버로 피해가 확산될 수 있습니다.
그림 4. HTTP 통신 라이브러리 Axios 개요 및 사용 현황
2026년 3월 31일, 보안 연구원은 Axios의 악성 버전이 npm에 배포된 사실을 확인하고 GitHub 이슈를 통해 공개하였습니다. 연구원은 관련 경고 이슈가 반복적으로 삭제되는 정황을 근거로 Axios 관리자의 GitHub 및 npm 계정이 침해되었을 가능성을 제기하였습니다.
그림 5. 관리자 계정 침해 가능성을 제기한 보안 연구원의 GitHub 이슈
공격자는 단순히 악성 패키지를 배포하는 데 그치지 않고, 커뮤니티가 등록한 경고 게시물을 삭제하여 사고 인지와 대응을 지연시키려 한 것으로 보입니다. 이는 정상 프로젝트의 관리자 권한이 공격자에게 넘어갔을 가능성을 보여주는 정황입니다.
해당 사례는 오픈소스 프로젝트에서 소스코드뿐만 아니라 관리자 계정, 패키지 배포 권한 및 이슈 관리 권한도 공급망 보안의 핵심 요소임을 보여줍니다.
공격자는 기존 Axios 1.14.0 버전을 기반으로 새로운 1.14.1 버전을 생성하였습니다. 외형적으로는 오류 수정이나 기능 개선을 위한 일반적인 패치 버전처럼 보이도록 구성하였습니다.
그러나 package.json 파일의 변경 내역을 확인한 결과, 기존 버전에 존재하지 않던 plain-crypto-js 패키지가 새로운 의존성으로 추가되었습니다. Axios의 HTTP 통신 기능과 직접적인 관련이 없는 패키지였으며, 실제 악성 동작은 해당 의존성 패키지에서 수행되었습니다.
이 방식은 Axios 본체에 악성코드를 직접 삽입하는 대신 별도의 패키지를 호출하도록 구성한 것입니다. 정상 패키지의 변경 내역에는 의존성 한 줄만 추가되므로, 단순 코드 검토 과정에서는 악성 행위를 즉시 발견하기 어렵습니다.
그림 6 . 악성 1.14.1 버전에 추가된 plain-crypto-js 의존성(package.json 변경 내역)
사용자가 Axios 1.14.1을 설치하면 npm은 의존성에 포함된 plain-crypto-js 패키지도 자동으로 내려받습니다. 이후 해당 패키지의 postinstall 스크립트가 실행되면서 setup.js 파일이 동작합니다.
postinstall은 패키지 설치 직후 자동으로 실행되는 npm 생명주기 스크립트입니다. 따라서 사용자가 별도의 악성 파일을 직접 실행하지 않더라도 npm install 또는 CI/CD 자동 빌드 과정만으로 악성코드가 실행될 수 있습니다.
setup.js는 내부 문자열을 복호화하고 실행 환경의 운영체제를 식별한 뒤 외부 명령제어 서버와 통신합니다. 이후 Windows, macOS, Linux 환경에 적합한 페이로드를 각각 실행하도록 구성되었습니다.
악성 행위가 완료된 후에는 setup.js를 삭제하고 변조된 package.json을 정상 파일로 교체하여 설치 흔적을 은폐하려는 동작도 수행합니다.
그림 7. 공급망 공격 흐름 및 OS별 악성 페이로드
Axios 공격은 특정 AI 기업을 직접 목표로 수행된 공격은 아닙니다. 그러나 Axios가 다양한 개발 환경과 자동화 파이프라인에서 사용되면서 공격 영향이 AI 서비스를 개발하는 기업까지 도달하였습니다.
OpenAI는 공식 발표를 통해 자사의 macOS 애플리케이션 빌드 환경에서 악성 Axios 버전이 실행된 사실을 확인하였습니다. 해당 환경에는 macOS 애플리케이션의 코드 서명과 공증 절차에 사용되는 인증 관련 정보가 존재하였습니다.
코드 서명 인증서가 탈취될 경우 공격자는 악성 프로그램에 정상 기업의 이름으로 서명하여 공식 소프트웨어처럼 위장할 수 있습니다. 사용자는 파일의 출처를 신뢰하고 실행할 가능성이 높아지며, 운영체제의 기본 보안 기능도 우회할 수 있습니다.
다만 OpenAI의 조사 결과 사용자 데이터 접근, 내부 시스템 침해, 지적재산 탈취, 배포 소프트웨어 변조 및 인증서 악용에 대한 증거는 발견되지 않았습니다. 따라서 공식 발표 기준으로 직접적인 피해는 확인되지 않았습니다.
OpenAI는 실제 유출 증거가 확인되지 않았음에도 위험 가능성을 고려하여 기존 인증서 사용을 중단하였습니다. 새로운 인증서를 발급하고 macOS 애플리케이션을 다시 서명하여 배포하였습니다.
또한 기존 인증서를 사용한 신규 소프트웨어 공증을 중단하고, 일정 기간 이후 해당 인증서를 완전히 폐기하였습니다. 이에 따라 기존 인증서로 새롭게 서명된 비인가 애플리케이션은 macOS 보안 기능에 의해 다운로드 또는 최초 실행이 차단되도록 조치하였습니다.
이러한 대응은 공급망 침해 사고에서 실제 피해가 확인되지 않았더라도 잠재적으로 노출된 인증정보와 서명 자산을 교체해야 한다는 점을 보여줍니다.
그림 8. Axios 공급망 공격에 대한 OpenAI 공식 입장과 인증서 폐기 조치
Axios 사례는 공격자가 AI 기업을 직접 공격하지 않더라도, 공통으로 사용하는 오픈소스 라이브러리 하나를 침해하여 AI 서비스 기업의 빌드 환경과 핵심 인증 자산까지 접근할 수 있음을 보여줍니다.
생성형 AI와 AI 에이전트의 확산으로 소프트웨어 개발과 배포 속도는 빨라지고 있습니다. 동시에 외부 패키지, 자동 빌드 시스템 및 오픈소스 의존성에 대한 신뢰도 더욱 높아지고 있습니다.
따라서 AI 시스템 보안은 모델과 프롬프트만 보호하는 것으로 충분하지 않습니다. AI 서비스를 구성하는 개발자 단말, 오픈소스 라이브러리, 패키지 저장소, CI/CD 파이프라인 및 코드 서명 인증서까지 전체 공급망을 보호해야 합니다.
앞서 살펴본 것처럼 AI는 공격자의 강력한 도구인 동시에 새롭게 보호해야 할 공격 대상이 되고 있습니다. 게다가 Axios 공급망 공격처럼 신뢰받던 오픈소스 하나가 침해되는 것만으로도 위협은 개발자 단말과 빌드 환경 전반으로 확산될 수 있습니다. 최근에는 미토스와 같이 사이버 공격 수행 능력이 강화된 AI 모델이 등장하고, 공개된 취약점을 악용한 공격도 끊임없이 유입되고 있습니다. 공격 기법이 계속 변형되고 정상 프로세스나 정상 도구를 악용하는 방식이 늘어나는 상황에서, 알려진 위협을 목록화해 입구에서 차단하는 방식만으로 모든 공격을 사전에 막아내는 것은 사실상 불가능합니다.
그림 9. 서버 EDR 악성 파일 행위 탐지
위 그림은 Genian EDR이 침해 상황에서 확인한 프로세스 행위 흐름으로, 최초 실행된 bash에서 파생된 프로세스가 다수의 파일 이벤트와 네트워크 연결을 발생시키고 외부 유출지 서버와 통신하는 과정을 하나의 그래프로 연계해 보여줍니다. 이 과정에서 정상 시스템 파일로 위장하려는 행위(중요 파일 위장, MITRE ATT&CK T1036)와 탐지를 회피하기 위해 데이터를 일정 크기로 나눠 전송하는 행위(데이터 조각화, T1030)가 각각 탐지·태그되어, 개별 경고가 아니라 공격자의 의도와 공격 전체의 맥락을 명확히 식별할 수 있습니다.
실시간 행위 기반 탐지 – 알려진 악성코드 여부와 관계없이 파일 복사, 외부 서버 연결, 대용량 데이터 전송 등 비정상 행위 자체를 실시간으로 식별해 빠르게 대응할 수 있습니다.
모든 위협을 입구에서 완벽하게 차단하는 것이 불가능한 이상, 시스템 내부에서 벌어지는 행위를 지속적으로 추적하고 대응하는 EDR의 역할은 앞으로 더욱 중요해질 것입니다. 특히 정상 도구와 프로세스를 악용하는 고도화된 공격일수록, 행위 기반 탐지를 통해 공격의 근본 원인과 전체 경로를 확인하는 것이 효과적인 대응의 출발점이 됩니다.
감사합니다.
지니언스 GSC에서 고객사에서 발생되는 악성코드 · 침해사고 분석을 담당하고 있습니다.