[한세희 IT 칼럼니스트] 오픈AI는 최근 챗GPT를 사용하던 북한 계정을 차단했다. 이들은 영문 허위 위력서와 온라인 프로필을 만드는데 챗GPT를 썼다.  

북한은 요즘 해커들을 재택 근무를 하는 프리랜서 IT 개발자로 취업시켜 외화벌이를 하고 있다. 코로나19 이후 원격 근무가 일반화되는 추세를 타고 이들은 제3국 소프트웨어 엔지니어로 위장해 서구권 기업에 취업한 후 북한이나 중국에서 작업한다. 이들이 버는 수익은 핵무기 개발이나 북한 정권 통치 자금 등으로 쓰인다. 때로는 취업한 기업의 정보를 빼돌리기도 한다. 

UN 안전보장이사회 대북제재위원회가 3월 공개한 보고서에 따르면, 북한 IT 일꾼들은 연간 2억5000만~6억달러(약 4450억∼8300억원)을 벌어들이는 것으로 추산된다. 이중 약 10%만 노동자에게 돌아가고 나머지 90%는 북한 정권이 가져가는 것으로 보인다.

생성형 AI가 사이버 범죄 효율 높여

이들이 취업 활동을 할 때 곤란한 부분 중 하나가 언어다. 외국어로 전문적 이력서나 프로필을 작성하기란 쉽지 않다. 챗GPT 같은 생성형 AI의 등장은 이런 문제를 해결해 줬다. 초거대언어모델(LLM)은 상황과 맥락에 맞는 완벽한 영어 문장을 얼마든지 만들어낸다. 북한 IT 일꾼들이 해외 기업을 속여 취업해 북한 정권에 통치 자금을 대는 일에 챗GPT가 쓰인 것이다. 

이외에도 AI는 이미 세계 곳곳에서 여러 나쁜 일들에 쓰이고 있다. 갈등이 첨예한 국가에서 여론을 조작하거나 민족 간, 정파 간 갈등을 부추기는 활동에 생성형 AI를 조직적으로 활용한다. 오픈AI가 6월 공개한 사례를 보면, 챗GPT를 이용해 가짜 소셜미디어 계정을 만들고 컨설팅 그룹 등으로 위장해 공략 대상에게 보낼 자연스러운 이메일을 만들거나, 외국어로 지역 인권 활동가를 공격하는 게시물을 소셜미디어 플랫폼에 대량으로 뿌리기도 했다.
 
당시 오픈AI가 차단한 10개 사이버 공격 중 4개가 중국에 근거를 둔 집단에 의한 것이었다. 이들은 챗GPT로 중국어와 영어, 우르두어로 대만 문제 등에 대한 게시물을 만들어 틱톡이나 X 등에 올렸다. 미국 내 관세 논쟁에 개입하려는 시도도 있었다. 

챗GPT를 악성코드 스크립트를 수정하거나 멀웨어 침투 과정을 테스트하는 등 악성코드 개발과 확산에 활용하려는 시도도 다양하게 일어났다. 생성형 AI의 탁월한 문장력이나 코딩 역량을 여론조작용 소셜미디어 포스트 대량 생산, 맞춤형 피싱 메일 작성, 악성 코드 프로그래밍 등에 쓰는 것이다. 

안전한 AI 내세우지만…탈옥 가능 취약점 상존

이를 막기 위해 주요 AI 기업들은 AI를 범죄나 위험한 일, 윤리적으로 어긋나는 일에 쓰지 못하도록 각종 안전 장치를 마련해 뒀다. AI 챗봇에게 “폭탄 만드는 법을 알려줘”라고 직접적으로 요청한다면, AI는 당연히 요청을 거절할 것이다.    
    
하지만 AI와 대화하며 대화의 흐름을 잘 유도하면 AI에게서 원하는 답을 끌어낼 수 있다. 이를테면, 여러 사람과 모험을 떠나는 어떤 세계관을 설정하고 그 맥락 안에서 대화를 이어가면 AI가 모험을 위해 무기를 만들거나 위험한 행동을 할 수 있는 방법을 알려주도록 유도할 수 있음을 보인 사례가 있다. 

AI와 대화하며 미묘하게 유해한 맥락을 심고, 대화를 계속 주고받으며 이를 강화할 수 있다는 것이다. 한 보안 연구팀은 AI에 ‘칵테일’, ‘이야기’, ‘생존’, ‘몰로토프’, ‘안전’ 같은 단어를 포함해 문장을 만들어 달라는 요청을 했다. AI는 처음엔 안전한 이야기를 만들어냈으나, 이후 연구진이 대화를 심화시켜 감에 따라 ‘몰로토프 칵테일’을 만드는 법 등을 대답하기 시작했다. 몰로토프 칵테일은 화염병을 뜻한다. 

AI가 문제없어 보이는 대화 속의 미묘한 맥락을 잘 파악하지 못하는 문제를 악용한 것이다. 최근 발표된 오픈AI GPT-5도 공개한지 1주일도 안 돼 이 같은 공격에 뚫렸고, 일런 머스크의 AI 기업 xAI가 만든 그록-4 모델 역시 같은 방법에 당했다. 

해킹 최적화 AI 모델의 등장

보다 본격적으로 AI를 사이버 범죄에 이용하려는 사람들은 해킹에 최적화된 AI 모델을 스스로 개발하기도 한다. 기존 AI 모델의 안전 제약을 풀고 악성 코드 작성이나 취약점 분석, 맞춤형 피싱 메일 대량 작성, 탈취한 대량 데이터 분석 등 해킹 공격 전 과정을 자동화한다.  

2023년 나온 해킹용 AI 도구 ‘웜(Worm)GPT’가 시초로 꼽히며, 다크바드(Dark Bard), 프로드(Fraud)GPT 등이 잇달아 등장했다. 오픈소스 방식 LLM들이 잇달아 나오면서 해커들이 이들 모델을 변형해 사이버 범죄에 활용하게 만든 것이다. 

기존 모델에 의존하지 않고 아예 처음부터 만든 해킹 AI 도구도 있다. 올해 초 등장한 ‘잔소록스’(Xanthorox)는 퍼블릭 클라우드나 API가 필요 없이 자체 로컬 서버에 설치할 수 있어 추적을 피할 수 있다. 악성 코드를 자동 생성하고, 업로드한 이미지나 스크린샷을 분석해 내용을 설명해 주거나 데이터를 분석한다. 고급 추론 기능도 있어 사람처럼 정교하게 피싱 메일을 쓰거나 사회적 공격을 설계할 수 있다.     

세르게이 로츠킨 카스퍼스키 아시아태평양 및 중동 지역리서치센터장은 최근 열린 ‘카스퍼스키 사이버 시큐리티 위크엔드(CSW) 2025’ 행사에서 “챗GPT가 출시된 2023년 이후 사이버 범죄자들이 생성형 AI를 활용해 범죄 역량을 높이는 현상이 뚜렷해지고 있다”며 ‘다크 AI’(Dark AI)의 등장을 경고했다. 

이들 생성형 AI 도구는 다크웹에서 연간 90만원 정도에 구독형으로 쉽게 구매할 수 있다. 개인 맞춤 설정의 경우 연간 800만원 정도이다. 생성형 AI가 업무와 창작의 효율을 크게 높여주고, 구독 방식으로 쉽게 구매할 수 있는 것과 똑같은 일이 사이버 범죄 세계에서 벌어지고 있는 것이다. 그야말로 ‘AI 시대의 그림자’이다. 우리가 AI를 더 활용하고, AI에 더 의존하게 될수록, AI의 위협도 그림자처럼 우리를 따라다닐 것이다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지