[이코노미스트 정길준 기자] 적은 컴퓨팅 자원으로 같은 성능을 구현하는 ‘인공지능(AI) 다이어트’가 확산하고 있다. AI 모델을 가볍게 만들고 그래픽처리장치(GPU)의 낭비를 줄이는 기술이다. 기술이 발전하면 고가의 GPU와 메모리 수요가 둔화할 수 있다는 우려도 나온다.

반도체 업계의 판단은 다르다. AI 이용 비용이 낮아지면 서비스와 사용자가 늘어 전체 연산량은 오히려 증가할 수 있다고 본다. AI 시장이 학습에서 추론과 에이전트 AI, 온디바이스 AI로 확장되면 서버용 D램과 저전력 메모리, 기업용 솔리드스테이트드라이브(eSSD) 등의 수요도 커질 수 있다.

이 변화의 최전선에는 노타·래블업·망고부스트 등 국내 AI 최적화 스타트업이 있다. 노타는 AI 모델, 래블업은 GPU 운영, 망고부스트는 데이터센터의 효율을 각각 높이고 있다.

효율 높이면 반도체 수요 줄어들까

글로벌 컨설팅 기업 맥킨지는 2030년 전체 AI 연산 수요의 약 60%가 추론에서 발생할 것으로 전망했다. 추론은 이미 만들어진 AI 모델에 질문을 입력하고 답을 얻는 과정이다.

추론 시장이 커지면 AI 서비스 운영에 필요한 전체 연산량은 늘어난다. 반면 모델 경량화와 추론 최적화로 작업당 필요한 자원은 줄어들 수 있다. AI 사용량 증가와 효율 개선 가운데 어느 쪽의 영향이 클지가 반도체 수요를 가를 변수인 셈이다.

시장조사업체 트렌드포스는 효율적인 AI 모델이 같은 가속기 구성에서 기존 대형 모델보다 최대 6배 많은 토큰을 처리할 수 있다고 분석했다. 같은 장비로 더 많은 작업을 처리할 수 있다는 의미다.

다만 추론 과정에서도 데이터를 빠르게 전달하는 메모리 대역폭은 주요 병목으로 남는다. GPU의 연산 성능이 높아져도 메모리가 제때 데이터를 공급하지 못하면 처리 속도가 떨어진다. GPU 효율이 높아져도 고성능·고용량 메모리의 중요성은 유지된다는 설명이다.

SK하이닉스도 지난 2분기 실적 발표에서 “고효율 AI 모델의 등장이 반드시 AI 인프라 투자 감소로 이어지지는 않을 것”이라고 밝혔다. 같은 인프라에서 더 많은 사용자가 다양한 서비스를 이용할 수 있어 AI 시장이 커진다는 판단이다.

AI 이용 비용이 낮아지면 기업은 적용 분야를 확대하고 개인도 AI를 더 자주 쓰게 된다. 작업당 필요한 GPU 수는 줄더라도 전체 작업량이 빠르게 늘면 인프라 수요는 증가할 수 있다.

삼성전자와 SK하이닉스에도 기회가 될 수 있다. 반도체 수요가 학습용 고대역폭메모리(HBM)를 넘어 서버용 D램과 저전력 메모리, eSSD 등으로 넓어질 수 있어서다. 에이전트 AI와 온디바이스 AI가 확산하면 스마트폰과 PC, 자동차, 로봇 등의 메모리 수요도 늘어날 가능성이 크다.

모델부터 데이터센터까지…‘AI 다이어트’ 삼각편대

AI 활용 확대를 뒷받침하려면 한정된 컴퓨팅 자원을 효율적으로 써야 한다. 국내에서는 노타·래블업·망고부스트가 서로 다른 영역에서 최적화 기술을 개발하고 있다.

노타는 AI 모델 자체를 가볍게 만드는 ‘모델 경량화’에 집중한다. 모델의 크기와 연산량을 줄여 필요한 장비와 비용을 낮추는 방식이다.

노타는 알리바바의 2조4000억개 매개변수 모델 ‘큐웬 3.8’ 구동에 필요한 엔비디아 B300 GPU를 24장에서 4장으로 줄였다. 업스테이지의 ‘솔라 오픈2’에서도 H100 GPU 사용량을 8장에서 2장으로 낮췄다.

핵심 기술은 양자화와 프루닝이다. 양자화는 계산에 사용하는 숫자의 정밀도를 낮춰 연산량과 메모리 사용량을 줄이고, 프루닝은 모델에서 중요도가 낮은 부분을 제거한다.

국제머신러닝학회(ICML) 경진대회에서는 ‘큐웬 3.5’ 40억 매개변수 모델의 추론 속도를 엔비디아 A10G GPU 한 장으로 약 7배 높여 상위권에 이름을 올렸다.

래블업은 여러 이용자가 GPU를 효율적으로 나눠 쓰도록 관리한다. 플랫폼 ‘백엔드에이아이’는 흩어진 GPU를 하나의 자원처럼 묶어 작업별로 필요한 만큼 자동 배분한다.

여러 이용자가 동시에 AI 모델을 학습하거나 추론해도 작업이 충돌하지 않도록 관리한다. 기업은 GPU를 추가로 구매하지 않고도 기존 장비의 가동률을 높일 수 있다. 래블업은 엔비디아의 기술 파트너 프로그램인 ‘DGX 레디’에도 합류했다.

망고부스트는 데이터센터 전체의 효율을 높인다. 서울대 연구진이 10년 이상 축적한 데이터처리장치(DPU) 연구를 바탕으로 GPU 서버와 저장장치, AI 추론 소프트웨어를 함께 제공한다.

GPU 서버 ‘알폰소’와 스토리지 서버 ‘케사르’, 추론 소프트웨어 ‘LLM 부스트’가 주요 제품이다. 특정 반도체 업체에 종속되지 않고 하드웨어와 소프트웨어를 함께 최적화하는 것이 강점이다. AMD와도 협력하고 있다.

칩 제조사와 AI 모델 개발사가 성능 경쟁에 집중하는 사이, 모델과 하드웨어의 간극을 메우는 최적화 시장도 커지고 있다. 고성능 GPU를 계속 늘리는 방식만으로는 급증하는 연산 수요와 비용 부담을 감당하기 어렵기 때문이다.

업계 관계자는 “AI 모델 개발사들이 극한의 성능을 좇는 사이 현장에서는 치솟는 연산 비용과 인프라 제약이라는 병목에 부딪히고 있다”며 “건축에서 토목과 실내 인테리어가 전문 영역으로 나뉘듯, 에이전트 AI 시대에는 모델과 하드웨어의 간극을 메우는 AI 최적화 기술이 필수”라고 말했다.

또 다른 업계 관계자는 “비싼 고성능 GPU를 무조건 늘리는 것만으로는 급증하는 AI 연산 수요를 감당할 수 없다”며 “한정된 컴퓨팅 자원을 촘촘하게 나눠 쓰고 낭비를 줄이는 역량이 기업의 비용 효율성과 직결된다”고 말했다. 이어 “국내 스타트업의 독자적인 인프라 최적화 기술이 글로벌 시장에서 강력한 대안으로 자리 잡을 것”이라고 강조했다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지