한국은 AI 칩만 만든다…“이제 AI 컴퓨터를 만들어야 한다”

지난 9월 15일부터 17일까지 미 캘리포니아주 산타클라라에서 열린 'AI 인프라서밋 2026'에서 만난 김장우 망고부스트 대표는 더밀크와의 인터뷰에서 "칩이 아니라 시스템의 관점에서 풀어야 한다"고 주장했다.

특정 AI 반도체를 더 잘 만드는 것만으로는 부족하고 연산장치와 메모리, 네트워크, 스토리지를 하나의 컴퓨터처럼 움직이게 만드는 아키텍처가 필요하다는 것이다.

김 대표는 “한국은 모델과 AI 반도체를 만드는 데 집중해왔지만, 이를 실제 서비스로 연결할 시스템은 부족하다”며 “반도체는 결국 어떤 시스템에 들어가는 부품이다. 시장을 주도하려면 시스템을 만들어야 한다”고 말했다.

김장우 대표는 망고부스트를 반도체 회사가 아닌 ‘AI 시스템 아키텍처 기업’으로 정의했다. GPU를 직접 만들지는 않고 AMD와 엔비디아 GPU, 국산을 포함한 각종 NPU, 스토리지와 네트워크를 연결하고 성능을 최적화한다.

김 대표가 제시한 목표는 대담하다.

“데이터센터의 애플이 되겠다.”

👉 AI 인프라 2막의 개요부터 투자까지 더밀크에서 확인하세요

김장우 대표는 2026년 이후 AI 인프라 경쟁은 서로 다른 연산장치를 효율적으로 연결하는 이기종 시스템으로 옮겨갈 것으로 확신했다.

지금 벌어지고 있는 AI 인프라 구축 상황이 과거와 달라지고 있기 때문. 현재 AI 서버는 고성능 엔비디아 GPU와 HBM을 여러 개 묶는 방식으로 구성돼 있다. 대규모 연산을 처리하는 거대언어모델(LLM) 학습에 최적화됐다. 하지만 지금은 추론과 에이전트 업무로 빠르게 넘어가고 있다.

사용자의 질문 하나가 검색, 계획 수립, 코드 작성, 검증, 요약 등 여러 작업으로 분해된다. 각 작업이 요구하는 모델의 크기와 연산량도 다르다. 어떤 GPU는 과도한 성능을 제공하고, 어떤 가속기는 속도가 느려 전체 작업의 발목을 잡는 것이 현실이다.

네트워크와 스토리지가 제때 데이터를 공급받지 못해 GPU의 연산속도가 빨라질수록 비싼 GPU를 놀리고 있는 현상이 나타나고 있는 것. 이때 성능을 결정하는 것은 GPU 자체가 아니라 GPU 밖에 있는 시스템이다.

메모리 부족 현상도 마찬가지다. 지금까지는 고가 GPU와 HBM을 더 구매했다. 하지만 모든 데이터를 가장 비싼 메모리에 상주시킬 필요는 없다. 상대적으로 저렴한 메모리와 스토리지에 데이터를 보관하고 필요한 순간 GPU로 빠르게 이동시킬 수 있다면 전체 비용을 낮추는 게 화두다.

김 대표는 “네트워크는 단순히 데이터를 물리적으로 옮기는 선이 아니다. 현재 빠른 네트워크를 제어하는 소프트웨어가 따라가지 못해서 병목이 발생하고 있다”며 "망고부스트가 이 점을 해결하고 있다"고 말했다.

망고부스트의 핵심 기술은 프로그래밍 가능한 네트워크 가속기다.

프로그래밍 가능한 네트워크 가속기란 데이터 이동과 네트워크 처리 업무를 용도에 맞게 기능을 바꿀 수 있는 전용 하드웨어다.

네트워크가 빨라져도 데이터를 주고받는 과정을 관리하는 CPU의 속도까지 함께 빨라지는 것은 아니다. 고속도로가 넓어졌는데 요금소의 처리 속도는 그대로다. 결국 데이터가 CPU 앞에서 막히게 된다. 이를 피하려면 네트워크 관련 작업을 CPU 대신 전용 하드웨어가 처리해야 한다.

쉽게 말하면 기존 네트워크 카드가 정해진 길로 달리는 트럭이라면, 프로그래밍 가능한 네트워크 가속기는 교통 상황을 판단해 경로와 운송 방식을 바꿀 수 있는 물류 관제시스템까지 갖춘 트럭이라고 보면 된다.

엔비디아가 지난 2019년 멜라녹스를 인수한 이유다. GPU만 빨라서는 AI 시스템 전체의 성능을 끌어올릴 수 없고 GPU 사이의 통신과 서버 간 데이터 이동까지 장악해야 한다.

망고부스트는 하드웨어에서 네트워크 제어를 가속화하고 용도에 따라 프로그래밍할 수 있는 카드를 독자 기술로 개발했다. 이를 GPU 서버와 스토리지 시스템에 적용, 데이터 이동을 최적화한다.

김 대표는 “특정 GPU를 작동시키기 위한 소프트웨어가 아니라, 서로 다른 GPU와 네트워크, 스토리지를 묶어 시스템 전체의 성능을 높이는 소프트웨어다”고 설명했다.

망고부스트는 '칩' 회사이지만 인력의 약 절반이 소프트웨어 개발자다. 일반적인 반도체 스타트업과 달리 칩이나 카드 하나를 판매하는 데 그치지 않고 해당 하드웨어가 들어가는 서버와 시스템 운영 소프트웨어까지 최고 수준으로 함께 개발하는 것이 한국의 기존 반도체 팹리스 기업과 다른 점이다.

망고부스트는 GPU 연결에도 강점을 보이고 있다. AMD 등의 GPU를 저렴하게 사는 것만으로는 충분하지 않고 여러 GPU를 연결했을 때 성능이 제대로 확장돼야 하는데 일반 기업이 직접 해결하기 어려운 네트워크와 소프트웨어 문제를 풀 수 있다는 것이다.

김장우 대표는 "기존 시스템보다 30% 이상 낮은 비용으로 AI 연산 서비스를 제공할 수 있다"고 설명했다.

망고부스트는 처음부터 완성형 AI 시스템을 만들려 했던 것은 아니다. 네트워크 가속기로 시작했다. 하지만 기술력이 있다고 해서 바로 고객에게 채택되는 것은 아니었다. 부품을 판매하려면 서버 제조사와 시스템 통합업체의 평가를 거쳐야 한다. 최종 고객이 기술을 필요로 하더라도 중간 업체가 가치를 이해하지 못하면 시장에 도달하기 어렵다.

검증 기간도 길었다. 기업이 새로운 데이터센터 부품을 도입하려면 수개월에 걸친 테스트가 필요했다. 부품 하나의 성능뿐 아니라 기존 장비와의 호환성, 장애 가능성, 공급 안정성까지 검토해야 하기 때문이다.

김 대표는 이 과정에서 부품 사업의 구조적 한계를 깨달았다고 했다. 그는 "아무리 좋은 부품을 만들어도 계속 테스트를 받아야 했다. 최종 고객에게 직접 가야 한다고 판단했다. 네트워크 카드와 서버, 스토리지, 소프트웨어를 모두 묶어 완성된 시스템으로 판매하기로 한 이유다”고 말했다.

망고부스트가 말하는 ‘데이터센터의 애플’도 여기서 나온다. 애플이 반도체와 운영체제, 하드웨어와 서비스를 하나의 사용자 경험으로 묶듯이 AI 인프라의 핵심 요소를 통합하겠다는 의미다.

망고부스트의 전략은 한국에서 진행되는 소버린 AI 논의와도 연결된다.

국내에서는 소버린 AI를 주로 독자적인 기반모델이나 국산 AI 반도체를 확보하는 문제로 이해한다. 그러나 김 대표는 "모델이나 반도체 하나를 국산화했다고 해서 지능 주권이 확보되는 것은 아니다"고 지적했다.

국산 NPU를 개발해도 이를 채택해줄 서버와 데이터센터가 없으면 시장에 진입하기 어렵기 때문. 반대로 해외에서 완성된 GPU 시스템을 그대로 도입하면 국산 NPU를 추가하거나 다른 GPU로 교체하기가 어려워진다.

김 대표는 “컴퓨터를 국내에 설치하는 것만으로는 소버린 AI가 아니다. 어떤 GPU와 NPU를 사용할지 선택하고, 이를 하나의 시스템으로 설계하고 운영할 수 있어야 한다.”

기업의 선택도 ‘엔비디아를 쓸 것인가, 쓰지 않을 것인가’처럼 단순하지 않다. 엔비디아의 완성형 시스템은 GPU와 네트워크, 소프트웨어가 하나로 최적화돼 있어 빠르게 구축할 수 있다. 자체 시스템 인력이 부족한 기업에는 안전하고 합리적인 선택일 수 있다.

초기 구매가격만으로 경제성을 판단해서는 안 된다. 전력과 스토리지, 소프트웨어 라이선스, 유지보수와 운영인력, 향후 장비 교체 비용까지 포함한 3~5년 총소유비용을 비교해야 한다. 저렴한 GPU를 구매하더라도 제대로 연결하고 운영하지 못하면 활용률이 떨어져 오히려 더 비싼 시스템이 될 수 있다.

모든 AI 업무를 자체 데이터센터에 넣을 필요도 없다. 이메일 작성과 번역, 회의 요약처럼 기업별 차별성이 크지 않은 업무는 외부 클라우드와 AI 서비스를 이용하는 편이 빠르고 저렴하다. 반면 제조 공정, 고객 데이터, 제품 설계, 위험관리처럼 회사의 경쟁력을 결정하는 업무는 내부에 남겨야 한다.

따라서 기업은 어떤 장비를 구매할지 결정하기 전에 어떤 데이터와 지능을 직접 통제할 것인지부터 구분해야 한다. 김 대표가 망고부스트의 역할을 ‘시스템 아키텍트’라고 강조하는 이유도 여기에 있다. 기업이 필요한 장비를 선택할 수 있도록 개방성을 확보하면서도, 완성형 시스템처럼 구축과 최적화, 운영까지 제공하겠다는 것이다.

김 대표는 현재의 메모리 공급 부족이 향후 2년가량 이어질 가능성이 있다고 전망했다.

현재 HBM과 고용량 메모리가 비싼 것은 생성 AI와 대규모 언어모델이 막대한 메모리를 요구하기 때문이다. 그러나 높은 가격은 고객에게 대안을 찾게 만든다. 중국 업체가 공급을 늘리거나 새로운 메모리 기술이 등장할 수 있고, AI 모델 자체가 더 적은 메모리를 사용하도록 바뀔 가능성도 있다.

김 대표는 “하드웨어 시장은 결국 소프트웨어와 애플리케이션이 결정한다”며 “현재 모델이 HBM을 많이 사용한다고 해서 지금의 구성이 계속 유지된다고 볼 수는 없다”고 말했다.

이는 망고부스트가 특정 칩의 승패보다 시스템을 강조하는 이유이기도 하다.

김 대표는 “고객은 칩이나 모델 자체를 사는 것이 아니라 작동하는 서비스를 원한다"며 "한국에는 시스템을 전공하고 전체를 설계할 수 있는 사람이 많지 않다. 칩을 만드는 것과 그 칩이 들어가는 컴퓨터를 만드는 것은 다른 문제다”고 말했다.

국산 NPU 기업이 몇몇 기업을 제외하고는 글로벌 시장에 진출하기 어려운 이유도 여기에 있다. 엔비디아 생태계 밖의 칩을 사용하려면 네트워크와 컴파일러, 운영 소프트웨어와 애플리케이션을 함께 해결해야 한다. 개별 스타트업이 이 모든 요소를 혼자 구축하기는 쉽지 않다.

망고부스트는 여러 국산 NPU를 자사 시스템에 포함할 수 있는 구조를 만들겠다는 계획이다. 성공한다면 NPU 기업은 칩을 판매할 시스템을 얻고, 고객은 엔비디아 외의 선택지를 확보할 수 있다.

그러나 이를 위해서는 먼저 실제 데이터센터에서 성능과 안정성을 증명해야 한다. 망고부스트가 자체 데이터센터를 구축하는 이유도 기술 시연을 넘어 사업성을 증명하기 위해서다.

회사 측에 따르면 수백억원을 투입, 서울 강남 지역에 약 1~2MW 규모의 AI 데이터센터를 구축하고 있다. 소규모 파일럿 서비스를 거쳐 2027년 초 완성형 시스템과 클라우드 서비스를 본격적으로 공개할 계획이다.

이 데이터센터에서는 AMD GPU와 망고부스트의 네트워크 가속기, 스토리지 시스템과 운영 소프트웨어를 통합한다. 특정 폐쇄형 모델에 의존하기보다 공개된 다양한 AI 모델을 선택해 서비스할 계획이다.

김 대표는 “기술 검증은 상당 부분 끝났다”며 “이제 중요한 것은 실제로 돈을 버는 모습을 보여주는 것”이라고 말했다.

망고부스트의 또 다른 특징은 창업팀이다. 김 대표의 연구실에서 네트워크와 컴퓨터 시스템을 연구했던 구성원 15명이 공동창업자로 참여했다. 일부는 구글이나 메타에서 일하거나 교수로 진출할 수 있는 경력을 포기하고 합류했다.

그는 이를 회사 기술에 대한 내부의 신뢰로 해석했다. 김 대표는 “학생들이 자기 연구실 기술을 가장 잘 안다. 논문으로만 좋은 기술인지, 실제 산업에서 작동할 기술인지 알고 있다. 자신의 미래를 걸고 함께 창업했다는 것이 우리의 자신감이다”고 강조했다.

김 대표는 “한국 시장은 최종 목적지가 아니라 시스템의 성능과 경제성을 증명하는 시장이다. 글로벌 시장에서 인정받고 자본을 조달해 데이터센터 사업을 확장해서 한국을 대표하는 시스템 AI 기업이 되겠다”고 말했다.

이를 위해 '플립'도 마쳤다. 김장우 대표는 “큰 투자를 받으려면 결국 글로벌 시장으로 나와야 합니다. 여러 불편과 비용을 감수하면서 플립했다는 것은 그만큼 글로벌 경쟁에서 기술을 증명할 자신이 있다는 뜻이다”고 강조했다.

망고부스트는 미국 워싱턴주 벨뷰에 본사를 두고 한국과 미국의 역할을 나눴다. 한국에서는 서울대 연구실에서 출발한 시스템·반도체 연구진을 중심으로 핵심 기술을 개발하고, 미국에서는 글로벌 인재 채용과 고객 확보, 파트너십 확대를 추진한다.

한국에서 자체 데이터센터를 구축해 시스템의 성능과 경제성을 입증한 뒤 미국과 중동, 일본 등으로 사업을 넓히겠다는 구상이다.

김 대표는 "한국에서 만든 원천기술을 세계 시장의 자본과 고객, 인재에 연결하기 위해 기업의 구조부터 글로벌하게 설계했다"며 "좋은 선례를 만들고 싶다"는 포부도 밝혔다.

김장우 대표가 인터뷰에서 반복해서 강조한 단어는 ‘AI 설계(아키텍처)’였다. 좋은 GPU나 NPU를 개발하는 것만으로는 AI 산업을 주도할 수 없다는 뜻이다. 건물에 좋은 벽돌과 철근이 필요하더라도, 그것만으로 건물이 완성되지는 않는다. 어떤 부품을 어디에 배치하고 어떻게 연결할지 결정하는 설계자가 있어야 한다.

AI 인프라도 마찬가지다. 모델의 작업 특성에 따라 GPU와 NPU를 고르고 메모리와 스토리지를 배치하고 네트워크로 연결한 뒤 소프트웨어로 전체 성능을 끌어내야 한다. 성능과 비용, 전력 소비, 공급 안정성까지 함께 판단하는 역할이 바로 시스템 아키텍트다.

김 대표는 한국이 메모리와 AI 반도체라는 뛰어난 부품을 보유하고도 시스템 시장을 주도하지 못하는 이유를 여기서 찾는다.

이 말이 반가웠다. 망고부스트가 만들려는 것은 또 하나의 칩이 아니라 서로 다른 GPU와 NPU, 네트워크와 스토리지를 선택하고 연결해 하나의 AI 컴퓨터로 작동시키는 구조다. 특정 공급자의 완제품을 구매하는 대신, 어떤 부품을 사용할지 고객이 결정할 수 있게 하겠다는 것이다.

세계를 선도할 실력도 갖췄다. 김장우 대표는 컴퓨터 아키텍처와 데이터센터 시스템을 연구해온 서울대 전기·정보공학부 교수다. 코넬대와 카네기멜런대에서 수학한 뒤 선마이크로시스템즈와 오라클에서 CPU·시스템 아키텍트로 일한 바 있다. 2022년 연구실 제자들과 망고부스트를 창업, DPU부터 AI 소프트웨어·서버·데이터센터까지 연결하는 풀스택 AI 인프라를 개발하고 있다. 인터뷰 내내 "우리는 세계 톱 클래스 엔지니어들로 구성 돼 있다"는 자신감과 자존심을 숨기지 않았다.

한국 AI 산업의 빈칸도 이 지점에 있다. 우리는 어떤 국산 칩과 모델을 만들 것인지는 오래 논의했지만, 누가 이들을 선택하고 연결해 실제 서비스로 완성할 것인지는 충분히 묻지 않았다.

그런 의미에서 시스템 전체를 설계하고 성능과 비용을 책임질 아키텍트를 직접 보유하고 글로벌 시장에 도전한다는 점은 의미가 클 것이다.

더밀크 회원에 가입하시면 현재 가장 뜨거운 산업 및 투자 영역인 AI 인프라의 글로벌 흐름과 전략을 파악할 수 있고 투자에 참고할 수 있게 합니다.

구글 검색과 뉴스에서 더밀크(The Miilk)를 ‘선호하는 출처’로 추가하시면 AI·테크·비즈니스의 중요한 변화를 찾을 때 더밀크의 기사와 인사이트를 더 쉽게 만날 수 있습니다.

아래 링크를 누르시고, 목록에서 더밀크 옆 체크박스를 눌러주세요. (구글 로그인 상태여야 합니다)

[구글에서 더밀크를 선호 소스로 지정하기]