추론 AI 시대를 연 결정적 순간들, 그리고 미래

2016년 3월 13일 오후 3시 40분, 서울 포시즌스 호텔.

왼손으로 목뒤를 긁으며 한참을 고민하던 이세돌 구단이 이윽고 오른손을 움직여 돌을 놨다. 대국이 중반에 접어들 무렵 중앙부 흑돌 사이에 쑥 끼워 넣은 백돌. 훗날 ‘신의 한 수’로 불린 78수였다.

바둑 AI ‘알파고’의 개발사인 딥마인드 측 해설진은 이 수를 보고 탄성을 터뜨리며 “흥미로운 수”라고 평가했다. AI조차 예상하지 못한 78수 이후 알파고는 흔들리기 시작했다. 79수를 두면서도 실착(失着)이라는 걸 알아차리지 못했고, 87수를 둔 후에야 승률이 크게 떨어진 것을 인지했다. 알파고는 결국 180수 만에 패배를 인정하며 기권 메시지 “AlphaGo Resigns”를 띄웠다. 

이날 이세돌 구단과 알파고의 4국은 바둑 AI를 상대로 인간이 거둔 유일한 승리로 기록됐다. 그러나 여기까지였다. 이틀 후인 15일 진행된 5국에서 알파고는 이 구단을 압도하며 승리했고, 이후로 다시는 기적이 일어나지 않았다.

알파고와 인간 기사의 공식 대국 전적은 68승 1패. 알파고는 이듬해인 2017년 5월 세계 랭킹 1위 기사인 중국의 커제를 상대로 세 번의 대국을 진행해 모두 이겼다. 데미스 허사비스 딥마인드 CEO는 커제와의 대국 직후 “알파고는 세계 정상 기사들과의 대국을 통해 희망했던 정점에 도달했다”며 알파고의 은퇴를 선언했다. 

알파고의 등장과 부상은 어떤 의미를 지닐까? 이 구단은 올해 3월 구글코리아와 진행한 인터뷰에서 “(알파고는) 승부 호흡도 없고, 고민도 없이 바로 수를 둔다. 정말 벽에 테니스공을 치는 느낌이었다”고 회고했다. 

바둑을 잘 두려면 규칙 학습은 물론 수읽기, 임기응변 같은 추론 능력이 필요한데, 인간의 고유 영역으로 여겨져 온 추론을 AI가 매우 잘 해낸다는 점에 매우 놀랐다는 것이다. AI업계 역시 이 사건을 ‘인간처럼 추론하는 AI’의 가능성을 보여준 사건으로 평가한다.

더욱 흥미로운 사실은 알파고 충격이 현재진행형이라는 점이다. 실리콘밸리 전문가들은 2022년 11월 30일 챗GPT의 등장으로 촉발된 ‘빠른 사고(thinking fast)’ 중심의 생성 AI 혁신 흐름이 2년이 지난 현재 ‘느린 사고(thinking slow)’로 전환되고 있다고 분석한다. 

사전에 학습한 내용을 빠르게 응답하는 ‘학습’ 위주의 AI 모델에서 문제 해결을 위해 실시간으로 깊이 있게 생각하는 ‘추론’ 중심 AI 모델로 무게 중심이 이동하는 추세다. 실리콘밸리 대표 벤처캐피털 중 하나인 세쿼이아 캐피털은 이런 발전에 힘입어 새로운 ‘에이전트 애플리케이션’이 등장하고 있다고 진단했다. 

소냐 황 세쿼이아 캐피털 제너럴 파트너는 블로그를 통해 “2016년 3월 서울로 잠시 돌아가 보자. 딥러닝(Deep Learning, 심층 학습) 역사상 가장 중요한 사건 중 하나가 이곳에서 일어났다”며 “전설적인 바둑 고수 이세돌 9단과 알파고의 대국이 그것”이라고 강조했다. 

황 파트너는 이어 “알파고는 LLM(대규모 언어 모델)과 마찬가지로 약 3000만 개의 수 학습 등을 통해 얻은 데이터를 기반으로 인간 전문가를 모방하도록 훈련됐다. 하지만 알파고는 사전 학습된 모델에서 나오는 즉각적인 반응이 아닌, 멈추고 생각할 시간을 갖는다”며 “추론할 때 알파고는 다양한 잠재적 미래 시나리오에 대한 시뮬레이션을 실행하고, 특정 시나리오에 점수를 매긴 다음 가장 기대치가 높은 시나리오로 응답한다”고 했다. 

생각할 시간이 더 많이 주어질수록 알파고가 더 나은 성능을 발휘했다는 것이다. 그녀는 “추론 시간이 0인 경우 알파고는 최고의 인간 기사를 이길 수 없지만, 추론 시간이 길어질수록 더 발전해 최고의 인간을 능가하게 된다”고 설명했다. 

실제로 생성 AI 혁신이 2단계에 접어들면서 사전 학습에 집중됐던 AI 개발 트렌드는 추론 중심으로 바뀌고 있다. 모든 경우의 수를 사전에 학습하는 것은 불가능하며 주어진 환경과 정보를 활용, 실시간으로 문제 해결 방법을 찾는 쪽이 활용성이 높기 때문이다.

가장 선두에서 이런 변화를 추동한 건 오픈AI다. 2024년 9월 발표된 ‘오픈AI o1’ 모델은 기술업계를 또 한 번 놀라게 했다. 특히 추론 시간 연산(inference-time compute) 방식에 따른 진정한 ‘일반 추론 능력’을 지녔다는 점이 다른 모델과 가장 큰 차별점이라는 평가다. 

소냐 황 파트너는 “사전 학습된 모델은 방대한 양의 데이터를 기반으로 다음 토큰(token, 의미를 지닌 말의 가장 작은 단위) 예측을 수행한다”며 “이런 모델은 ‘학습 시간 연산(training-time compute)’에 의존하는데, 이런 추론은 매우 제한적”이라고 지적했다. 과거에 학습된 데이터를 벗어난 추론에는 제한이 크다는 설명이다. 

황 파트너는 이어 “AI 모델이 더 직접적으로 추론하도록 가르칠 수 있다면 어떨까. 이것이 바로 오픈AI가 선보인 ‘스트로베리(o1의 프로젝트명)’에서 일어나고 있는 일”이라며 “스트로베리의 실제 구현 방식은 공개되지 않았지만, 핵심은 생각의 사슬(Chain of Thoughts, CoT)과 관계있다. 예컨대 기하학 문제를 풀기 위해 구의 점을 시각화하는 등 인간과 같은 방식으로 문제를 생각할 수 있다”고 했다. 

실리콘밸리 클라우드 스토리지 기업 박스의 CEO 애런 레비는 오픈AI의 o1 모델의 추론 기능은 기업용 AI 사용 사례 면에서 의미 있는 변화를 가져올 것이라고 주장하기도 했다. o1 이전 모델 대비 활용도가 높아졌다는 것이다. 그는 “o1 모델은 복잡한 기업 계약 문서에서 ‘효력 발생일’을 찾는 방법을 고민한 다음 스스로 작업을 검증할 뿐 아니라 더 많은 요청을 처리할 수도 있다”고 했다.

추론 중심 AI 모델의 등장은 앞으로 우리의 삶을 어떻게 바꿀까? 전문가들은 추론 컴퓨팅이 중요해지고, 생성 AI 트렌드가 다음 단계로 넘어가면 애플리케이션(application, 앱) 계층에까지 추론 연구·개발(R&D)의 영향력이 미칠 것으로 예측한다. 

예컨대 산업 측면에서 휴머노이드 로봇의 비약적 발전 및 활용을 상상해 볼 수 있다. 인간처럼 생각하고 자율적으로 행동할 수 있는 AI 모델이 로봇에 탑재되고, 거기에 맞춰 생산 비용이 떨어진다면 인간을 일부 대체할 수 있기 때문이다. 

AI 변호사, AI 소프트웨어 엔지니어, AI 업무 도우미, AI 고객 지원 등 AI 에이전트 앱이 등장하며 사람이 수행해 왔던 전문 서비스 시장이 혁신될 것이란 관측도 제기된다. 소프트웨어를 서비스 형태로 제공했던 ‘서비스형 소프트웨어(software-as-a-service)’에서 서비스를 소프트웨어(AI 에이전트)로 제공하는 ‘소프트웨어형 서비스(service-as-a-software)’로 패러다임이 전환되고 있다는 분석이다. 

소냐 황 파트너는 “생성 AI의 새로운 추론 기능으로 새로운 종류의 에이전트 애플리케이션이 등장하기 시작했다”며 “AI 전환은 이런 ‘소프트웨어형 서비스’로 진행되고 있다. 이 시장의 규모는 10조달러(약 1경3800조원) 이상이 될 것”이라고 전망했다. 

황 파트너는 ‘새로운 스케일링(scaling, 확장) 법칙’이 발견됐다는 점도 의미가 크다고 강조했다. 모델 학습에 더 많은 컴퓨팅 자원, 예컨대 엔비디아 GPU를 대량 투입하면 더 좋은 성능을 얻을 수 있는 것처럼, 더 많은 추론 시간을 제공해 추론 성능을 높일 수 있다는 명제가 데이터로 입증됐다는 것이다. 더 많은 추론 시간은 더 강력한 추론 컴퓨팅 성능(추론 전용 칩) 수요 증가로 이어질 수 있다.

그는 “o1 논문에서 가장 중요한 인사이트는 ‘새로운 확장 법칙’이 있었다는 점”이라며 “‘더 많은 추론 시간을 제공할수록 더 나은 추론을 할 수 있다’는 컴퓨팅 확장의 새로운 지평을 열었다”고 했다.