생성 AI 다음 단계 성패는 컴퓨팅 역량이 좌우

2026년 생성 AI(Generative AI) 산업은 중대한 전환점을 맞을 가능성이 크다. 지금까지 인공지능(AI) 컴퓨팅의 핵심 목적은 막대한 데이터를 학습시키는 ‘훈련(training)’ 에 있었다. 그러나 앞으로는 기업과 소비자의 질문, 프롬프트, 업무 요청을 이해하고 해석해 답변하는 ‘추론(inference)’ 기능이 AI 컴퓨팅 수요의 중심으로 이동할 전망이다. 생성 AI가 단순히 모델을 만드는 단계를 넘어 실제 산업과 일상에 대규모로 적용되기 시작하면서, 컴퓨팅 구조 자체가 변화하고 있는 것이다.

딜로이트는 2026년 추론 워크로드가 AI 컴퓨팅의 약 3분의 2를 차지할 것으로 전망한다. 2023년 약 3분의 1 수준이던 비중이 2025년 절반 수준까지 확대된 데 이은 것이다. 불과 몇 년 만에 AI 컴퓨팅의 중심축이 완전히 바뀌는 셈이다. 이에 따라 업계에서는 추론 최적화 전용 칩 수요가 빠르게 증가할 것으로 보고 있다. 일부 전문가는 저렴한 추론 칩이 스마트폰과 PC, 각종 엣지 디바이스에 폭넓게 탑재되면서 장기적으로는 대규모 데이터센터 필요성이 줄어들 가능성도 제기한다. 하지만 딜로이트는 AI 산업이 예상보다 훨씬 더 거대한 컴퓨팅 경쟁 ..