이유는 두 가지다. 하나는 환각(hallucination)이다. 추론 능력이 크게 향상됐음에도 그럴듯한 거짓을 자신 있게 생성하는 성향은 사라지지 않았다. 확률적 언어 생성이라는 작동 원리에서 비롯된 구조적 특성이기 때문이다. 창의적인 초안 작업에서는 크게 문제 되지 않지만, 정확성이 생명인 법률· 회계·의료 자문에서는 치명적이다. 다른 하나는 기업 자동화의 핵심인 판단과 예측 영역에서 결정적 진전이 없다는 점이다. 팔란티어의 성공은 이를 역설적으로 증명한다. 이 회사는 자동화에 앞서 기업 데이터를 온톨로지로 정리하는 작업을 선행하고, 최종 판단은 인간에게 맡기는 ‘휴먼 인 더 루프’ 원칙을 고수한다. 지금의 AI가 기업 데이터에서 곧바로 올바른 판단을 추출하지 못한다는 시장의 실증적 결론이다.
AI 에이전트에 의한 전면 자동화도 예상보다 훨씬 느리다. 이미 자동화된 프로세스를 이종(異種) 에이전트 결합으로 대체할 때 얻는 새로운 가치는 불분명한 반면, 결합이 만드는 복잡성과 장애 전파 위험은 명확하다. 에이전트 하나가 오류를 일으키면, 그 오류가 다음 에이전트로 그대로 전파되기 때문이다. 극소수 애호가가 아니면 오디오를 서로 다른 회사 제품으로 조합해 쓰지 않는 이유와 다르지 않다. 통합 책임이 불분명한 시스템은 부품이 아무리 우수해도 선택받지 못한다.
지표는 오르고 역량은 잠식된다
경영자가 가장 경계해야 할 것은 따로 있다. 스웨덴 스톡홀름대 스트룀베리와 홍콩대 레이·우 교수가 2026년 발표한 연구는 중국 중고생 2만6811명을 30개월간 추적했다. AI를 도입한 학생의 숙제 점수는 18% 올랐고 소요 시간은 30% 줄었다. 그러나 6개월 안에 폐쇄형 시험 점수는 20% 떨어졌고, 입시 성적은 18~24% 하락했다. 충격의 전모는 2년이 지나서야 드러났다. 손실은 사회과학 과목에서 가장 컸고 이공계(자연과학)·어학이 뒤를 이었으며, 특히 저학년과 상위권 학생, 남학생에게서 두드러졌다. 전체 손실은 AI를 ‘속도 도구’로 쓴 약 80%에 집중됐고, 절약한 시간을 학습에 투입한 소수는 손실이 미미했다. 기업의 신입 사원 교육이나 사내 연수에도 같은 위험이 도사리고 있다. 정답을 빨리 얻는 것과 그 과정에서 실력을 쌓는 것은 전혀 다른 문제이기 때문이다. 핵심은 이 괴리가 일상적 측정 지표에는 전혀 잡히지 않은 채 수년간 지속됐다는 점이다. 산출물 생산성은 개선되는데 역량은 잠식된다. AI 활용 방식에 따른 생산성 양극화는 이미 시작됐다.
피지컬 AI(Physical AI·자율주행차나 로봇 등 물리 세계에 영향을 미치는 AI)는 더 느리다. 챗봇을 인터넷에 널린 텍스트로 학습시킬 수 있었지만, 유리잔을 집어 커피를 따르게 로봇을 가르치는 데 필요한 데이터는 수집 자체가 어렵다.
중국이 정부 재정으로 휴머노이드(인간형 로봇) 훈련 센터를 세워 사람 동작을 로봇이 관찰·모방하게 하는 방식을 택한 것은 이 병목이 얼마나 심각한지를 보여준다. 자율주행 상용화가 이미 십수 년째 밀려온 것도 같은 증언이다. 다만 국가가 보조금으로 데이터 수집을 밀어붙이는 방식은 태양광 패널 산업에서 이미 한 번 작동했다. 휴머노이드에서 중국 독점 가능성은 한국이 심각하게 걱정해야 할 사안이다.
하이퍼스케일러와 신뢰재
개발 경쟁의 구조도 드러났다. 데이터, 인력, 자본, 글로벌 마케팅 모두에서 규모의 경제가 강하게 작동한다. 그러나 규모만으로 설명되지 않는 더 깊은 이유가 있다. 경제학에서는 사용한 뒤에도 품질을 정확히 평가하기 어려운 재화를 ‘신뢰재’라 부른다. 의료, 자동차 수리, 법률 자문이 전형이다. 판단이 불가능할 때 소비자는 공급자 명성에 의존한다. 이 개념은 1973년 경제학자 마이클 다비와 에드거 카르니가 처음 제시했다.
AI는 전형적인 신뢰재다. 오류율이 질문마다 다르고, 같은 모델도 시점에 따라 달라지며, 답의 정확성을 검증할 능력이 있다면 애초에 AI에 물을 이유가 없다. 이 조건에서 시장은 성능이 가장 좋은 공급자가 아니라 명성이 가장 확고한 공급자를 중심으로 재편된다. 그 결과 기업은 벤치마크 점수보다 오랫동안 신뢰를 쌓아온 빅테크와 하이퍼스케일러를 우선 선택하는 경향을 보인다. 후발 주자가 벤치마크 격차를 좁혀도 점유율로 전환되지 않는 구조적 이유이며, 소버린 AI(Sovereign AI·특정 국가에 종속되지 않는 독자적인 AI) 구상에 회의적일 수밖에 없는 근거다. 명성은 단기간에 축적되지 않기 때문에, 후발국이 독자 모델을 밀어붙인다고 해서 곧바로 신뢰를 얻는 것도 아니다. 한국의 소버린 AI 전략도 이 구조적 제약을 전제로 짜야 한다.
무료 오픈소스 모델의 지속 가능성도 냉정히 봐야 한다. 리눅스는 한계 복제 비용이 사실상 0이고 개발 노동이 분산 기여로 충당됐다. 반면 AI 기초 모델은 훈련은 물론 운용 단계에서도 막대한 비용이 발생한다. 이를 덮고 남는 부가 서비스 모델이 없는 한 현재의 무료 제공은 투자 열기와 정부 보조금이 만든 한시적 상태다. 보조금이 걷힌 뒤의 가격을 전제로 도입 전략을 짜야 한다.
드러커의 교훈
피터 드러커는 ‘단절의 시대(1969)’에서 생산성 향상은 혁신 기술이 등장할 때가 아니라 변혁 비용이 모두 치러진 뒤에 서서히 나타난다고 했다. 경제사학자 폴 데이비드는 논문 ‘다이너모와 컴퓨터(1990)’에서 전기모터가 미국 제조업 생산성 통계에 나타나기까지 약 40년이 걸렸음을 보였다. 공장의 동력 축을 걷어내고 기계 배치를 다시 설계하는 조직적 재구성이 끝나야 성과가 나왔기 때문이다. 에릭 브리뇰프슨의 ‘생산성 J커브’ 역시 범용 기술 도입 초기에는 측정 생산성이 오히려 하락하는 것이 정상이라고 설명한다. 지금 기업이 AI 투자 대비 성과가 없다고 조급해하는 것 자체가 역사적으로 반복돼 온 이행기의 착시일 수 있다는 뜻이다.
경영자에게 주는 함의는 세 가지다. 첫째, AI 도입의 성패는 모델 선택이 아니라 업무 프로세스와 데이터 구조 재설계에서 갈린다. 둘째, 산출물 지표가 개선되는 동안 조직 역량이 잠식되고 있지 않은지를 별도로 측정해야 한다. 그 괴리는 일상 지표에 잡히지 않는다. 셋째, 최종 판단을 인간에게 남기는 것은 보수적 선택이 아니라 현재로서는 합리적 선택이다.
기술의 궁극적 가능성을 과소평가하는 것과 실현 속도를 과대평가하는 것은 둘 다 값비싼 실수다. 지금 한국 기업이 더 조심해야 할 쪽은 후자다. 3년이라는 시간은 기술이 무엇을 할 수 있는지 보여주기에는 충분했지만, 조직이 그것을 온전히 소화하기에는 턱없이 짧았다. 다음 3년의 승부는 더 좋은 모델을 고르는 싸움이 아니라, 업무와 데이터, 평가 지표를 다시 설계하는 싸움이 될 것이다.