인도 마드라스 공과대 기술학, 미국 UCLA 적응신호처리학 석·박사
두르가 말라디 퀄컴 수석부사장이 9월 5일 서울 중구 웨스틴 조선 서울에서 열린 ‘스마트클라우드쇼 2024’ 직후 인터뷰에서 발언하고 있다. /조선비즈
‘스마트폰의 두뇌’로 불리는 애플리케이션 프로세서(AP) 강자 퀄컴이 성능과 전력 효율을 무기로 온디바이스 AI(On-Device AI·인터넷 연결 없이 기기 자체에서 실행되는 AI) 확산을 주도하겠다는 자신감을 내비쳤다. 온디바이스 AI를 활용하면 인공지능(AI) 서버를 활용하지 않아도 돼 데이터센터에서 발생하는 전력 소모를 줄일 수 있고, 사용자의 개인정 보도 클라우드를 거치지 않기 때문에 보안성이 우수하다는 장점이 있다. 하지만 클라우드 없이 IT 기기 자체적으로 대량의 데이터를 다루는 생성 AI(Generative AI)를 가동해야 하는 만큼 온디바이스 AI 구현을 위해선 성능과 전력 효율이 보장되어야 한다.두르가 말라디 퀄컴 수석부사장은 최근 서울 중구 웨스틴 조선 서울에서 열린 국내 최대 테크 콘퍼런스 ‘스마트클라우드쇼 2024’ 직후 인터뷰에서 “온디바이스 AI를 구동하는 퀄컴의 신경망처리장치(NPU)는 업계 최고의 성능을 발휘하고 있으며, 전력 소모량도 매우 낮다”고 말했다.
이날 말라디 수석부사장은 ‘모든 곳에서 지능형 컴퓨팅을 가능하게 만들다(Enabling Intelligent Computing Everywhere)’라는 주제로 기조 강연에 나섰다. 말라디 수석부사장은 퀄컴의 기술 기획 및 에지 솔루션 부문을 총괄하고 있다.
퀄컴은 스마트폰에 AI 기능이 전면 탑재되는 추세에 발맞춰 글로벌 스마트폰 제조사에 고성능 AP를 공급하고 있다. 올해는 삼성전자 ‘갤럭시S24’ 시리즈에 적용된 ‘스냅드래곤8’ 시리즈에 이어 ‘스냅드래곤 7s’ 시리즈로 온디바이스 AI 지원 제품군을 확대했다. 샤오미를 시작으로 삼성전자·리얼미·샤프 등이 해당 제품을 탑재한 스마트폰을 출시한다. 생성 AI 기능을 탑재한 스마트폰, ‘AI 폰’ 시대에 발맞춰 차세대 고성능, 저전력 AP 개발에도 고삐를 죄고 있다.
퀄컴은 모바일 AP뿐만 아니라, 마이크로소프트(MS)가 공개한 AI 비서 코파일럿 플러스(+)를 구동하는 AI PC용 프로세서를 출시하는 등 온디바이스 AI용 제품군을 확대하고 있다. 말라디 수석부사장은 온디바이스 AI 반도체 시장에서 퀄컴이 가장 우수한 성능을 보이고 있다고 설명했다. 그는 “스마트폰과 PC 등에서 생성 AI를 실행할 때 여기에 최적화돼 설계된 프로세서가 필요하다. 퀄컴은 NPU와 더불어 중앙처리장치(CPU)와 그래픽처리장치(GPU)도 업계 최고 수준의 기술력을 보유하고 있고 이 세 가지 프로세서 조합으로 모든 종류의 생성 AI 서비스를 온디바이스에서 실행할 수 있도록 지원하는 능력도 갖췄다”고 했다.
말라디 수석부사장은 퀄컴이 고성능 프로세서뿐만 아니라 보급형 중저가 프로세서 공급을 확대, 온디바이스 AI 확산에 기여할 것이라고 했다. 9월 4일(현지시각) 크리스티아누 아몬 퀄컴 최고경영자(CEO)는 독일 베를린에서 열린 유럽 최대 가전 전시회 ‘IFA 2024’ 기자 간담회에서 보급형 프로세서 ‘스냅드래곤 X 시리즈’를 공개하며 삼성전자와 레노버, 델, 에이수스 등과 협업해 90만~100만원대 AI PC 제품을 내놓겠다고 발표했다.
온디바이스 AI 시장이 급성장할 것으로 전망된다. 퀄컴은 어떤 강점을 지녔는지.
“현재 업계의 초점은 온디바이스 AI에서 ‘온디바이스 생성 AI’로 전환되고 있다. 단순히 AI 서비스만을 적용하는 것이 아니라, 급속도로 발전하고 있는 생성 AI가 대거 소비자용 IT 기기에 탑재되고 있다. 스마트폰뿐만 아니라 최근 출시되는 AI PC에서도 이러한 경향을 찾아볼 수 있다.
소비자용 IT 기기에 적용되는 만큼 성능뿐만 아니라 전력 효율도 중요하다. 고성능을 유지하면서도 전력 소모량은 최대한 낮춰야 한다. 스마트폰과 PC 등 모든 영역에서 생성 AI를 구동하는 퀄컴의 NPU는 성능뿐만 아니라 전력 효율 지표인 ‘와트당 성능’도 업계 최고 수준이다. NPU뿐만 아니라 CPU와 GPU 기술력도 업계 선두 자리에 있고, 이 세 가지 프로세서의 조합으로 모든 종류의 생성 AI 서비스를 온디바이스에서 실행할 수 있도록 지원하는 기술력을 갖춘 것이 퀄컴의 경쟁력이다.”
AI 애플리케이션의 발전 속도가 굉장히 빠르고, AI 모델도 다변화되고 있다. 이에 대응하기 위한 전략은.
“퀄컴은 지난해 70억 개 파라미터를 보유한 거대 언어 모델(LLM)을 온디바이스에서 효율적으로 실행할 수 있다는 점을 보여줬다. 토큰을 얼마나 빠르게 생성할 수 있는지(TTFT·Time To First Token)가 통상적인 KPI인데, 퀄컴의 TTFT는 2msec(밀리초· 1000분의 1초) 이내의 성능을 기록했다. 퀄컴은 기술 영역에서 발전뿐만 아니라 모델을 만드는 파트너사와도 협력해 우수한 성능을 유지하면서도 전력 효율을 높이기 위한 노력을 지속하고 있다.”
스냅드래곤 X 시리즈 같은 보급형 프로세서가 온디바이스 AI 확산을 앞당길 것이라고 보는지.
“앞으로 발표되는 모든 종류의 플래그십 스마트폰과 PC(태블릿 vpc 포함)에 생성 AI가 내장될 것으로 예상한다. 스마트폰과 노트북 이외에 산업용 IoT 기기에도 생성 AI가 확대되고 있다. 이미 대부분의 고객사가 IT 기기에 AI 기능을 탑재하기 시작했고, 이는 돌이킬 수 없는 변화다. IFA 2024에서 아몬 CEO가 공개한 스냅드래곤 X 시리즈처럼 보급형 중저가 제품군이 출시되면서, 온디바이스 AI의 빠른 확산에 기여할 것이라고 생각한다. 퀄컴은 모바일과 PC뿐만 아니라 IoT와 오토모티브 등 전체 산업 분야에서 온디바이스 AI 공급이 빨라질 수 있도록 제품군을 확대하는 전략을 취할 것이다.”
모바일과 AI PC를 중심으로 온디바이스 AI 기기가 발전하고 있다. 앞으로 어떤 차세대 디바이스가 각광을 받을 것으로 보는지.
“명확히 관찰되는 경향 중 하나는 디바이스 화면 조작을 위해 기존에는 손을 활용해 왔으나 최근에는 사용자의 음성이 더 자연스럽게 사용되고 있다는 점이다. 최근 생성 AI 음성 비서는 6년, 8년 전의 음성 비서와 비교했을 때 매우 발전했고, 이를 고려했을 때 앞으로 음성만을 사용할 수 있는 종류의 디바이스가 꾸준히 출시될 것이라고 본다. 퀄컴이 디바이스를 직접 만들지는 않지만, 새로운 종류의 디바이스가 나올 수 있도록 이를 지원하기 위한 솔루션 및 플랫폼을 제공할 것이다.”