Insight
지난 게시물에서 삼성전자가 세계 최초로 온디바이스 AI폰을 만들어낼 수 있었던 데에는 우수한 모바일 AP 성능과 수준 높은 AI 경량화 및 최적화 기술이 주효했다고 말씀드린 바 있습니다. 이번 게시물에서는 스마트폰의 AI 성능을 좌우하는 스마트폰의 두뇌, 모바일 AP(Application Processor)에 대해 알아보도록 하겠습니다.
Sungmin Woo
March 8, 2024
안녕하세요, 에너자이 사업개발팀 우성민(Sungmin Woo)입니다. 지난 게시물에서는 올해 스마트폰 시장 내 최대 화두인 온디바이스 AI에 대해 알아보았습니다. 온디바이스 AI란 무엇인지, 온디바이스 AI를 구현하기 위해서는 어떤 기술들이 필요한지, 어떤 분야에 활용되고 있는지 간략히 알아보았는데요. 자세한 내용은 아래 링크 참고 부탁드립니다.
지난 게시물에서 삼성전자가 세계 최초로 온디바이스 AI폰을 만들어낼 수 있었던 데에는 우수한 모바일 AP 성능과 수준 높은 AI 경량화 및 최적화 기술이 주효했다고 말씀드린 바 있습니다. 이번 게시물에서는 스마트폰의 AI 성능을 좌우하는 스마트폰의 두뇌, 모바일 AP(Application Processor)에 대해 알아보도록 하겠습니다.
모바일 AP란?
모바일 AP란 스마트폰 내부에 탑재되어 명령 해석, 연산, 부품 제어 등을 수행하는 시스템 반도체입니다. 구체적으로는 스마트폰 OS, 소프트웨어 Application의 구동부터 부품 및 인터페이스의 제어까지 담당하며, CPU∙ GPU∙DSP 등 다양한 핵심 부품들이 하나의 Chip에 통합된 SoC(System on Chip)라고 볼 수 있습니다.
스마트폰에 탑재된 AI 모델들은 모바일 AP에 내장된 CPU, GPU, NPU 등의 연산 장치에서 구동되는데요. 각 연산 장치들의 역할 및 AI 연산 측면 장단점을 아래에 간략히 정리하였으니 참고 부탁 드립니다.
CPU(Central Processing Unit)
기억과 해석, 연산, 제어를 담당하는 핵심 연산 장치로, 연산 처리 능력 및 범용성이 우수하다는 장점이 있지만, 병렬 연산에 최적화되어 있지 않아 복잡한 연산을 순차적으로 수행하는 데 특화되어 있습니다.
GPU(Graphic Processing Unit)
컴퓨터 그래픽 및 영상 처리 목적으로 설계된 연산 장치로, 병렬 연산에 특화되어 있어 대량의 데이터에 대한 연산을 빠르게 수행할 수 있지만, 전력 소모량 및 비용이 높다는 단점을 보유하고 있습니다.
NPU(Neural Processing Unit)
AI 연산에 최적화된 연산 장치로, 빠른 연산 속도 및 우수한 전력 효율을 보유하고 있으나, 호환성이 매우 낮아 AI 모델을 NPU에 탑재하기 위한 추론 최적화 작업의 난이도가 매우 높다는 것이 단점입니다. 구체적으로는 특정 연산자에 최적화된 구조를 가지고 있기 때문에 해당 구조가 지원하지 않는 연산자들에 대해서는 추론 성능이 극히 저하될 수 있다는 성능적 한계를 보유하고 있으며, NPU 구조에 맞게 AI 모델을 추론 최적화하는 과정에서 막대한 시간 및 비용이 소요됩니다.
위와 같이 다양한 역할을 수행하는 모바일 AP의 사양은 스마트폰의 전반적인 성능 수준을 가장 잘 나타내는 지표이며, 온디바이스 AI가 스마트폰 시장 내 최대 화두로 부상하면서 스마트폰 내 AI 모델 구동을 수행하는 모바일 AP의 중요성은 점점 더 커질 것으로 보입니다.
격화되는 모바일 AP 기술 경쟁
시장조사업체 카운터포인트리서치에 의하면, 2023년 2분기 기준 퀄컴, 애플, 미디어텍, 삼성전자 4개사가 전체 모바일 AP 매출의 96%를 차지하고 있다고 합니다. 현재 퀄컴(40%)이 선두를 달리고 있는 가운데 그동안 중저가용 스마트폰용 제품에 주력하던 미디어텍(16%)은 플래그십 스마트폰 AP 시장 내 입지 강화에 힘쓰고 있습니다. 애플(33%)은 자사 제품(아이폰 및 아이패드 시리즈)에 자체 개발한 ‘A’ 시리즈 AP를 탑재하여 안정적으로 높은 점유율을 유지하고 있으며, 삼성전자(7%)는 최근 출시된 갤럭시 S24/S24+에 자체 개발한 엑시노스 2400을 탑재하여 모바일 AP 시장 내 점유율 회복을 꾀하고 있는데요.
AI 성능이 스마트폰 경쟁력을 결정하는 핵심 요소로 자리 잡으면서 위에 언급된 4사 모두 자사 제품의 AI 성능 강화에 매진하고 있습니다. 2023년에 출시된 대표적 차세대 모바일 AP 제품들을 아래에 간략히 정리하였으니 참고 부탁 드립니다.
Qualcomm Snapdragon 8 Gen 3
Qualcomm Kryo CPU, Qualcomm Adreno GPU, Qualcomm Hexagon NPU 탑재
이전 세대 대비 CPU 성능 30%, GPU 성능 25%, NPU 성능 98% 개선
Samsung Galaxy S24 Ultra, Xiaomi 14 Ultra, Meizu 21 등의 다양한 플래그십 스마트폰에 탑재
MediaTek Dimensity 9300
Arm Cortex-X4+Arm Cortex-A720 CPU, Arm Immortalis G720 MC12 GPU, MediaTek APU(AI Processing Unit) 790 탑재
전작 대비 정수 및 부동 소수점 컴퓨팅 성능 2배, 생성 인공지능 성능 8배 개선
Vivo X100, Oppo Find X7, Tecno Phantom V2 Fold 등의 스마트폰 탑재
Apple A17 Pro
Apple CPU, Apple GPU, Apple Neural Engine NPU 탑재
전작 A16 Bionic 대비 CPU 성능 20%, GPU 성능 20%, NPU 성능 100% 개선
Apple iPhone 15 Pro, Apple iPhone 15 Pro Max에 탑재
Samsung Exynos 2400
Arm Cortex-X4+Arm Cortex-A720+Arm Cortex-A520 CPU, Samsung Xclipse 940 GPU, Samsung NPU & DSP 탑재
전작 엑시노스 2200 대비 CPU 성능 70%, GPU 성능 70% 개선
Samsung Galaxy S24/S24+에 탑재
Optimium on Mobile AP
이전 게시물에서 말씀드렸듯이 온디바이스 AI를 구현하기 위해서는 대상 하드웨어 리소스를 효율적으로 활용하여 모델의 성능을 높이고 메모리를 절감하는 AI 최적화 기술이 필수적이며, 스마트폰에서 우수한 성능의 온디바이스 AI를 구현하기 위해서는 모바일 AP에 내장된 CPU, GPU, DSP 등의 연산 장치를 효율적으로 활용해야 합니다.
에너자이의 AI 추론 최적화 엔진 Optimium은 모바일 AP의 하드웨어 리소스를 효율적으로 활용하여 스마트폰 내 AI 모델의 추론 속도를 비약적으로 향상시킬 수 있습니다.
아래는 Optimium을 활용하여 Google MediaPipe 모델을 Qualcomm Snapdragon에 내장된 Arm Cortex CPU에 최적화한 결과입니다. 기존 추론 최적화 Tool과 비교하여 Optimium을 사용했을 때 우수한 성능을 확인할 수 있습니다.
그리고 기존 추론 최적화 Tool들의 경우 위에서도 언급된 NPU/DSP의 연산자 미지원 이슈와 같은 문제들로 인해 주어진 하드웨어 리소스를 온전히 활용하지 못하는 경우가 많은데요. Optimium은 AI 모델을 구성하는 연산자를 모바일 AP에 내장된 연산 장치들에 효율적으로 할당하여 이러한 문제를 해결할 수 있습니다.
구체적으로는 NPU/DSP가 성공적으로 지원하는 연산자는 해당 연산 장치에서 구동하고, 지원하지 않는 연산자의 경우 CPU와 같은 다른 연산 장치에서 구동 가능하도록 최적화하여 연산자 미지원으로 인한 추론 실패 및 정확도 하락 문제를 예방할 수 있습니다. 뿐만 아니라, 연산자 미지원 문제로 인해 불가피하게 NPU/DSP 연산을 포기하고 모델 전체를 CPU와 같은 다른 연산 장치에서 구동함으로써 발생하는 추론 속도 저하 문제 또한 효과적으로 해결할 수 있습니다.
이처럼 모델을 구성하는 연산자를 최적 구동할 수 있는 연산 장치에 할당하여 연산을 수행하는 것을 ‘Heterogeneous Inference’라고 표현하기도 합니다. 이는 구현 난이도가 매우 높은 기능으로 대부분의 추론 최적화 Tool들에는 구현되어 있지 않은 Optimium의 핵심 기능들 중 하나입니다. 해당 기능은 Beta 기간 내 업데이트 예정이니 참고 부탁 드립니다.
AI 최적화에 대해 좀 더 자세히 알고 싶으신 분들은 아래 게시물 참고 부탁 드립니다!
마지막으로, 현재 Optimium은 AI 최적화에 대한 니즈가 있는 잠재 고객들을 대상으로 한 Beta Test를 앞두고 있습니다. Optimium Beta Test 참여에 관심 있으신 분들은 아래 링크를 통해 신청 부탁 드립니다!