최근 현대차그룹은 신형 ‘더 뉴 그랜저’에 사람처럼 자연스럽게 대화하는 차량용 음성 AI 에이전트 ‘글레오 AI(Gleo AI)’를 처음으로 탑재했습니다. 정해진 명령어만 알아듣던 기존 음성 인식과 달리, 글레오 AI는 대화의 맥락과 주행 상황, 발화자의 위치까지 파악해 운전자의 의도를 이해하는데요. 자동차가 ‘소프트웨어 정의 차량(Software Defined Vehicle)’으로 전환되면서, 운전자가 차와 만나는 첫 접점이 버튼과 화면에서 ‘목소리’로 빠르게 옮겨가고 있다는 신호입니다.

출처: 현대자동차그룹

그런데 이 똑똑한 음성 비서를 둘러싼 더 근본적인 질문이 하나 있습니다. 그 연산을 대체 ‘어디서’ 처리할 것인가입니다. 흥미롭게도 메르세데스-벤츠를 비롯한 주요 OEM들은 약속이라도 한 듯 클라우드 의존을 줄이고 차량 안에서 직접 AI를 구동하는 방향으로 움직이고 있는데요. 왜 이들은 강력한 클라우드를 두고 ‘온디바이스’로 향하는 걸까요?

이번 글에서는 온디바이스 AI 연구가 가장 활발히 이루어지고 있는 또 다른 무대인 ‘자동차’에서 음성 AI가 어떻게 활용되고 있는지, 위 질문처럼 왜 OEM들이 온디바이스로 향하는지, 그리고 초경량 음성·언어 AI를 만드는 저희 에너자이의 기술이 차량 OEM과 디지털 콕핏 제조사들의 어떤 고민을 해결할 수 있는지 이야기해보고자 합니다.

요약

• 자동차는 ‘소프트웨어 정의 차량(SDV)’으로 전환되며 디지털 콕핏이 브랜드 차별화의 격전지가 되었고, 그 중심에는 운전자와 차량을 잇는 음성 AI 인터페이스가 자리잡고 있습니다. AI 기반 차량 콕핏·어시스턴트 시장은 2025년 약 71억 달러에서 2026~2035년 연평균 22.2% 성장이 전망됩니다.

• 차량용 음성 AI는 내비게이션·공조·인포테인먼트 제어를 넘어, 자연어로 대화하고 운전자의 의도를 파악하는 ‘AI 비서’로 진화하고 있습니다.

• 그러나 현재 대부분의 차량용 음성 AI는 클라우드 기반으로 구현되어 통신 음영 지역(터널·지하·외곽)에서의 동작 불가, 주행 중 치명적인 지연 시간, 차량 1대당 누적되는 운영 비용, 차내 음성 데이터의 프라이버시 우려라는 한계를 안고 있습니다.

• 메르세데스-벤츠, 현대차그룹 등 주요 OEM들은 클라우드 의존을 줄이고 차량 내에서 온디바이스로 구동될 수 있는 기능의 비중을 높이기 위해 노력하고 있지만, 메모리·연산 자원이 제약된 온디바이스 환경에서 안정적인 성능을 내는 것은 매우 어려운 과제입니다.

• 에너자이는 차별화된 AI 경량화 및 최적화 기술을 기반으로 차량 내부 환경에 특화된 초경량 음성 AI 에이전트를 구현하여 자동차 산업 내 AI 혁신을 가속화하고자 합니다

AI@Car

“가장 빠른 길로 안내해줘.” “온도 2도만 낮춰줘.” “졸린데 가까운 휴게소 알려줘.”

운전대에서 손을 떼지 않고 목소리만으로 차량과 대화하는 모습은 이제 일상이 되어 가고 있습니다. 전통적으로 차량의 음성 기능은 “내비게이션 켜줘”, “음악 재생”처럼 정해진 명령어만 인식하는 수준이었는데요. 하지만 오늘날의 차량 음성 AI는 자연어 처리(NLP) 기술을 기반으로, 일상적인 대화 방식으로 차량과 소통할 수 있는 단계로 진화하고 있습니다.

이러한 변화의 배경에는 소프트웨어 정의 차량(Software-Defined Vehicle, SDV)으로의 전환이 있습니다. 차량의 기능이 하드웨어가 아닌 소프트웨어로 정의되고 무선(OTA)으로 업데이트되는 시대가 본격화되면서, OEM들의 진짜 경쟁은 ‘디지털 콕핏(Digital Cockpit)’에서 벌어지고 있습니다. 그리고 그 콕핏 경험의 중심에는 운전자와 차량을 가장 자연스럽게 연결하는 음성 어시스턴트가 있습니다.

출처: HARMAN

시장도 이러한 흐름을 뒷받침합니다. AI 기반 차량 콕핏·어시스턴트 시장은 2025년 약 71억 달러 규모로 추정되며, 2026년부터 2035년까지 연평균 22.2%의 높은 성장률이 전망되고 있는데요. 핸즈프리 조작과 개인화에 대한 소비자 수요, 그리고 운전 안전성 강화라는 규제 흐름이 이 성장을 함께 견인하고 있습니다.

출처: Global Market Insights

주요 적용 사례

차량 음성 AI는 단순 명령 제어에서 시작해, 점차 차량 전반을 아우르는 통합 인터페이스로 확장되고 있습니다. 대표적인 활용 영역을 정리하면 다음과 같습니다.

① 공조 및 차량 설정 제어

• “발쪽으로 바람 보내줘”, “2열만 시원하게” → 방향·좌석별 공조 제어

• 시트 열선·통풍, 윈도우, 선루프, 무드등의 핸즈프리 설정

• “공기 좀 탁한데” → 환기·공기청정 모드 자동 실행

② 내비게이션 및 경로 안내

• “퇴근길 막히면 우회로로 안내해줘” → 실시간 교통 반영 경로 재탐색

• “가는 길에 충전소 들렀다 가자” → 경로상 경유지 자동 추가

• 목적지 주변 주차장·관심지점(POI) 음성 검색

③ 차량 상태 확인 및 관리

• “주행 가능 거리 얼마나 남았어?” → 연료·배터리 등 차량 상태 음성 안내

• 정비 시점 알림, 경고등 의미 안내

④ 인포테인먼트(IVI) 및 콘텐츠 추천

• “잔잔한 음악 틀어줘”, “어제 듣던 팟캐스트 이어서 들려줘” → 상황·이력 기반 재생

• 음악·라디오·오디오북 통합 음성 제어 및 미디어 검색

최근에는 단순 명령 제어를 넘어 멀티모달(음성+제스처+시선) 인터페이스, 운전자의 목소리 톤과 생체 신호로 상태를 파악하는 감정 인식, 그리고 대형 언어 모델(LLM) 기반의 대화형 비서까지 차량에 통합되는 사례가 늘고 있습니다.

Why On-device?

현재 차량에 탑재된 대부분의 음성 AI 기능은 클라우드 기반으로 구현되어 있습니다. 차량 마이크로 들어온 음성 데이터를 클라우드 서버로 전송해 AI 연산을 수행하고, 그 결과를 다시 차량으로 보내 사용자에게 전달하는 구조인데요. 클라우드는 방대한 컴퓨팅 자원을 활용할 수 있다는 장점이 있지만, 자동차라는 환경에서는 다음과 같은 본질적인 한계에 부딪힙니다.

1. 통신 음영 지역에서의 동작 불가

터널, 지하 주차장, 산간·외곽 도로 등 통신이 끊기는 구간에서는 클라우드 기반 음성 AI가 제대로 동작하지 않습니다. 그러나 차량은 바로 이런 환경을 끊임없이 지나다니는 디바이스입니다. “인터넷이 연결되어야만 쓸 수 있는 음성 비서”는 차량의 사용 맥락과 근본적으로 맞지 않습니다.

2. 사용자 경험을 저해하는 지연 시간

음성 데이터를 서버로 보내 처리하고 결과를 받아오는 클라우드 방식에서는 그 과정에서 지연(latency)이 발생합니다. 연구에 따르면 음성 AI 사용자가 자연스럽다고 판단하는 응답 시간(natural delay)은 1.5초 정도이고, 5초 이상이 소요될 경우 심각한 문제로 인식한다고 하는데요. 클라우드 기반 AI 에이전트의 경우 통신 상태에 따라 지연 시간이 불규칙하게 변화할 수 있다는 것이 아쉬운 점입니다.

3. 차량 1대당 누적되는 운영 비용
클라우드 기반 AI는 API 호출 비용과 서버 인스턴스 비용이 지속적으로 발생합니다. 수백만 대 규모로 차량을 판매하는 OEM에게 이는 차량 1대당, 매월 누적되는 운영 비용으로 이어집니다. 음성 AI 에이전트 파이프라인의 시작 단계에 해당하는 STT에 한정하여 대략적인 비용 규모를 추산해보겠습니다.

오픈AI나 구글에서 제공하는 대표적인 STT API 가격은 분당 $0.006 수준인데요. 간단한 예로 2025년 기준 국내에서 12만 대가 판매된 현대자동차 제네시스 브랜드 적용을 가정해보겠습니다.

하루에 음성 인식 기능을 2분 정도만 사용한다고 가정해도 대당 연간 $4.4의 비용이 발생하며, 12만대 기준으로는 연간 $525K (약 8억 원) 상당의 비용이 지속적으로 발생하게 됩니다. 심지어 실제로는 STT로 변환된 텍스트를 이해하여 답변을 생성하는 LLM과 생성된 답변을 음성으로 바꿔주는 TTS에 대한 API 비용까지 발생하며, 누적 판매대수가 쌓일수록 비용은 매년 불어납니다.

4. 차내 음성 데이터의 프라이버시 우려
차량 안에서 오가는 대화는 매우 사적인 데이터입니다. 이를 외부 서버로 전송·저장하는 구조는 운전자의 프라이버시 우려와 데이터 규제 대응 부담을 키웁니다. 데이터가 차량을 떠나지 않는 온디바이스 처리는 이 문제에 대한 가장 근본적인 해법입니다.

위에서 보신 바와 같이 차량용 음성 AI 에이전트가 온디바이스로 구현되었을 때 이점이 너무나도 명확하기 때문에 이미 대부분의 선도 기업들은 자체적으로, 또는 외부 음성 AI 기업과의 협업을 통해 관련 연구를 진행하고 있는데요. 메르세데스 벤츠는 Liquid AI와 협력해 음성 인식 및 자언어 처리 과정을 차량 내에서 처리할 수 있는 음성 AI 에이전트를 자체 운영체제 MB.OS에 탑재하기로 했고(2026년 하반기 양산 목표), 프리미엄 전기차 브랜드 루시드 또한 Soundhound AI와 협력하여 오프라인 환경에서도 구동 가능한 대화형 AI 에이전트를 개발하고 있습니다.

출처: 메르세데스 벤츠

ENERZAi in Automotive

디지털 콕핏에 활용되는 차량용 AP(애플리케이션 프로세서) 모듈의 경우 일반적으로 GPU와 NPU가 탑재되어 있고, 가전 제품이나 웨어러블 같은 디바이스들에 비해서는 메모리/연산 자원이 풍부한 편입니다. 그럼에도 자연스러운 대화까지 지원하는 음성 AI 에이전트를 차량 안에서 온전히 구동하는 일은 여전히 만만치 않은데요. 고도화된 음성 인식 및 언어 모델이 필요한 만큼 더 많은 메모리 및 연산 자원을 필요로 하기 때문입니다.

Our Goal

에너자이가 그리는 그림은 단순히 주어진 명령을 수행하는 음성 비서를 넘어섭니다. 궁극적으로는 운전자의 발화를 단순 인식하는 데 그치지 않고 맥락을 이해하고, 여러 단계에 걸치는(multi-turn) 대화를 이어가며, 상황에 맞는 기능을 스스로 판단해 호출하는 에이전틱(Agentic) AI를 지향하고 있는데요. 특히 메모리/연산 자원이 제약된 온디바이스 환경에서도 최적의 성능을 구현하기 위한 연구에 집중하고 있습니다.

Target Domain에 최적화된 초경량 음성/언어 모델

완성도 높은 에이전트형 AI는 결국 좋은 ‘부품’에서 나옵니다. 에너자이는 호출어 인식(KWS), 음성 활동 감지(VAD), 음성인식(STT), 언어모델(sLM), 음성 합성(TTS)까지 파이프라인을 구성하는 음성·언어 모델을 직접 개발하는데요. 각 모듈을 자체적으로 설계·학습하기 때문에, 차량이라는 환경과 고객사의 요구에 맞춰 파이프라인 전체를 유연하게 조율할 수 있습니다.

특히 이 모델들은 온디바이스에 맞춘 초경량 모델인 만큼, 모든 주제를 두루 잘하는 범용성보다 타겟 도메인에서의 성능을 극대화하는 방향으로 고도화합니다. 무엇이든 이해하면 좋겠지만, 차량에서는 “온도 2도 낮춰줘”, “가까운 충전소로 안내해줘” 같은 발화를 더 정확하고 빠르게 인식해 올바른 동작까지 정확히 수행하도록 만드는 편이 훨씬 효과적이기 때문입니다.

출처: Mihup

Hardware-aware 최적화

온디바이스 AI의 관건은 주어진 하드웨어 자원을 최대한 효율적으로 활용하여 최소한의 메모리/전력으로 높은 정확도를 구현하는 것입니다. 에너자이는 매우 낮은 비트로 AI 모델을 압축한 다음, 모델을 구성하는 연산들을 대상 하드웨어에서 최적의 성능을 낼 수 있는 형태로 변환하여 고객사 디바이스 환경에 최적화된 초경량 음성/언어 AI 솔루션을 제공하고 있는데요. 특히 반도체사 SDK가 지원하지 않는 연산들에 대해서도 커스텀 커널 (하드웨어가 연산을 실제로 수행하는 방식을 정의한 low-level 실행 코드)을 직접 구축하여 대상 하드웨어 환경에서의 추론 성능을 극대화하는 것이 가능합니다.

그 동안에는 주로 범용성 측면에서 강점을 지닌 Arm CPU 기반 SoC에 AI 솔루션을 배포해왔지만, 올해부터는 그 지원 범위를 GPU와 NPU로 점진적으로 확장하고 있는데요. 실제로 퀄컴 QNN이 지원하지 않는 연산들에 대한 커널들을 직접 구축하여 2B LLM을 퀄컴 Hexagon NPU (in QCS6490)에서 구동하는데 성공하기도 했습니다. 다르게 말하면, 차량용 AP 모듈에 탑재되는 임베디드 CPU, GPU, NPU 자원을 가장 효율적으로 활용하기 위해 필요한 역량을 갖춘 것이죠.

Qualcomm Hexagon에서 1.58-bit 커널로 BitNet 구동하기

실제로 저희가 고객사에 납품하고 있는 음성 제어 솔루션의 경우 호출어 인식부터 음성 인식, 명령 제어 및 음성 합성까지 여러 모델로 구성된 파이프라인이지만, RAM 사용량은 500MB도 되지 않습니다. 이처럼 최소한의 메모리로 우수한 성능을 낼 수 있으므로, 남는 자원을 다른 기능들에 할당하거나 같은 하드웨어에서 더 큰 모델을 운용할 여유가 생긴다는 것이 장점입니다.

차량에서 온디바이스 AI는 필연적 흐름입니다

차량은 더 이상 단순한 탈 것이 아니라 수많은 연산 장치에서 구동되는 소프트웨어로 구성된 컴퓨팅 디바이스에 가깝습니다. 그리고 이러한 변화에 걸맞는 사용자 경험 혁신의 중심에는 AI 에이전트가 위치하고 있는데요. 클라우드 기반으로도 충분히 좋은 성능의 AI를 구현할 수 있지만, 운영 비용이나 네트워크 안정성, 개인 정보 보호 등의 요인들을 고려하면 온디바이스 AI의 도입은 필연적입니다.

그리고 외부 환경에 대한 의존 없이 운전 경험을 혁신할 수 있는 AI 에이전트를 구현하기 위해서는 온디바이스 환경의 메모리 병목을 극복할 수 있는 AI 경량화 및 최적화 기술이 필수적인데요. 에너자이는 차량 내부 환경에 특화된 초경량 AI 에이전트로 자동차 산업 내 온디바이스 AI 혁신을 가속화하고자 합니다.

차량 OEM, 디지털 콕핏 제조사, Tier 1 부품사로서 온디바이스 음성 AI 도입을 고민하고 계신다면, 혹은 그 외 에너자이 기술 및 솔루션에 대해 궁금하신 점이 있다면, 언제든 홈페이지를 통해 편히 연락 부탁드려요!

Smallest On-Device AI for Voice & Language