안녕하세요! 에너자이 사업개발팀 손민우 입니다. 지금까지 여러 게시물을 통해, 에너자이의 그래프 최적화 역량이 집약된 컴파일러 ‘Optimium’, 효율적인 최적화를 가능케 하는 메타프로그래밍 언어 ‘Nadya’, 그리고 이를 활용해 개발한 초경량 1.58-bit 음성 인식 AI 모델 등, 고성능 온디바이스 AI를 실현하는 에너자이의 풀스택 소프트웨어 역량에 대한 정보를 전달 드려왔는데요. 오늘은 세부 기술에서 한 걸음 물러서서, 온디바이스 AI가 필요한 근본적인 이유에 대해 이야기를 나눠볼까 합니다.

고객사와 온디바이스 AI 구현을 논하는 첫 회의에서 가장 먼저 나오는 질문은 대개 비슷합니다. 어차피 클라우드 기반의 최신 LLM 모델을 API로 바로 가져다 쓸 수 있는데, 디바이스에 AI 모델을 탑재할 이유가 있냐는 거죠. 저도 온디바이스가 서버의 절대적인 연산 성능을 따라잡기 어렵다는 사실은 인정합니다. 그럼에도 불구하고, 온디바이스 AI는 성능이 아닌 구조적인 이유 때문에 필수적입니다.

핵심은 세 가지입니다: 비용, 서비스 안정성, 프라이버시입니다.

1. 비용: 서비스 제공에 수반되는 API 비용 예측이 불가합니다

수많은 AI 서비스가 기반을 두고 있는 빅테크 기업의 AI는 입력되는 데이터 단위를 기준으로 비용을 청구합니다. OpenAI의 LLM API 가격표를 예시로 보면, 모델 별 100만 토큰 단가가 명확히 제시되어 있어요. 심지어 입력되는 토큰과 출력되는 토큰에 대해 각각 과금합니다.

출처: OpenAI

음성 데이터를 언어 모델이 처리할 수 있는 텍스트로 변환해주는, 음성 AI 서비스에 필수적인 Speech-to-Text (STT) 모델 API에 대해서도 상황은 마찬가지입니다. 아래의 Google Cloud의 STT API 가격 정책을 살펴보면, 입력되는 음성 데이터의 길이와 양에 비례하여 가격이 책정되죠.

출처: Google Cloud

이러한 구조에서는 API 사용량이 늘수록 비용이 선형적으로 증가합니다.

스마트홈은 이런 과금 방식이 특히 부담스러워지는 영역 중 하나입니다. 사용자는 월패드, 셋톱박스 등 스마트홈 기기에 하루에도 여러 번 말을 걸고, 음성 AI 서비스에 익숙해질수록 요청은 단순 제어에서 추론이 필요한 질문으로 확장됩니다. 월패드의 경우, 처음에는 “조명 켜줘” 같은 요청이 대부분이지만, 시간이 지나면 전기요금이 왜 많이 나왔는지, 온도가 왜 이상한지 같이 맥락 이해를 필요로 하는 질문이 늘어나요. 이때부터는 API 호출량 뿐만 아니라, 호출당 토큰 사용량도 함께 증가합니다.

더 현실적인 문제는 사용량이 일상 패턴에 따라 몰린다는 점입니다. 셋톱박스에는 퇴근 이후, 취침 전, 주말처럼 가족이 동시에 기기를 사용하는 시간대에 질의가 집중되고, 대화형 요청은 한 번 시작되면 연쇄적으로 이어지는 경우가 많습니다. 어떤 가정은 하루 몇 번만 음성 AI 서비스를 쓰지만, 어떤 가정은 아이가 재미로 수십 번을 반복할 수도 있어요. 사업자 입장에서는 사용량을 통제하는 것이 불가능하고, 결국 API 예산이 예측 불가능한 사용자 습관에 종속됩니다.

온디바이스 AI는 이 지점에서 빛을 발하는데요. 대부분의 요청들을 기기에서 처리하여 API 호출을 최소화함으로써 운영 비용을 절감할 수 있을 뿐만 아니라, AI 서비스로 인해 어느 정도의 운영 비용이 발생한 것인지 보다 정확하게 예측하는 것이 가능합니다. 정말로 외부 지식이나 복잡한 추론이 필요한 순간에만 클라우드를 호출하면 되기 때문이죠.

결국 온디바이스 AI는 비용을 지속 운영 가능한 형태로 바꾸는 핵심 전략이며, 에너자이는 효율적인 온디바이스 음성 제어 AI 모델을 개발해 LG U+의 셋톱박스 2백만대에 상용 배포하여 이러한 전략을 실현시킨 바 있습니다.

출처: 서울경제

2. 서비스 안정성: 네트워크가 끊기면 AI도 끊깁니다

최근 샌프란시스코 대규모 정전 상황에서 로보택시 서비스가 일시 중단되고, 일부 차량이 교차로에서 멈추거나 도로를 막아 혼잡을 유발한 사건이 큰 논란이 된 적이 있었습니다.

출처: Car and Driver

이번 사건이 의미하는 바는 명확합니다. 네트워크가 흔들리면, 클라우드 기반 AI도 함께 흔들린다는 것이죠.

클라우드 기반 AI는 평상시에는 안정적으로 동작합니다. 하지만 서비스가 실제로 평가받는 순간은 대부분 예외 상황이죠. 네트워크는 생각보다 자주 흔들립니다. 지하나 교외처럼 통신 품질이 떨어지는 환경도 있고, 이동 중에는 셀 간 전환이 반복되면서 지연이 누적되기도 해요. 대형 이벤트 현장처럼 트래픽이 순간적으로 폭증하는 상황도 흔합니다. 이때 간헐적인 지연만으로도 대화형 AI의 경험 품질은 쉽게 떨어집니다.

이 점이 더 치명적인 이유는 AI가 서비스 흐름의 중심에 들어오기 때문입니다. 대화형 AI 서비스는 요청과 응답이 곧바로 이어져야 해서, 1~2초의 지연이 바로 낮은 서비스 질로 인식됩니다. 사용자는 모델이 얼마나 똑똑한 지보다, 내가 말했을 때 즉시 반응하는지를 먼저 봅니다. 그래서 기술적으로는 충분히 좋은 모델에 기반을 두고 있더라도, 실제 서비스 환경에서는 불안정한 제품으로 인식될 수 있습니다.

온디바이스 AI는 이 지점에서 안전망 역할을 합니다. 네트워크가 흔들려도 핵심 기능을 로컬 환경에서 유지할 수 있고, 연결이 회복되면 클라우드 기반 추론으로 전환하는 방향도 가능하죠. 결국 온디바이스 AI는 완성도 높은 AI 서비스의 필수 요건인 ‘안정성’을 가능케 합니다.

3. 프라이버시: 데이터가 밖으로 나가는 순간, 리스크가 됩니다

최근 통신, 이커머스 등 여러 산업에서 대규모로 개인정보가 유출되는 사고가 반복되면서, 기업과 사용자 모두 데이터가 밖으로 나가는 구조 자체를 점점 더 경계하기 시작했습니다. 개인정보 유출은 이제 일회성 이슈가 아니라, 기업 운영과 사업 지속성에 직접적인 영향을 주는 리스크가 되었죠. 한 번 사고가 발생하면 단순히 시스템을 손보는 수준에서 끝나지 않습니다. 정부 조사가 시작되고, 엄청난 법무 비용과 고객 보상 비용이 발생하며, 가장 큰 비용인 장기적인 고객 이탈과 브랜드 신뢰 하락으로 이어집니다.

AI가 이 문제를 더 어렵게 만드는 이유는 쌓이는 데이터의 형태가 바뀌기 때문입니다. 기존 서비스 데이터는 클릭 로그나 구매 이력처럼 정형화된 정보가 많았습니다. 하지만 대화형 AI를 통해 발생하는 데이터는 자연어입니다. 자연어에는 개인의 의도와 습관, 감정, 업무 맥락 등 민감한 정보가 담깁니다. 표면적으로는 개인식별정보가 없어도 문맥만으로 재식별 가능성이 높고, 질문 자체가 민감한 정보를 새로 만들어내는 경우도 많아요.

이러한 맥락에서, 프라이버시는 기술 문제인 동시에 신뢰 문제이기도 합니다. 사용자 입장에서 중요한 질문은 암호화가 얼마나 강한가가 아니라, 내 데이터가 밖으로 나가고 있는가 입니다.

온디바이스 AI는 이 구조를 바꿀 수 있습니다. 민감한 데이터는 기기 안에서 처리하고, 외부로 나가는 데이터는 필요한 결과 중심으로 최소화하면, 공격 표면을 줄이고 유사 시 피해 규모도 최소화할 수 있습니다. 무엇보다도, 내 데이터가 밖으로 나가지 않는다는 설명은 가장 직관적이고 강력한 신뢰 요소입니다.

결론: 온디바이스 AI는 선택지가 아닌 방향성입니다

비용, 서비스 안정성, 프라이버시라는 세 가지 요구를 함께 놓고 보면, 앞으로 AI는 지금보다 훨씬 더 온디바이스 중심으로 이동할 수밖에 없습니다. API 비용은 사용량이 늘수록 선형적으로 증가하고, 네트워크가 흔들리면 서비스 품질도 함께 흔들리며, 데이터가 밖으로 나가는 구조는 사고가 났을 때 파급력이 커집니다. 이 세 가지 문제는 모두 클라우드 중심 구조에서 더 크게 나타나고, 반대로 온디바이스에서 해결할 수 있는 여지가 많습니다.

다만, 저희는 모든 AI를 온디바이스 환경에서 처리할 수 있다고 주장하는 것은 아닙니다. 거대한 모델과 외부 지식이 필요한 작업이나, 멀티모달처럼 연산량이 큰 작업은 당연히 클라우드가 유리해요. 결국 중요한 건 어떤 연산을 온디바이스에서 처리하고, 어떤 연산을 클라우드에 요청해야 하는지 상황에 맞게 결정하는 능력입니다. 사용자의 질의에 답하기 위해 필요한 외부 API를 호출하고, 필요한 데이터를 불러오는 Function Caller 에이전트의 역할이 주요해지는 대목이죠. 구글 역시 이러한 에이전트의 역할에 주목하여, Function Calling 기능에 특화하여 파인 튜닝된 Gemma 모델인 FunctionGemma를 작년 12월에 공개한 바 있습니다.

온디바이스 AI를 그 어느 회사보다 날카롭게 공략하고 있는 에너자이도 Noise Reduction부터 Voice Activity Detection, Keyword Spotting, Speech to Text, Natural Language Understanding/Large Language Model, Text to Speech로 이어지는 음성 AI 파이프라인에 Function Calling 기능을 접목하여 미래에 대비하고 있습니다.

아래는 Raspberry Pi 5의 ARM Cortex A76 프로세서에서 에너자이의 초경량 Speech to Text 모델인 1.58-bit EZWhisper와 전등 제어를 위한 Natural Language Understanding 모델을 시연한 영상입니다. 곧 Function Calling 기능이 적용된 상용화 사례 영상도 공개할 예정이니 기대해주세요!

에너자이는 자체 ‘Optimium’ 컴파일러와 ‘Nadya’ 언어를 기반으로 음성 AI 파이프라인 전반을 온디바이스 환경에서 최적화하고 상용화해온 경험을 보유하고 있습니다. 동시에 Function Calling 기반으로 온디바이스와 클라우드를 효율적으로 연결하는 하이브리드 AI 구조도 준비하고 있어요.

온디바이스 AI를 서비스에 구현하고자 하시거나, 하드웨어 환경에 적합한 온디바이스 AI 구조를 함께 설계해보고 싶으시다면 언제든지 연락 주세요! 에너자이가 가장 현실적인 방식으로 적용 가능한 방향을 제안드리겠습니다.