안녕하세요, 에너자이입니다. “피지컬 AI(Physical AI)”, 요즘 가장 뜨거운 키워드 중 하나입니다. 컨퍼런스 키노트의 단골 주제이기도 하고, 전시에서도 부스를 찾아주시는 방문객 분들이 가장 자주 언급하시는 키워드인데요. 이번 게시물에서는 피지컬 AI란 무엇인지, 피지컬 AI를 구현하기 위해서는 어떤 기술들이 필요한지에 대하여 간단히 알아보고자 합니다.

요약

• NVIDIA의 GR00T, Figure·Tesla의 휴머노이드, 그리고 산업 현장의 AMR과 자율주행까지. ‘피지컬 AI’는 단일 기술이 아니라 산업 전반의 패러다임으로 자리 잡고 있습니다.

• 피지컬AI란 물리 세계를 이해하여 올바른 판단을 내리고 실제 행동으로 옮길 수 있는 AI를 뜻하며, 국내 ICT 연구개발 기술분류체계는 피지컬 AI의 핵심 기술을 VLA 모델, 온디바이스 AI, 바디 기술, 시뮬레이션 기반 학습 환경, 피지컬 AI 데이터 팩토리 5가지로 정리하고 있습니다.

• 그중 온디바이스 AI는 학습된 정책을 현장에서 실시간으로 실행하는 ‘마지막 단계’로, 현장에서 주어진 문제를 인식하여 실시간으로 행동하기 위한 필수 조건입니다.

• 자율주행 차량·휴머노이드·서비스/돌봄 로봇과 같은 피지컬 AI의 적용 영역에서 음성 인터페이스가 활발하게 도입되고 있으며, AI와의 자연스러운 대화가 성립하기 위해서는 운영 비용·데이터 민감도·실시간성 측면에서 온디바이스 구현이 사실상 필수적입니다.

• 에너자이는 최소한의 메모리 및 전력으로 자원이 제한된 온디바이스 환경에서도 뛰어난 성능을 낼 수 있는 음성 인터페이스를 제공합니다.

피지컬 AI란?

지난 한 해 동안 글로벌 테크 업계에서 가장 자주 언급된 키워드 중 하나가 ‘피지컬 AI’였습니다. 엔비디아는 GTC에서 휴머노이드 파운데이션 모델 GR00T를 발표하며 ‘피지컬 AI 시대’를 본격적으로 선언했고, 피규어와 테슬라가 박차를 가하고 있는 휴머노이드 상용화 경쟁의 핵심도 피지컬 AI에 달려 있습니다. 그 외에도 자율주행 차량이나 산업용 AMR (자율주행 로봇), 그리고 드론까지 ‘디지털 화면 안의 AI’가 아니라 ‘물리적으로 움직이고 반응하는 AI’에 대한 관심이 그 어느 때보다 뜨거운데요.

피지컬 AI는 한 마디로 ‘실제 물리 세계에서 움직이고 반응하는 AI’입니다. 디지털 영역에 머무르는 것이 아니라 카메라·라이다·마이크 등 다양한 센서로 환경을 인지하고, 그 정보를 바탕으로 의사결정을 내린 뒤, 모터·액추에이터·디스플레이를 통해 현실에서의 결과물을 만들어내는 AI를 뜻합니다.

출처: appinventiv

이 분야가 주목받게 된 데에는 크게 세 가지 배경이 있습니다. 첫째, 모델 측면에서 시각·언어·행동을 통합하는 VLA(Vision-Language-Action) 모델 등 ‘실제 세계를 이해할 수 있는’ 모델이 빠르게 성숙하고 있습니다. 둘째, 하드웨어 측면에서 엣지용 NPU와 저전력 SoC가 본격적으로 보급되면서, 과거에는 클라우드에서만 돌릴 수 있던 모델을 디바이스 위에서 구동할 수 있는 기반이 마련되었습니다. 셋째, 산업 측면에서 제조·물류·에너지·도시 인프라 전반의 자동화 수요가 정점에 달했고, 이를 풀어낼 만큼 정교한 AI가 비로소 등장하기 시작했습니다.

핵심 기술

피지컬 AI는 단일 모델로 완성되지 않습니다. 두뇌부터 신체, 학습 인프라까지 여러 기술이 한 스택을 이뤘을 때 비로소 동작합니다. 국내 ICT 연구개발 기술분류체계 기반의 최근 보고서는 피지컬 AI의 핵심 기술을 다음 5가지로 정리하고 있습니다.

출처: USAII

• VLA(Vision-Language-Action) 모델: 시각·언어·행동을 통합해 로봇의 인지·판단·행동 생성을 수행하는 ‘핵심 두뇌’로, 올해 GTC에서 공개된 엔비디아 GR00T가 대표적입니다.

• 온디바이스 AI: 저지연·저전력 추론을 통해 현장에서 로봇 제어를 수행하는 ‘실행 기술’로, 학습된 AI 모델이 실제 디바이스 환경에서 우수한 추론 성능을 확보하기 위해 필요한 기술입니다.

• 바디 기술(센서·액추에이터): 환경 정보를 확보하고 정책을 물리 행동으로 구현하는 ‘신체 기술’로, 이동·조작 지능, 상황인식·판단까지를 포함합니다. AI 모델이 ‘버튼을 눌러라’는 명령을 내렸을 때 넘어지지 않고 해낼 수 있도록 하는 능력입니다.

• 시뮬레이션 기반 학습 환경: 대규모 병렬 학습, 위험 시나리오 학습, Sim2Real 보정 (시뮬레이션과 현실의 괴리를 최소화하기 위한 기법들을 뜻합니다)을 위한 학습 실행 환경으로, 디지털 트윈과 NVIDIA의 Issac Sim 같은 플랫폼이 여기에 해당합니다.

• 피지컬 AI 데이터 팩토리: 로봇 행동 데이터의 수집·저장·정제·학습을 수행하는 ‘학습 인프라’입니다. 데이터의 양과 질은 AI 모델의 성능과 직결됩니다.

5가지 모두 한 자리에 모여야 피지컬 AI가 동작하지만, 그중에서도 온디바이스 AI는 다른 모든 축의 가치를 현장에서 실현시키는 핵심 요입니다. 아무리 강력한 VLA 모델이 학습되고, 시뮬레이션과 데이터 팩토리가 정교해져도, 그 결과를 실제 디바이스 위에서 실시간으로 돌리지 못하면 진정한 의미의 피지컬 AI는 실현되기 어렵습니다.

이유는 단순합니다. 로봇이 사람과 부딪힐 뻔할 때나 자율주행 차량이 갑작스러운 보행자를 마주했을 때 “잠시만요, 클라우드에 다녀올게요”라는 답은 허용되지 않습니다. 실시간성을 보장하기 어렵다는 점 외에도 네트워크 의존성, 데이터 유출 위협, 누적되는 API 및 인스턴스 비용까지 여러 제약 조건들로 인해 클라우드 기반으로 피지컬 AI를 구현하는 것은 사실상 불가능에 가까운데요.

이로 인해 결국 피지컬 AI의 확산은 곧 온디바이스 AI 수요의 확산이라고도 볼 수 있습니다.

출처: https://medium.com/@mankayarkarasi/the-rise-of-physical-ai-790fc4b1627a

음성 인터페이스의 부상

피지컬 AI가 이해하고, 판단하고, 행동해야 하는 물리 세계의 한가운데에는 거의 항상 사람이 있습니다. 즉, 대부분의 상황에서 피지컬 AI는 차 안에서 운전하는 사람, 공장에서 일하는 작업자, 병동에 머무는 환자, 거실에서 함께 지내는 가족까지 다양한 양상의 사람들을 위해 움직이게 되는데요.

그렇다면 물리 세계의 AI와 사람은 어떻게 소통해야 할까요? 과거에는 마우스나 키보드, 터치 패널 등의 기기를 사용하는 것이 일반적이었지만 자동차 안, 공장, 병원 등 산업과 일상 곳곳에 AI가 들어가는 환경에서 가장 자연스럽고 편리하게 활용될 수 있는 인터페이스는 결국 음성입니다.

실제로 음성 인터페이스는 피지컬 AI 연구가 활발히 이루어지고 있는 다양한 영역에서 사실상의 표준 인터페이스로 자리 잡아가고 있는데요.

• 휴머노이드: 휴머노이드를 개발하는 대표적인 기업 Figure와 Tesla 모두 음성 인터페이스를 탑재하여 음성 기반 명령 제어뿐만 아니라 자연스러운 대화까지 지원하고 있는데요. 자연스러운 대화형 AI를 구현하는 것이 매우 어려운 작업임에도 불구하고 음성 인터페이스를 포기할 수 없는 것은 결국 사람에게 가장 편리하고 빠른 소통 수단은 결국 말이기 때문입니다.

출처: Tesla Owners Silicon Valley 유튜브

• 서비스 로봇: 인천국제공항에 도입된 자율주행 안내 로봇은 승객과 자연스러운 음성 대화를 통해 최적 경로를 안내하며, 긴급 상황이 발생했다고 판단될 경우 순찰 모드로 전환되어 안전 관리 업무를 수행합니다.

출처: 파이낸셜 뉴스

• 돌봄 로봇: 돌봄 로봇이란 가정 내에서 움직이거나 말을 하면서 사용자의 일상생활을 보조해주는 로봇으로 고령자의 건강관리, 안전 및 정서적 안정을 위해 개발된 제품입니다. 오늘날 돌봄 로봇은 기상 및 복약 알림이나 귀가 확인 등 일상 생활을 보조할 뿐만 아니라 정서적 교감을 위한 말벗 및 대화까지 지원하고 있습니다.

출처: 로봇신문

그리고 AI 기반 음성 인터페이스 또한 궁극적으로는 온디바이스로 구현되어야 합니다. 그 이유는 아래와 같은데요.

• 클라우드로 구현할 경우 운영 비용을 예측하는 것이 불가능합니다: 클라우드에서 지원하는 음성 인식 API를 사용할 경우 해당 기능이 호출될 때마다 일정 비용이 과금되는 구조인데요. 해당 기능이 얼마나 자주, 많이 활용될지 예측하는 것이 불가능해집니다. 온디바이스로 구현될 경우 배포 이후 별도 비용이 발생하지 않으므로 장기적인 관점에서 훨씬 더 경제적입니다.

• 음성 데이터는 민감 정보로 분류되는 중요한 개인 정보입니다: 음성에는 발화 내용을 넘어 화자의 신원(목소리), 감정, 주변 환경음까지 함께 담깁니다. 이처럼 중요한 음성 데이터를 외부로 전송하는 것 자체가 큰 부담이 될 수 있습니다.

• 자연스러운 대화를 위해서는 실시간성이 필수적으로 보장되어야 합니다: 대화가 자연스럽게 이루어지기 위한 적절한 답변의 공백 시간은 약 0.2초(200ms)라고 합니다. 음성 인터페이스가 클라우드나 외부 서버에 탑재된다면 데이터를 전송하고 결과를 수신하는데 추가적인 시간이 소요되고, 이는 실시간성을 저해할 수 있습니다.

피지컬 AI 시대에 우리가 쓰는 언어로 AI와 소통하기 위해서는 결국 그 가교 역할을 하게 될 음성 인터페이스가 디바이스 위에서 실시간으로 듣고 이해하고 응답해야 합니다.

피지컬 AI 기업으로서 에너자이

에너자이는 저사양 하드웨어에서 최소한의 메모리로 구동 가능한 음성 및 언어 모델들을 지원하고 있는데요. GPU나 NPU가 없는 디바이스 환경에서 CPU만으로도 최적의 성능을 낼 수 있는 음성 인터페이스를 제공하고 있습니다.

온디바이스 AI에 대한 니즈가 있는 기업이라면 모두가 어려움을 겪고 있는 메모리 병목 문제를 해결한다는 점에서 반도체사 및 디바이스사들의 뜨거운 관심을 받고 있는데요. 올해 3월에 독일에서 개최된 세계 최대 규모 임베디드 시스템 전시인 embedded world에서 글로벌 반도체사인 Synaptics사와 함께 로보틱스 음성 제어 데모를 선보이기도 했습니다. 초보적인 수준의 피지컬 AI라고 볼 수 있지만, 최소한의 메모리 및 전력으로 안정적인 성능을 구현했다는 점에서 좋은 평가를 받았습니다.

작년 말에는 글로벌 산업용 PC 및 AIoT 솔루션 분야 리딩 기업으로서 피지컬 AI 혁신을 선도하고 있는 어드밴텍과 전략적 파트너십을 체결하기도 했습니다. 해당 파트너십은 어드밴텍의 검증된 하드웨어·산업 도메인 전문성과 에너자이의 온디바이스 AI 기술이 만나는 구조로, 양사는 제조, 물류, 스마트 시티 등 다양한 산업 현장에 적용될 수 있는 온디바이스 AI 솔루션을 함께 만들어 나가고 있습니다.

에너자이의 궁극적인 목표는 클라우드/서버가 아닌 온디바이스 환경에서도 스스로 판단하고, 적절한 도구를 호출할 수 있는 True Intelligence를 구현하는 것인데요. 저희가 추구하는 이러한 방향이 현실 세계를 이해하여 스스로 행동하는 피지컬 AI와도 맞닿아 있는 만큼, 앞으로도 피지컬 AI를 현실로 만들 수 있는 온디바이스 AI를 실현하기 위해 최선을 다할 계획입니다.

자사 제품이나 플랫폼에 온디바이스 AI 도입을 고민하고 계시거나, 피지컬 AI 관련 협업 가능성을 탐색 중이시라면 언제든 편하게 연락주세요!

소개 자료 받기