왜 빅테크는 입력을 다시 설계하는가?

1. XR입력 기술

 XR 입력 기술은 사용자가 가상현실(VR), 증강현실(AR), 혹은 혼합현실(MR) 내의 객체 및 인터페이스와 상호작용하기 위해 사용하는 모든 하드웨어, 소프트웨어 수단이다. 단순한 상호작용보단 인간의 자연스러운 동작이나 신체 신호를 디지털 데이터로 변환해 가상 세계에 반영할 수 있는 지향적 기술이다. 

 

  XR 상호작용은 기존의 키보드, 마우스 등등에서 시작해 컨트롤러, 카메라 기반 제츠처, 생체신호 기반 인터페이스로 확장되어 왔다. 초기 시스템인 컨트롤러는 몰입감과 자연스러운 상호작용 측면에서 한계가 있어 최근에는 신체의 전기 신호를 직접 읽는 ExG 기반 입력이 의도(intention) 수준의 제어를 목표로 연구 중이다. 

 

 ExG는 EEG(뇌전도), EMG(근전도), EOG(안구전도)처럼 인체의 전기 생체신호를 체표면에서 측정해 상호작용에 사용하는 기술의 집합이다. ExG 인터페이스의 장점은 자연스러운 행동과 가까운 입력(생각, 미세 근육 수축, 안구 움직임 등)을 직접 활용 가능하고, 카메라 시야, 조명, 가려짐에 덜 민감해 항상 사용 가능한 입력 채널 제공, 장애인 접근성 향상 등등이 있다. EMG는 특히 팔, 손의 근육 활동을 손목이나 팔에 부착한 전극으로 측정하기 쉽고, 손 제스처, 그립 등 XR에서 중요한 상호작용과 직접 연결된다는 점에서 XR 입력 연구의 핵심 ExG 모달리티로 부상 중에 있다.

 

2. 기업이 카메라 기반 입력으로만 가지 않는 이유

 카메라 기반 손추적과 제스처 인식은 컨트롤러가 필요 없고, 직관적이다. 하지만 여러 구조적 문제를 가지고 있다. 

• 손이 카메라 시야에 벗어나면 추적이 불가능.
• 물체 뒤나 다른 신체 부위에 가려질 경우 제스처 인식 불안정화.
• 저조도, 역광 환경에서 카메라 기반 추적 성능이 저하. 

 또한, 카메라 기반 입력만으로는 텍스트 입력 시 모바일 키보드 수준의 속도와 정확성을 갖추기 어렵다. MYoKey 연구에서 공중 제스처만으로도 텍스트를 입력할 경우 피로도와 오차율이 크게 증가한다는 연구를 인용하며 IMU(팔의 회전/이동) +EMG를 결합한 하이브리드 방식을 제안했다. 예를 들어, XR 환경에서 카메라 기반 손 추적과 EMG를 함께 사용할 경우 일반적으로 카메라는 손의 위치와 자세등 물체와의 상호작용하는 공간정보를 담당하고, EMG는 힘의 크기, 미세 제스처, 시야 밖 동작과 같은 의도를 보완하는 역할을 한다.

 이러한 이유들로 기업들은 카메라 기반 손 추적을 기본 레이어로 유지하되, 문제를 보완하는 보조, 대체 입력을 탐색한다. 

 

3. 연구

 3-1. 왜 Meta는 Orion + EMG wristband까지 공개했는가?

 

 Meta는 2025년 Nature에 손목 착용형 sEMG(표면 근전도) 기반 비침습(피부를 절개하거나 신체 내부에 기구를 삽입하지 않고 관찰하는 방식) 신경운동 인터페이스를 발표했다.

 

 전극이 여러 채널로 손목 근육 활동을 2kHz(킬로헤르츠,1초당 1,000번의 진동(주파수)을 나타내는 단위)로 측정하고, 수천 명으로부터 수집한 대규모 데이터와 딥러닝 모델을 통해 사람 별 튜닝 없이도 제스처, 연속 커서 이동, 공중 필기를 일반화해 인식한다. Meta는 이 EMG Wristband를 Orion AR 글래스와 결합해, 컨트롤러 없이도 손목의 미세한 근육 수축만으로 UI를 제어하는 것을 시연했다. Orion 프로토타입에서 사용자는 손가락을 거의 움직이지 않아도 손목 주변의 근육 신호만으로 클릭, 스크롤, 필기 등의 인터랙션을 수행할 수 있다. 손 움직임 자체보다는 근육 활성 패턴을 활용해 더 미세한 인식이나 예측 제어까지 가능하다. Meta의 sEMG 손목 밴드는 다음 정도의 성능을 보고했다.

• 연속 커서 이동(포인팅): 평균 0.66 타깃/초 – 초당 0.66개의 목표를 선택할 수 있는 속도.
• 불연속 제스처 선택: 0.88 제스처/초 – 초당 거의 1개 가까운 명령을 안정적으로 선택.
• 공중 필기(air-writing) 텍스트 입력: 20.9 단어/분, 개인화 튜닝 후 약 16% 추가 향상.

또한 Meta는 여섯 개 대학 팀에 sEMG 기반 Neural Wristband 응용을 위한 연구비를 지원하면서, 음성, 사용자 에이전시, 프라이버시 등 폭넓은 윤리 이슈를 함께 탐색하고 있다. 차세대 기본 입력 채널을 선점하려는 장기 전략으로 해석된다. AR 글래스 + Neural Wristband라는 하드웨어 번들을 통해, 플랫폼 종속적인 입력 생태계를 구축한다. 

 

 3-2. 왜 Apple은 Vision Pro에서 eyes/hands/voice를 기본 입력으로 두고, visionOS 26에서 faster hand tracking + spatial accessories까지 밀고 있는가?

 

 Vision Pro는 처음 발표 때부터 물리 컨트롤러 없이 눈, 손, 음성을 기본 입력 수단으로 내세웠다. 사용자는 눈으로 UI 요소를 바라보고, 엄지와 검지를 살짝 튕기는 손 제스처로 선택·스크롤을 수행하며, 음성으로 텍스트 입력이나 시스템 제어를 한다. Vision Pro는 어두운 환경에서도 눈·손 추적이 가능하도록 설계되었다. 외부 카메라는 넓은 시야각으로 무릎 위에 얹은 손 제스처도 인식하며, IR 카메라 (물체에서 방사되는 적외선(열)을 감지해 시각적 이미지(열화상)로 변환하는 비접촉식 측정 장치)는 어두운 환경에서도 손가락 움직임을 추적할 수 있다. 그러나 손 추적 정확도나 속도, 복잡한 동작 한계를 인지하고 있어 visionOS 26에서 손 추적 알고리즘을 개선하고 Logitech Muse(Apple Vision Pro를 위해 설계된 첫 번째 공간 액세서리) 같은 공간 포인팅 장치를 지원한다. 핸즈프리 경험을 유지하면서도, 개발자, 사용자의 편의성을 위해 서브 입력 장치도 확장하는 전략이다.

다음은 Apple Vision Pro의 실제 이미지이다.

 

 

3-3. MyoKey 하이브리드 텍스트 입력

 

  MyoKey는 사용자의 팔에 장착한 장치로 IMU(팔의 회전/이동)와 sEMG를 동시에 측정하여, 공중의 가상 QWERTY 키보드에서 텍스트를 입력하는 시스템을 제안한다. IMU(팔의 회전/이동) 이 키보드의 열을 선택하고, 손가락 및 손 제스처가 해당 열의 네 개 문자를 구분하는 방식이다. 12명의 참가자가 세 가지 조건(빈손, 펜 잡기, 원통형 물체 잡기)에서 약 8.3–9.3 단어/분의 입력 속도를 달성했으며, 오류율은 7–10% 수준으로 유지되었다. XR 환경에서 사회적으로 덜 눈에 띄고, 손에 물건을 쥔 상태에서도 텍스트 입력이 가능하다. 카메라 기반 손 추적만으로는 어려운 실용적인 텍스트 입력을 하이브리드 센싱 EMG+IMU(팔의 회전/이동)으로 해결하려는 시도이다. 

 

4. 입력의 미래

 입력의 미래로 주목받는 것은 특정 모달리티(카메라, EMG, 음성 등)가 다른 모든 것을 대체하는 방향이 아니라, 상황에 따라 조합, 전환되는 멀티모달 인터페이스가 될 가능성이 크다. 안경 형태·콘택트렌즈·피부 부착형 센서 등으로 XR 경험을 일상화가 시도되고 있다. 결국 사용자 환경과 요구에 최적화된 혼합 입력 발전이 중요하다. 한계와 문제점이 존재하기 때문에, 특히 EMG 피로도 및 표준화 부족, 시선 추적 개인차, 사용자의 의도를 읽는 점에서 일어나는 프라이버시, 윤리적 우려를 다양한 연구와 개발로 더 나은 시스템을 설계해야 한다. 

 

5. 참고문헌

• MyoKey: Inertial Motion Sensing and Gesture-Based QWERTY Keyboard for Extended Realities

https://ieeexplore.ieee.org/abstract/document/9737726

• A generic non-invasive neuromotor interface for human-computer interaction

https://www.nature.com/articles/s41586-025-09255-w

 

• visionOS 26 introduces powerful new spatial experiences for Apple Vision Pro

https://www.apple.com/newsroom/2025/06/visionos-26-introduces-powerful-new-spatial-experiences-for-apple-vision-pro/#:~:text=visionOS%2026%20adds%20support%20for,1

• Meta envisions replacing keyboard and mouse with smart wristband

https://www.dezeen.com/2025/07/25/meta-smart-wristband/ 

• 웨어러블의 미래

https://www.meta.com/ko-kr/emerging-tech/orion/?utm_source=about.meta.com&utm_medium=redirect

• Build for visionOS

https://developer.apple.com/visionos/

• Meta Shows Confidence in EMG Input for Wearables by Funding Six External Studies

https://www.roadtovr.com/meta-emg-input-wearables-research-grant/

• Apple Vision Pro 살펴보기

https://www.apple.com/kr/apple-vision-pro/