왜 빅테크는 입력을 다시 설계하는가? -후속글

1. 사용자가 일상에서 손목밴드라는 추가장치를 착용하게 만드는 허들을 넘기 위해, EMG 입력만이 줄 수 있는 인터랙션이 뭐가 있을까?

 sEMG(표면 근전도)는 손가락을 실제로 움직이기 전, 손목 근육이 활성화되는 신호를 포착할 수 있어서, 손가락을 거의 움직이지 않아도 클릭과 스크롤 등을 실행할 수 있다.

• 주위 시선을 끌지 않고도 쓸 수 있다.
• 카메라 기반으로 손 추적 기능이 있을 때에도, 손목에 밴드를 착용 중이기 때문에 오류를 줄이고, 신호를 보다 더 정확하게 읽을 수 있다.
• 또한 음성 입력은 공공장소나 실외에서 프라이버시 침해 문제가 있는데,  손목기반 장치는 그러한 불편함을 줄일 수 있다.
• 근전도가 운동, 언어 장애 사용자에게 중요한 보조 인터페이스가 될 수 있다. 음성이나 큰 제스처 사용이 어려운 사람에게 간단한 근육 신호만으로도 의사를 표현할 수 있다는 큰 이점이 존재한다. 

 

2. ExG 신호는 사람마다 근육 구조나 피부 저항이 달라 일반화가 어려움. Meta의 딥러닝 모델이 개인별 튜닝 없이 일반화에 성공했다고 했는데, 이것이 다양한 체형이나 장애를 가진 사용자에게도 동일한 성능을 보장할 수 있을까?

 

 Meta가 일반화에 성공했다고 해서 동일한 성능이 모든 사람들에게 보장된다고 말하기에는 아직 어렵다고 생각한다. Meta는 수천 명 규모의 데이터를 모아, 손목 sEMG에서 제스처, 커서 이동, 공중 필기까지 디코딩하는 generic 모델을 만들고, 처음 장치를 찬 사용자도 별도 튜닝 없이 쓸 수 있다는 것을 보여준다. 하지만, 참여자는 대부분 건강한 젊은 성인으로, 체형, 근육 이상, 절단 등 다양한 조건을 충분히 포함하고 있지는 않다. EMG 신호는 사용자의 근육 구조, 피하지방, 피부-전극 접촉 상태에 따라 크게 달라지며, 이러한 요인이 장기적인 일반화와 재현성을 어렵게 만든다. 특히 장애인, 근육 이상 환자 등등 다른 집단은 별도의 데이터 수집을 통해 모델링해야 한다. 

 

3. 카메라기반 손 추적과 EMG를 결합할 때, 만약 카메라가 인식한 손의 위치와 EMG가 읽은 의도데이터가 서로 충돌한다면, 시스템은 어떤 데이터를 우선시하도록 설계하는 것이 인터랙션 오류를 최소화할 수 있을까?

 

 단순히 한쪽을 항상 우선시하기보다는, 상황별 기준으로 정하는 것이 인터랙션 오류를 줄이는 데 유리하다. 한 연구에서는 손이 잘 보이는 조건에서는 카메라 기반 추적의 정확도가 컸지만, 손이 가려지는 상황이나 잘 보이지 않는 상황에서는 EMG의 의도데이터가 더 일관성 있는 정확도를 보였다. 즉, 카메라는 손이 잘 보일 때 정확하지만, 가려지거나 시야가 제한되는 상황에서는 EMG가 더 정확하다. 주변환경이 카메라 추적이 유리할 때에는 카메라를 우선하고, 카메라 추적의 품질이 떨어지는 환경에서는 EMG의 데이터를 우선하는 유연한 설계가 필요하다. 

 

4. 손목밴드 역시 장시간 착용 시 피부 압박이나 신호 노이즈 문제가 있을 수 있는데, 피로도 측면에서 가장 지속 가능한 XR 입력은 무엇일까?

 

 사용자의 상황과 사용하는 의도에 따라 다르기에 절대적으로 어떠한 장치가 가장 피로도 측면에서 지속가능하다고 말하기에는 어려움이 있지만, 손목밴드와 같은 웨어러블 형태의 장치가 가장 지속 가능한 입력이라고 생각한다. 웨어러블 형태의 장치가 장시간 착용과 일상생활 속 사용 측면에서 유리하다. 특히 이미 많은 사람들이 스마트워치를 착용하고 있다는 점에서 손목이라는 위치는 사회적 수용성과 습관 측면에서 사용자에게 가장 익숙한 위치라고 생각한다. 또한 손목기반 EMG입력 신호는 가벼운 근육 수축만으로도 의도를 알아낼 수 있다는 점에서 장시간 상호작용에서도 비교적 편안하다. 하지만 지속적인 근수축과 움직임은 피로를 유발하기에 다른 기능을 적절히 섞어 사용이 가능하도록 피로를 분산시키게끔 연구하고, 땀과 접촉변화에 따라 신호 노이즈 문제가 생길 수 있다는 점에서 아직 더 기술을 발전시켜나가야 한다. 

 

5. 참고문헌

• A generic non-invasive neuromotor interface for human-computer interaction

https://www.nature.com/articles/s41586-025-09255-w

 

• Emerging ExG-based NUI Inputs in Extended Realities: A Bottom-up Survey

https://dl.acm.org/doi/fullHtml/10.1145/3457950

 

• Combining Vision and EMG-Based Hand Tracking for Extended Reality Musical Instruments

https://arxiv.org/abs/2307.10203

 

• Force-Aware Interface via Electromyography for Natural VR/AR Interaction

https://arxiv.org/abs/2210.01225