XR에서 실제로 무엇이 불편한가?

1. XR 인터페이스

 XR은 몸짓, 시선, 음성 등 인간의 자연스러운 행동을 입력으로 사용해 편리한 인터페이스를 목표로 한다. 하지만 실제로 사용 시 팔, 어깨, 머리, 눈, 주변 시선 등등 다양한 피로와 불편이 나타난다. 특히 XR에서 많이 사용되는 제스처, 시선, 음성과 같은 입력 방식은 이용 시 각각 한계를 가지고 있어서 이상적인 편안함을 제공하지 못한다. 

 

다음은 XR인터페이스 형태의 한 예시이다.

 

 

2. 피로도

 XR 애플리케이션은 공중에서 팔과 손을 크게 움직이는 제스처를 핵심 상호작용 방식으로 많이 활용한다. 그러나 이런 제스처는 손, 팔, 어깨 등등 상체의 여러 근육을 동시에 사용하게 만들어, 짧은 시간 안에 상당한 근육 피로와 통증을 유발하며, 이는 이른바 "Gorilla Arm Syndrome"으로 불린다. AlphaPIG 연구에서는 실험 참가자들이 XR에서 제스처를 반복 수행할 때 어깨 피로가 빠르게 증가하여 상호작용을 오래 지속하기 어렵다는 점을 언급하며 보완하고자 시도했다. 또한 여러 연구에서 제스처 기반 인터랙션이 장시간 사용 시 팔 피로를 유발하고, 이를 줄이기 위한 타깃 거리 축소, 제스처 범위 축소 같은 인체공학적 설계가 필수적이라고 지적한다. 이러한 점에서 XR이 손의 자유도를 높여주기보다 신체적 피로를 더욱 불러일으킨다.

 

 Microsoft Teams와 Meta Quest 2 기반 Horizon Workrooms를 비교한 실험에서는, 동일한 15분 협업 과제 동안 VR 조건에서 일반적 피로, 정서적 피로, 시각 피로가 화상 회의보다 유의미하게 높게 나타났으며, 참가자들은 물리적·정신적 부담이 더 크다고 보고했다. 이는 XR이 몰입감과 존재감은 높이지만, 현재의 하드웨어 무게, 착용 방식, 입력 제스처 설계가 복합적인 신체 피로를 가중시킨다는 점을 보여준다.

 

단시간

처음 10–20분 정도의 XR 사용에서는 신기함과 높은 몰입감 덕분에, 대부분의 사용자가 피로나 어지러움을 크게 문제 되지 않는 수준으로 느끼는 경우가 많다.
다만 짧은 구간에서도 이미 시각 피로, 집중력 저하 같은 초기 증상이 나타나기 시작하고, 사용자들이 체감하는 가장 편안한 경험 길이를 15~20분 정도로 응답했다는 결과가 있어, 그 이후부터는 불편감이 서서히 올라간다고 볼 수 있다.

장시간

30분을 넘기거나 여러 세션을 이어서 사용하면, 팔, 어깨를 드는 공중 제스처로 인한 근육 피로와 Gorilla Arm  증상이 누적되고, 전반적 피로가 쌓인다.

 

 

3. 인지부하

XR에서 시선, 제스처, 음성은 직관적이라고 여겨지지만, 실제 사용에서는 이들을 기억하고 조합해야 하는 추가적인 인지부하가 발생한다. 음성 기반 인터랙션이 복잡한 명령어 세트를 기억하고 정확한 구문으로 말해야 하기 때문에 인지부하를 증가시키며, 제스처 역시 여러 손 모양과 동작 패턴을 암기해야 한다는 점을 지적한다.  시선 기반 인터랙션은 사용자가 단지 바라보고 싶을 뿐인데도 잘못된 선택이 발생하는 Midas Touch 문제와 낮은 정확도로 인해, 사용자는 끊임없이 주의를 기울이며 자신의 시선과 상호작용을 관리해야 한다. 

 

 XR 입력 연구들은 텍스트 입력이나 정보 탐색 성능을 평가할 때, 작업 시간과 오류율뿐 아니라, 사용자가 느끼는 인지 피로, 시각 피로, 손 피로를 설문하고 수집한다. 이는 연구자와 디자이너들이 이미 XR 상호작용이 단순 편의성 문제를 넘어, 사용자의 정신적 에너지와 집중력을 크게 소모한다는 점을 전제로 평가 프레임을 설계하고 있음을 보여준다.

 

4. 사회적 수용성

 

 XR기기인 VR 안경을 공공, 사적 공간에서 사용하는 것에 대한 사회적 수용성을 조사한 온라인 실험에서는, 상황과 장소에 따라 수용성이 크게 달라진다는 결과가 나왔다. 참여자들은 기차, 지하철, 침실 등에서는 VR 안경 사용을 비교적 수용 가능하다고 평가한 반면, 거실이나 카페처럼 주변 사람과의 대화와 상호작용이 기대되는 공간에서의 VR 착용은 사회적으로 받아들이기 어렵다고 응답했다. VR 안경을 쓰는 사람의 수는 수용성에 큰 영향을 주지 못해, 사회적 수용성은 상황에 따라 달라지며 사용자가 주변 사람들과 상호작용해야 할 때 더 낮다. 

 

 XR 사용자의 시야가 차단되고 눈이 가려지는 특성상, 주변 사람 입장에서는 사용자가 자신과 상호작용할 준비가 되어 있는지, 무엇을 보고, 하고 있는지 알기 어렵다는 불편함으로 이어질 수 있다. 따라서 XR 기기는 개인의 프라이버시와 몰입을 강화하는 동시에 주변 사람에게는 소외감이나 무시당한다는 느낌을 줄 위험이 있다. 사회적 수용성을 확보하려면 상황 인식형 UI, 주변인에게 상태를 알려주는 시각적 피드백 등이 중요하다. 

 

 

5. 성공/ 실패 시나리오

 XR 특유의 요소가 사용자의 편안함과 몰입감을 높여 성공적이게 될 수도 있지만,  제스처 설계와 상호작용 구성에 따라 피로 누적으로 인해 사용자가 더 이상 XR 환경을 선호하지 않게 되는 상황이 발생할 수 있다.

 5-1. 성공 시나리오

 

 AlphaPIG 연구는 실시간 피로 예측을 활용해 제스처 인터랙션을 자동으로 조정하는 기법을 제안하고, 이를 통해 어깨 피로를 줄이면서도 사용자 경험을 유지할 수 있음을 보여준다. 시스템이 사용자의 피로 수준을 추정해 제스처 거리를 줄이거나 제어, 디스플레이등을 조절하면, 동일한 작업을 더 짧은 팔 움직임으로 수행할 수 있어 물리적 피로를 크게 줄일 수 있다. 이런 적응형 인터랙션은 오래 쓸수록 고통스러운 제스처 기반 XR을 장시간에도 버틸 수 있는 성공 요소로 전환하는 중요한 조건 중 하나로 볼 수 있다.

 

5-2. 실패 시나리오

 

 자연적 상호작용인 시선, 제스처, 음성 각각의 모달리티에만 의존하는 XR 인터페이스는 각각 고유의 한계를 드러낸다. 제스처만으로 모든 명령을 처리하려 하면 팔 피로와 제스처 인식 오류가 누적되어 사용 시간이 짧아지고, 음성만으로 제어하려 하면 주변 소음과 사생활 문제, 복잡한 명령어 기억 부담 때문에 실제 사용이 꺼려지는 경우가 발생한다. 시선만을 입력으로 사용하는 경우에는, 사용자가 단지 둘러보는 시선 움직임도 입력으로 오인되는 Midas Touch 문제 때문에 사용자가 시선을 부자연스럽게 통제하게 되고 결국 자연스러움이 사라지고 사용자에게 불편감을 주는 XR의 편리한 인터페이스 사용의 목표와는 역설적인 상황이 된다.

 

 

6. 해결 방향

 

 피로, 인지부하, 사회적 수용성 문제는 공통적으로 어떻게 입력하느냐와 깊이 연결되어 있다. 공중 제스처는 팔과 어깨에 큰 부담을 주고, 음성은 명령어 기억과 발화 부담으로 인지부하를 높이며, 시선 입력은 Midas Touch 와 낮은 정확도로 인해 사용자가 끊임없이 시선과 상호작용을 의식하게 만든다. XR 외형(특히 VR헤드셋과 같은) 은 사용자의 눈과 표정을 가려 주변 사람과의 소통 가능성을 줄이므로, 어떤 입력 방식을 선택하느냐가 사회적 수용성에도 직접적인 영향을 미칠 수 있을 것이다.

 

좋은 XR입력, 기능의 조건 

• 물리적 피로 최소화: 팔을 어깨 높이 이상으로 오래 들고 있게 만드는 인터랙션을 피하고, 몸 가까운 영역(배 앞, 허리 근처)에서 작은 움직임으로 조작 가능한 입력을 설계한다.
• 인지부하 감소: 제스처와 음성 명령어를 최소화, 일관된 세트로 단순화하고 시각적 힌트와 맥락 기반 안내를 통해 사용자가 기억해야 할 양을 줄인다.
• 멀티모달 인터랙션: 시선으로 대상 선택, 제스처나 버튼으로 확정하는 방식등 각 입력의 강점을 살리고 약점을 보완하는 조합을 설계한다.
• 사회적 수용성 고려: 공공장소와 사적 공간에서 서로 다른 인터랙션 모드를 제공하고, 주변인에게 사용자 상태(바쁘다/대화 가능 등)를 알려주는 외부 디스플레이 같은 상태 표시가 가능한 기능을 도입한다.

 

 

7. 참고문헌 

• AlphaPIG: The Nicest Way to Prolong Interactive Gestures in Extended Reality

https://arxiv.org/html/2503.01011v1

•  Towards Spatial Computing: Recent Advances in Multimodal Natural Interaction for XR Headsets

https://arxiv.org/html/2502.07598v1

• Camera-Based Hand Tracking in Enterprise XR: Promise and Pitfalls

https://stretchsense.com/news/knowledge/camera-based-hand-tracking-in-enterprise-xr-promise-and-pitfalls/

• Virtual reality on the go?: A Study on Social Acceptance of Virtual Reality Glasses

https://dl.acm.org/doi/abs/10.1145/3236112.3236127