XR에서 실제로 무엇이 불편한가? -후속글

해당 질문들은 먼저 생각해 보고 그 생각을 바탕으로 AI를 이용해 더욱 알아보았다.

1. 사용자의 피로도를 낮추기 위해 조작 범위를 축소할 때, 그로 인해 발생하는 입력 정밀도 저하 문제를 해결할 구체적인 보정 알고리즘이나 UI 배치 전략

 

처음 스스로 생각했을 때엔  클릭 감지 영역을 적당히 넓혀서 사용자가 대충 휘둘러도 그 제스처를 통해 가장 가까이 위치되어 있는 버튼으로 정확히 입력이 되도록 하면 좋을 것 같다고 생각했다.

 

피로도 최소화용 UI배치와 히트 영역 설계를 통한다. 사용자 몸 앞 가까운 영역에 버튼 등등을 배치하고 버튼 크기와 위치를 RL(강화학습)로 최적화해 누적 근육 피로를 최소화할 수 있다. 또한, 자주 쓰는 항목일수록 사용자의 기본 손 위치에 위치시킨다. Alpha PIG 연구에서는 실시간 피로 모델(NICER)을 사용해 사용자의 팔에 피로도가 쌓일수록 같은 손 움직임으로 더 먼 거리를 가리키게 만드는 비선형 스케일 조정을 적용하고 있다. 실제 물리적 공간에서는 손을 작게 움직이지만 가상에서 입력되는 제스처는 더 크게, 더 멀리 움직이게 해서 팔을 덜 들어도 같은 정밀도를 얻도록 만드는 방식이다. 이때 시각적으로 보이는 버튼 크기보다 실제 클릭 판정 영역을 더 크게 두거나, 손, 커서의 궤적을 예측해서 가장 가까운 목표로 입력될 수 있도록 한다. 

 

2. 시선, 제스처, 음성을 조합하는 멀티모달 환경에서 입력 간의 우선순위를 어떻게 설정하는 것이 최적이며, 사용자가 이 복합적인 조작법을 익히는 데 드는 학습 비용을 최소화할 방안

 

시선은 마우스 커서처럼 사용할 때 입력되고 페이지를 넘긴다거나 스크롤할 때, 제스처는 바로 실행할 때 버튼 등등을 클릭 시 사용하고 음성은 복잡한 설정이나 텍스트를 입력할 때 각 입력들을 우선시하면 좋을 것 같다. 사용자가 제스처나 행동을 전부 외우게 한다기보단 시선이 계속 머무는 상황 등등에서 화면에 힌트 동작을 띄워주면 좋을 것 같다. 

 

시선으로는 타깃을 지정하고, 제스처로는 명시적인 확정 기능 및 간단한 직접 조작(드래그, 회전 등), 음성으로는 복잡한 명령과 설정 및 텍스트 입력 시 우선시해 시선으로 대상을 지정하고 제스처로 직접 실행을 하는 구조 원칙이 모범적이다. 우선순위를 세게 강제하기보다는 각자 잘하는 역할을 분담해 즉시 입력을 받고 시선이 가리키는 대상에 대해 제스처를 적용, 음성 명령은 현재 시선 및 선택된 요소 위에서 작동하게 하는 구조가 현재 연구 경향과 잘 맞는다.

 

또한, 시선 기반 힌트 노출을 통해 사용자의 시선이 한 요소에 오래 머물면 그 근처에 사용 가능한 제스처 및 명령을 작은 오버레이로 보여주는 방식이 추천되고 있다. 그리고 점진적 공개 방식 또한 존재한다. 처음에는 1~2개의 핵심 제스처 및 명령만 보여주고, 사용 빈도가 쌓이거나 사용자가 안정적으로 수행할 때 추가 기능을 단계적으로 노출시켜 암기에 관한 사용자의 부담을 줄일 수 있다.

 

 

3. 하드웨어의 물리적 제약을 고려했을 때, 외부 디스플레이 외에 기존의 센서나 가벼운 LED 인디케이터 등을 활용해 사회적 수용성을 높일 수 있는 더 가벼운 방식의 인터랙션 아이디어

 

작은 LED조명으로 조명의 색깔로만 지금 사용자의 상황을 나타내는 거나 간단한 아이콘정도로 나타내면 좋을 것 같다. 

 

주변인이 사용자가 무엇을 보고 있는지, 대화 가능한 상태인지 모른다는 점이 문제인 지점이다. LED를 통해 상태 색상을 코딩시켜 사회적 수용성을 높일 수 있다. 예를 들어, 초록색은 대화 가능 상태, 노란색은 집중 중이지만 짧은 대화는 가능한 상태, 빨간색은 중요작업 중으로 대화 불가능 상태 등등 사용자의 상황을 외부에 빠르게 전달해 줄 수 있다. 

 

또한 간단한 픽토그램이나 아이콘으로 기기 전면에 작은  LED나 e-link창을 두고 단순한 아이콘 표현을 통해 주변인들에게 상황을 알릴 수 있다. 또, 센서 기반 자동 전환을 통해 시선 및 머리방향, 앱 포그라운드 상태 (사용자가 기기 화면에서 직접 보고 상호작용하는 상태)를 기반으로 사용자가 실제 사람을 바라보는 등 행동을 하면 자동으로 인터페이스의 화면을 흐리게 해 상대방과 상호작용이 가능하도록 할 수 있다. 

 

4. 사용자의 피로도를 측정하는 데이터 소스(팔의 각도 유지 시간, 센서 데이터 등)를 무엇으로 설정하는 것이 최적이며, 이 분석 처리가 목표 수행에 미치는 영향을 어떻게 최적화할 것인가?

 

카메라 센서로 어깨 각도를 계산해 어깨 위로 팔이 올라가는 각도 및 유지 시간, 짧은 시간 내 제스처 반복 빈도 계산, 눈 깜박임으로 눈 피로도 계산등이 있을 것 같다. 데이터를 계속해서 분석하는 것보다 피로도 위험범위에 들어오면 (팔 각도가 올라가거나, 눈 깜빡임 증가 등등) 사용자에게 경고를 하는 방식이 목표 수행에 가장 덜 방해가 될 것 같다.

 

 

헤드셋 및 컨트롤러 또는 핸드 트래킹의 위치 및 자세 데이터를 이용해 팔의 궤적과 어깨 각도를 추정하고 피로 모델에 넣어 실시간 피로도를 계산할 수 있다. Alpha PIG연구에서는 피로 모델 NICER에 넣어 실제로 피로도를 개선하고자 했다. 시선 인터랙션에서 지속적인 응시 시간, 시선 점프 빈도, 눈 깜박임 패턴 또한 시각 및 인지적 부담과 관련이 있으므로 시선 트래킹 데이터를 통해 사용자의 피로도와 과부하 신호로 활용 할 수 있다. 팔, 어깨 각도와 그 각도에서 머무른 시간, 손의 이동 거리 및 속도, 짧은 시간 내 제스처 반복 빈도를 추적해 피로모델에 넣어 설정하는 것이 최적이라 볼 수 있다. 

 

매 프레임마다 센서 값을 읽되, 피로 지수는 장기 추세로 본다. 안전 구간, 주의 구간, 위험 구간으로 나누어 지표 기준을 통해 기준을 세운다.  또한 피로 모델이 산출하는 값이 특정 임계치를 넘기 전에는 개입하지 않고, 임계치를 넘는 순간부터만 사용자에게 신호를 보내고, 손 제스처의 인식 범위를 늘리는 방식을 통해서 목표 수행을 최적화할 수 있다. 

 

5. 참고 문헌

• AlphaPIG: The Nicest Way to Prolong Interactive Gestures in Extended Reality

https://arxiv.org/abs/2503.01011

 

• Towards Spatial Computing: Recent Advances in Multimodal Natural Interaction for XR Headsets

https://arxiv.org/abs/2502.07598

 

• Digital Eyes: Social Implications of XR EyeSight

https://arxiv.org/abs/2410.02053