[CHI 24 REVIEW]TimeTunnel: Integrating Spatial and Temporal Motion Editing for Character Animation in Virtual Reality

TimeTunnel: Integrating Spatial and Temporal Motion Editing for Character Animation in Virtual Reality

Oct 08, 2024

Contents

Meta Information about the Paper Researcher's Affiliation Site motivation contribution capturing motion has become approachable but editing the captured data is still a challenging task.Related work Component Extracting KeyPoses From Trajectories Mathematical ways for Interface user studies 결과 limitation In conclusion

This document is structured as follows:

Meta Information about the Paper (논문 정보)
Researcher's Affiliation Site (저자 연구실 정보)
Content for General Readers (일반 독자를 위한 내용)
Content for Korean Readers Who Want to Know More about the Paper (관련 분야 한국 전문가를 위한 내용)
In conclusion(마치며)

let’s start.

Meta Information about the Paper

Zhou, Q., Ledo, D., Fitzmaurice, G., & Anderson, F. (2024, May). TimeTunnel: Integrating Spatial and Temporal Motion Editing for Character Animation in Virtual Reality. In Proceedings of the CHI Conference on Human Factors in Computing Systems (pp. 1-17)

Interactivity

Jury Winner in CHI 2024

concept

Human-centered computing → Interaction techniques; Interactive systems and tools; Virtual reality.

keywords

motion editing, immersive animation authoring, 3D interface, motion path, keypose

Video:

https://dl.acm.org/doi/10.1145/3613904.3641927

Researcher's Affiliation Site

Qian Zhou

David Ledo

George Fitzmaurice

Fraser Anderson

Autodesk Research, Canada

Content for General Readers

motivation

Editing motion capture data is challenging as it lacks high-level controls like keyframes
Existing immersive animation tools still separate spatial and temporal control
There's a need for an approachable motion editing interface for novices

한글 요약:

모션 캡처 데이터 편집은 고수준의 제어 요소(예: 키프레임)가 부족하여 어려고, 기존의 몰입형 애니메이션 도구들은 여전히 공간적 제어와 시간적 제어를 분리한다. 그래서 초보자를 위한 접근 가능한 모션 편집 인터페이스가 필요하다

contribution

A motion editing interface called TimeTunnel that integrates spatial and temporal controls for character animation in VR using:
- KeyPoses: Automatically computed representative poses to concisely depict motion
- Trajectories: 3D animation curves passing through KeyPose joints to represent in-betweens

An adapted algorithm to extract KeyPoses from motion capture data by detecting extreme points on multiple Trajectories

Findings from two user studies:
- Quantitative study with novices (n=12) showing TimeTunnel reduced editing time and effort to locate poses
- Qualitative study with domain experts (n=5) providing critical feedback on strengths and limitations

한글요약:

VR에서 캐릭터 애니메이션을 위한 공간적 및 시간적 제어를 통합하는 모션 편집 인터페이스인 TimeTunnel을 제안:

KeyPoses: 모션을 간결하게 나타내기 위해 자동으로 계산된 대표 포즈.
Trajectories: KeyPose 관절을 통과하는 3D 애니메이션 곡선으로, 중간 움직임을 표현.

모션 캡처 데이터에서 여러 Trajectory에서 극점을 감지하여 KeyPose를 추출하는 알고리즘을 적용.

두 가지 사용자 연구 결과:

초보자(n=12)를 대상으로 한 정량적 연구에서 TimeTunnel이 편집 시간과 포즈 위치 찾기 노력을 줄였음을 확인.
전문가(n=5)를 대상으로 한 정성적 연구에서 장점과 한계에 대한 중요한 피드백을 제공.

아래 그림은 기존의 공간과 시간이 분리된 소프트웨어(왼쪽) 과 합쳐진 timetunnel(오른쪽)을 보인다.

Content for Readers Who Want to Know More about the Paper

capturing motion has become approachable

off-the-shelf cameras [51], monocular videos [55], or directly from the sensors on Virtual Reality headsets [4, 26].

but editing the captured data is still a challenging task.

keyframes[45], ifficult to learn for beginners [40], Maya interface[2]
3d model of inverse kinematics (IK) still contains the spatial information is separated from the timeline

2.1 Immersive Animation Interfaces

As is) 기존에는 애니메이션 인터페이스는 공간적 제어와 시간적 제어를 분리하여 초보자에게 어려움을 초래
- 초보자는 현재 프레임에서의 변경이 인접 프레임에 미치는 영향을 이해하는 데 어려움을 겪어 원하는 동작을 달성하기 어렵기 때문
To be) 이 논문은 경로(Trajectories)와 키포즈(KeyPoses)를 활용한 모션 편집 인터페이스를 소개하여, VR에서 캐릭터 애니메이션의 공간적 및 시간적 편집을 통합할 수 있도록 하며, 그 효과성을 보여주는 시연을 제공

2.2 Capturing Motion and Digital Puppetry

As is) 캡처된 모션은 수정하기 어려워, 여러 프레임에 걸쳐 작은 변경을 하는 데 노동 집약적이고 시간이 많이 소요[23]
- making it laborious and time-consuming to make a small change across multiple frames [56].
To be) 캡처된 데이터에서 대표적인 KeyPose를 추출하여 수정 지원

2.3 Animating with Motion Paths

motion path의 정의: (motion trail [2] or space-time curve [18]) 장면 내에서 시간에 따른 객체와 관절의 움직임과 방향을 표시하며 전통적인 애니메이션 곡선에 비해 더 직접적인 공간-시간적 제어 제공

As is) 모션 경로는 겹칠 경우 얽히게 되어 추적하고 편집하기 어려운 한계
To be ) 경로(Trajectories)를 도입하여, 겹치는 동작을 풀어내기 위해 모션 경로를 축을 따라 늘이는 방식을 제안

Component

Trajectory: 시간에 따른 관절의 순차적인 위치 집합으로, 3D 애니메이션 곡선으로 간주. 모션 경로와 달리 시간 축을 측면으로 매핑하여 위치 간의 잠재적 겹침을 분리하는 역할.
Equation 1 of the paper
KeyPose: 모션을 간결하게 표현하기 위해 신중하게 계산된 대표 포즈의 집합으로, 여러 KeyPose를 Trajectory와 함께 렌더링하여 모션을 정적으로 표현하고 자가 설명적이게 만듬.
- 인접 KeyPose로 경계가 설정되어 제어점을 이동시키면 해당 Trajectory의 유한한 범위만 변경되는데 이는 애니메이션 곡선에서 장점으로 여겨짐[45]

모션 캡처 데이터와 KeyPose의 추출

모션 캡처 데이터는 키프레임이 부족하여 중요한 순간을 강조하는 데 어려움이 있어 TimeTunnel을 모션 캡처 데이터와 호환시키기 위해, Action Synopsis [13]의 알고리즘을 수정하여 Trajectory에서 극점을 감지하여 KeyPose를 추출하는 방법을 개발.
- 여기서 곡선의 높은 로컬 극대값이 가장 대표적인 포즈를 제공한다고 판단.
- 원래 알고리즘은 단일 곡선의 극대점을 오프라인에서 찾도록 설계되었으나, 이를 수정하여 사용자가 선택한 여러 Trajectory에서 실시간으로 KeyPose를 추출할 수 있도록 함

Extracting KeyPoses From Trajectories

아래 수식으로 더 큰 움직임(d)을 가진 관절은 KeyPose 선택에 더 큰 영향을 미치게 되므로 local extreme point로 찾음.

도출 과정:
- Gaussian smoothing function 을 이용해 스무딩된 Trajectory
- Euclidean distance

Mathematical ways for Interface

KeyPoses 간의 위치와 회전 변화를 부드럽게 연결하기 위해 사용하는 수학적 기법

위치 및 회전 변화의 전파:

가중 선형 및 구형 보간법: 변화는 선형 보간(linear interpolation)과 구형 보간(spherical interpolation)을 통해 전파
- 구형 보간은 방향이 중요한 애니메이션에서 부드러운 회전을 제공하는 데 적합

가중치의 결정:

Gaussian 분포: 변화의 가중치는 가우시안 분포를 사용하여 결정. 이 분포는 특정 프레임에서 변화의 강도를 기반으로 하며, 변화를 발생시킨 프레임에서 가중치의 피크(가장 높은 값)가 설정

Catmull–Rom 스플라인:

연속성을 제공하기 위해: Catmull–Rom 스플라인[45]은 주어진 점들(여기서는 왜곡된 3D 위치) 사이에 부드러운 곡선을 생성하는 방법

user studies

첫번째 연구는 TimeTunnel의 핵심 구성 요소인 Trajectory와 KeyPose가 초보 사용자들의 모션 편집을 지원하는 데 얼마나 효과적인지를 검증

대상은 초보자

참가자들이 다양한 조건에서 비교적 짧은 시간 내에 시스템을 직접 사용해 볼 수 있도록 설계 [42]
포즈 검색 작업(측정 대상: completion time, error count (the number of false submissions), and operation count (the number of playback buttons and slider presses))과 조작 작업(측정 대상: completion time and frame count (the number of frames that participants edited to produce the final animations))을 요청함
immersive animation tools [1, 8]에 대한 기존 연구들처럼 baseline을 이게 없는 경우(no keypose and trajectory condition)로 하고, Balanced Latin Squares으로 순서 조정
CMU Motion Capture Dataset [3]에서 유사하지만 다른 4개의 춤 애니메이션을 사용함으로써 반복에 따른 암기 방지

두 번째 연구는 TimeTunnel 인터페이스의 강점과 약점을 보다 자연스러운 환경에서 이해하기 위한 목적으로 진행

대상은 전문가
데스크탑 애니메이션과 비교하여 잠재적인 강점에 대해 논의

<연구 장비>

포인팅, 집기, 탭하기, 잡기 등의 3D 제스처 상호작용은 Oculus Interaction SDK [7]를 사용하여 구현.
역운동학 제어는 RootMotion Final IK [9]
20개의 관절을 가진 Mixamo [6]의 표준 3D 캐릭터 사용
연구에 사용된 모든 모션 클립은 CMU 모션 캡처 데이터셋에서 가져왔으며, 샘플 속도는 24fps였음 [3].

결과

첫 번째 연구

non-parametric Friedman test, followed by Conover post-hoc analysis with Bonferroni correction
repeated-measures ANOVA

포즈 검색 작업에서 KeyPose는 검색 프로세스를 빠르게 하지는 않았지만, 작업 수를 줄이고 (그림 7.2) 실수를 줄이는 데 기여
Trajectory 단독으로 작업 성능이 유의미하게 개선되지 않는 것을 관찰했지만, KeyPose와 결합했을 때 모션 인식에서 보조 역할 주장

두 번째 연구

직접성과 단순함이 강점으로, 정밀성과 시각적 혼잡함이 약점

limitation

현재 Trajectory 디자인은 시간에 따른 관절의 위치만을 표시하기 때문에 방향이 어떻게 보간되는지 알 수 없음. 시각적 혼잡을 유발[57]하지 않고 방향성을 시각화할 수 있는 방법을 탐구해야 함
TimeTunnel을 최적화하기 위한 최적의 단위 벡터 형태(로그 스케일로 프레임을 표시[20])

In conclusion

[42] Dan R Olsen Jr. 2007. Evaluating user interface systems research. In Proceedings of the 20th annual ACM symposium on User interface software and technology. 251–258.

에 방법에 준하여 작성된 논문이므로 user interface systems research에 참고할 수 있습니다.

아래 논문은 두 번째 실험을 분석할 때 참고되었습니다.

[14] Ann Blandford, Dominic Furniss, and Stephann Makri. 2016. Qualitative HCI research: Going behind the scenes. Morgan & Claypool Publishers

Reference papers can be found below

https://dl.acm.org/doi/10.1145/3613904.3641927

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com

Contents

HCI

[CHI 24 REVIEW]TimeTunnel: Integrating Spatial and Temporal Motion Editing for Character Animation in Virtual Reality

TimeTunnel: Integrating Spatial and Temporal Motion Editing for Character Animation in Virtual Reality

Eunho Kim

Oct 08, 2024

Contents

This document is structured as follows:

Meta Information about the Paper (논문 정보)
Researcher's Affiliation Site (저자 연구실 정보)
Content for General Readers (일반 독자를 위한 내용)
Content for Korean Readers Who Want to Know More about the Paper (관련 분야 한국 전문가를 위한 내용)
In conclusion(마치며)

let’s start.

Meta Information about the Paper

Interactivity

Jury Winner in CHI 2024

concept

Human-centered computing → Interaction techniques; Interactive systems and tools; Virtual reality.

keywords

motion editing, immersive animation authoring, 3D interface, motion path, keypose

Video:

https://dl.acm.org/doi/10.1145/3613904.3641927

Researcher's Affiliation Site

Qian Zhou

David Ledo

George Fitzmaurice

Fraser Anderson

Autodesk Research, Canada

Content for General Readers

motivation

Editing motion capture data is challenging as it lacks high-level controls like keyframes
Existing immersive animation tools still separate spatial and temporal control
There's a need for an approachable motion editing interface for novices

한글 요약:

모션 캡처 데이터 편집은 고수준의 제어 요소(예: 키프레임)가 부족하여 어려고, 기존의 몰입형 애니메이션 도구들은 여전히 공간적 제어와 시간적 제어를 분리한다. 그래서 초보자를 위한 접근 가능한 모션 편집 인터페이스가 필요하다

contribution

A motion editing interface called TimeTunnel that integrates spatial and temporal controls for character animation in VR using:
- KeyPoses: Automatically computed representative poses to concisely depict motion
- Trajectories: 3D animation curves passing through KeyPose joints to represent in-betweens

An adapted algorithm to extract KeyPoses from motion capture data by detecting extreme points on multiple Trajectories

Findings from two user studies:
- Quantitative study with novices (n=12) showing TimeTunnel reduced editing time and effort to locate poses
- Qualitative study with domain experts (n=5) providing critical feedback on strengths and limitations

한글요약:

VR에서 캐릭터 애니메이션을 위한 공간적 및 시간적 제어를 통합하는 모션 편집 인터페이스인 TimeTunnel을 제안:

KeyPoses: 모션을 간결하게 나타내기 위해 자동으로 계산된 대표 포즈.
Trajectories: KeyPose 관절을 통과하는 3D 애니메이션 곡선으로, 중간 움직임을 표현.

모션 캡처 데이터에서 여러 Trajectory에서 극점을 감지하여 KeyPose를 추출하는 알고리즘을 적용.

두 가지 사용자 연구 결과:

초보자(n=12)를 대상으로 한 정량적 연구에서 TimeTunnel이 편집 시간과 포즈 위치 찾기 노력을 줄였음을 확인.
전문가(n=5)를 대상으로 한 정성적 연구에서 장점과 한계에 대한 중요한 피드백을 제공.

아래 그림은 기존의 공간과 시간이 분리된 소프트웨어(왼쪽) 과 합쳐진 timetunnel(오른쪽)을 보인다.

Content for Readers Who Want to Know More about the Paper

capturing motion has become approachable

off-the-shelf cameras [51], monocular videos [55], or directly from the sensors on Virtual Reality headsets [4, 26].

but editing the captured data is still a challenging task.

keyframes[45], ifficult to learn for beginners [40], Maya interface[2]
3d model of inverse kinematics (IK) still contains the spatial information is separated from the timeline

2.1 Immersive Animation Interfaces

As is) 기존에는 애니메이션 인터페이스는 공간적 제어와 시간적 제어를 분리하여 초보자에게 어려움을 초래
- 초보자는 현재 프레임에서의 변경이 인접 프레임에 미치는 영향을 이해하는 데 어려움을 겪어 원하는 동작을 달성하기 어렵기 때문
To be) 이 논문은 경로(Trajectories)와 키포즈(KeyPoses)를 활용한 모션 편집 인터페이스를 소개하여, VR에서 캐릭터 애니메이션의 공간적 및 시간적 편집을 통합할 수 있도록 하며, 그 효과성을 보여주는 시연을 제공

2.2 Capturing Motion and Digital Puppetry

As is) 캡처된 모션은 수정하기 어려워, 여러 프레임에 걸쳐 작은 변경을 하는 데 노동 집약적이고 시간이 많이 소요[23]
- making it laborious and time-consuming to make a small change across multiple frames [56].
To be) 캡처된 데이터에서 대표적인 KeyPose를 추출하여 수정 지원

2.3 Animating with Motion Paths

motion path의 정의: (motion trail [2] or space-time curve [18]) 장면 내에서 시간에 따른 객체와 관절의 움직임과 방향을 표시하며 전통적인 애니메이션 곡선에 비해 더 직접적인 공간-시간적 제어 제공

As is) 모션 경로는 겹칠 경우 얽히게 되어 추적하고 편집하기 어려운 한계
To be ) 경로(Trajectories)를 도입하여, 겹치는 동작을 풀어내기 위해 모션 경로를 축을 따라 늘이는 방식을 제안

Component

Trajectory: 시간에 따른 관절의 순차적인 위치 집합으로, 3D 애니메이션 곡선으로 간주. 모션 경로와 달리 시간 축을 측면으로 매핑하여 위치 간의 잠재적 겹침을 분리하는 역할.
Equation 1 of the paper
KeyPose: 모션을 간결하게 표현하기 위해 신중하게 계산된 대표 포즈의 집합으로, 여러 KeyPose를 Trajectory와 함께 렌더링하여 모션을 정적으로 표현하고 자가 설명적이게 만듬.
- 인접 KeyPose로 경계가 설정되어 제어점을 이동시키면 해당 Trajectory의 유한한 범위만 변경되는데 이는 애니메이션 곡선에서 장점으로 여겨짐[45]

모션 캡처 데이터와 KeyPose의 추출

모션 캡처 데이터는 키프레임이 부족하여 중요한 순간을 강조하는 데 어려움이 있어 TimeTunnel을 모션 캡처 데이터와 호환시키기 위해, Action Synopsis [13]의 알고리즘을 수정하여 Trajectory에서 극점을 감지하여 KeyPose를 추출하는 방법을 개발.
- 여기서 곡선의 높은 로컬 극대값이 가장 대표적인 포즈를 제공한다고 판단.
- 원래 알고리즘은 단일 곡선의 극대점을 오프라인에서 찾도록 설계되었으나, 이를 수정하여 사용자가 선택한 여러 Trajectory에서 실시간으로 KeyPose를 추출할 수 있도록 함

Extracting KeyPoses From Trajectories

아래 수식으로 더 큰 움직임(d)을 가진 관절은 KeyPose 선택에 더 큰 영향을 미치게 되므로 local extreme point로 찾음.

도출 과정:
- Gaussian smoothing function 을 이용해 스무딩된 Trajectory
- Euclidean distance

Mathematical ways for Interface

KeyPoses 간의 위치와 회전 변화를 부드럽게 연결하기 위해 사용하는 수학적 기법

위치 및 회전 변화의 전파:

가중 선형 및 구형 보간법: 변화는 선형 보간(linear interpolation)과 구형 보간(spherical interpolation)을 통해 전파
- 구형 보간은 방향이 중요한 애니메이션에서 부드러운 회전을 제공하는 데 적합

가중치의 결정:

Gaussian 분포: 변화의 가중치는 가우시안 분포를 사용하여 결정. 이 분포는 특정 프레임에서 변화의 강도를 기반으로 하며, 변화를 발생시킨 프레임에서 가중치의 피크(가장 높은 값)가 설정

Catmull–Rom 스플라인:

연속성을 제공하기 위해: Catmull–Rom 스플라인[45]은 주어진 점들(여기서는 왜곡된 3D 위치) 사이에 부드러운 곡선을 생성하는 방법

user studies

첫번째 연구는 TimeTunnel의 핵심 구성 요소인 Trajectory와 KeyPose가 초보 사용자들의 모션 편집을 지원하는 데 얼마나 효과적인지를 검증

대상은 초보자

참가자들이 다양한 조건에서 비교적 짧은 시간 내에 시스템을 직접 사용해 볼 수 있도록 설계 [42]
포즈 검색 작업(측정 대상: completion time, error count (the number of false submissions), and operation count (the number of playback buttons and slider presses))과 조작 작업(측정 대상: completion time and frame count (the number of frames that participants edited to produce the final animations))을 요청함
immersive animation tools [1, 8]에 대한 기존 연구들처럼 baseline을 이게 없는 경우(no keypose and trajectory condition)로 하고, Balanced Latin Squares으로 순서 조정
CMU Motion Capture Dataset [3]에서 유사하지만 다른 4개의 춤 애니메이션을 사용함으로써 반복에 따른 암기 방지

두 번째 연구는 TimeTunnel 인터페이스의 강점과 약점을 보다 자연스러운 환경에서 이해하기 위한 목적으로 진행

대상은 전문가
데스크탑 애니메이션과 비교하여 잠재적인 강점에 대해 논의

<연구 장비>

포인팅, 집기, 탭하기, 잡기 등의 3D 제스처 상호작용은 Oculus Interaction SDK [7]를 사용하여 구현.
역운동학 제어는 RootMotion Final IK [9]
20개의 관절을 가진 Mixamo [6]의 표준 3D 캐릭터 사용
연구에 사용된 모든 모션 클립은 CMU 모션 캡처 데이터셋에서 가져왔으며, 샘플 속도는 24fps였음 [3].

결과

첫 번째 연구

non-parametric Friedman test, followed by Conover post-hoc analysis with Bonferroni correction
repeated-measures ANOVA

포즈 검색 작업에서 KeyPose는 검색 프로세스를 빠르게 하지는 않았지만, 작업 수를 줄이고 (그림 7.2) 실수를 줄이는 데 기여
Trajectory 단독으로 작업 성능이 유의미하게 개선되지 않는 것을 관찰했지만, KeyPose와 결합했을 때 모션 인식에서 보조 역할 주장

두 번째 연구

직접성과 단순함이 강점으로, 정밀성과 시각적 혼잡함이 약점

limitation

현재 Trajectory 디자인은 시간에 따른 관절의 위치만을 표시하기 때문에 방향이 어떻게 보간되는지 알 수 없음. 시각적 혼잡을 유발[57]하지 않고 방향성을 시각화할 수 있는 방법을 탐구해야 함
TimeTunnel을 최적화하기 위한 최적의 단위 벡터 형태(로그 스케일로 프레임을 표시[20])

In conclusion

[42] Dan R Olsen Jr. 2007. Evaluating user interface systems research. In Proceedings of the 20th annual ACM symposium on User interface software and technology. 251–258.

에 방법에 준하여 작성된 논문이므로 user interface systems research에 참고할 수 있습니다.

아래 논문은 두 번째 실험을 분석할 때 참고되었습니다.

[14] Ann Blandford, Dominic Furniss, and Stephann Makri. 2016. Qualitative HCI research: Going behind the scenes. Morgan & Claypool Publishers

Reference papers can be found below

https://dl.acm.org/doi/10.1145/3613904.3641927

If you have any questions, please contact me at the email address below.

ehlkim0215@gmail.com

Contents