​모바일 증강현실에서 키네틱 타이포그래피를 활용한 감정 표현 연구

강애진  aaaaejin@gmail.com

연구요약

현실 세계에 가상이 더해진다는 특징을 가지고 있는 증강현실은 사용자의 환경이 콘텐츠의 배경이 되고, 현실과 가상이 실시간으로 끊임없이 상호작용한다는 점에서 기존 미디어들과 전혀 다른 체험적 콘텐츠로 개발될 수 있다. 모바일 증강현실 메시지 앱인 EmoTypo는 사용자의 감정과 사용자가 위치하는 공간을 모바일 기기의 전, 후면 카메라를 통해 파악하여 실시간으로 상호작용 한다. 사용자가 직접 작성한 메시지에 사용자 얼굴 표정에서 추출한 감정으로 키네틱 효과가 적용되며, 이렇게 제작된 키네틱 타이포그래피는  현실 세계의 3차원 공간을 추적하여 증강된다.

본 연구의 최종 결과물인 EmoTypo 앱은 모바일 증강현실과 키네틱 타이포그래피를 결합하여 새로운 커뮤니케이션 방식을 제안했다는 데 의의가 있다. 

​미디어 발전 과정에 따른 글자의 활용

reading.jpg

인쇄 매체의 글

읽고

seeing.jpg

보고

werid-type.jpeg

혼합현실의 가상 객체

체험하는

영상 매체의 이미지

​인쇄 매체에서 읽고, 영상 매체에서 보는 용도로 활용되던 글자는 혼합 현실의 가상 객체로서 체험하는 글자가 되었다.

증강현실을 활용한 메시지 앱

beach.jpg

 장소

감정

현실 세계의 어떤 '장소'에 메시지를 기록하고 싶은 마음과, 지금 현재의 나의 '감정'을 좀 더 직관적으로 드러내고 싶은 마음을 증강현실 환경을 활용하여 표현함

모바일 기기의 특성 활용

World View

Self View

후면 카메라를 통해 사용자가 위치한 곳의 3차원 공간을 추적하여 평면을 인식하고, 전면 카메라를 통해 사용자의 얼굴 표정을 분석하여 감정을 추출함

EmoTypo 시스템

  • 사용자가 텍스트를 입력하면, 전면 카메라가 사용자의 얼굴 표정에서 감정을 추출하고 이 감정에 맞춰서 키네틱 효과가 적용됨

  • 그리고 후면 카메라에서 감지한 공간에 키네틱 타이포그래피가 증강되고, 사용자의 GPS를 추적하여 해당 위치에 콘텐츠가 기록되는 시스템

EmoTypo의 감정 분류

​높은 에너지

02.jpg
03.jpg

부정적
무드

04.jpg
05.jpg
06.jpg

긍정적
무드

07.jpg
08.jpg
09.jpg

​낮은 에너지

​높은 에너지

kinetic_02.gif
kinetic_03.gif

부정적
무드

kinetic_04.gif
kinetic_05.gif

긍정적
무드

kinetic_06.gif
kinetic_07.gif
kinetic_08.gif
kinetic_09.gif

​낮은 에너지

​무드와 에너지를 축으로 하는 9개의 감정 구획에 키네틱 효과를 매칭함

EmoTypo 사용자 시나리오

혼자 온 여행에서 사랑하는 사람에게 남기고 싶은 메시지

screen_02 (0-00-50-16).png
screen_02 (0-00-46-01).png

사용자 1

user_02.png

사용자 2

유난히 기분 좋은날을 기억하고 싶어서 남기는 메시지

A_01 (0-00-45-27).png
A_01 (0-00-51-20).png
user_03.png

사용자 3

힘든 하루를 보내고 나에게 보내고 싶은 메시지

B_01 (0-00-05-13).png
B_01 (0-00-12-01).png

EmoTypo의 메시지 기록

map_1921-2 (0-00-03-14).png
ov_08 (0-00-03-03)_1.png
  • 사용자가 위치한 GPS에 메시지가 기록됨

  • 해당 위치에서는 언제든 메시지를 다시 증강시켜 감상할 수 있음

  • 증강된 키네틱 타이포그래피를 촬영하여 SNS에 공유할 수 있음

연구의 의의

모바일 증강현실
​콘텐츠 개발

키네틱 타이포그래피의

영역 확장

새로운
​커뮤니케이션 툴
제안

​본 연구는 모바일 증강현실에서의 키네틱 타이포그래피가 사용자의 감정, 장소 등에 맞춰서 다양하게 변화할 수 있다는 것을 보여주었으며, 모바일 증강현실과 키네틱 타이포그래피를 결합하여 새로운 커뮤니케이션 툴을 제안했다는데 의의가 있다.