모바일 증강현실에서 키네틱 타이포그래피를 활용한 감정 표현 연구
연구요약
현실 세계에 가상이 더해진다는 특징을 가지고 있는 증강현실은 사용자의 환경이 콘텐츠의 배경이 되고, 현실과 가상이 실시간으로 끊임없이 상호작용한다는 점에서 기존 미디어들과 전혀 다른 체험적 콘텐츠로 개발될 수 있다. 모바일 증강현실 메시지 앱인 EmoTypo는 사용자의 감정과 사용자가 위치하는 공간을 모바일 기기의 전, 후면 카메라를 통해 파악하여 실시간으로 상호작용 한다. 사용자가 직접 작성한 메시지에 사용자 얼굴 표정에서 추출한 감정으로 키네틱 효과가 적용되며, 이렇게 제작된 키네틱 타이포그래피는 현실 세계의 3차원 공간을 추적하여 증강된다.
본 연구의 최종 결과물인 EmoTypo 앱은 모바일 증강현실과 키네틱 타이포그래피를 결합하여 새로운 커뮤니케이션 방식을 제안했다는 데 의의가 있다.
미디어 발전 과정에 따른 글자의 활용
인쇄 매체의 글
읽고
보고
혼합현실의 가상 객체
체험하는
영상 매체의 이미지
인쇄 매체에서 읽고, 영상 매체에서 보는 용도로 활용되던 글자는 혼합 현실의 가상 객체로서 체험하는 글자가 되었다.
증강현실을 활용한 메시지 앱
장소
감정
현실 세계의 어떤 '장소'에 메시지를 기록하고 싶은 마음과, 지금 현재의 나의 '감정'을 좀 더 직관적으로 드러내고 싶은 마음을 증강현실 환경을 활용하여 표현함
모바일 기기의 특성 활용
World View
Self View
후면 카메라를 통해 사용자가 위치한 곳의 3차원 공간을 추적하여 평면을 인식하고, 전면 카메라를 통해 사용자의 얼굴 표정을 분석하여 감정을 추출함
EmoTypo 시스템
-
사용자가 텍스트를 입력하면, 전면 카메라가 사용자의 얼굴 표정에서 감정을 추출하고 이 감정에 맞춰서 키네틱 효과가 적용됨
-
그리고 후면 카메라에서 감지한 공간에 키네틱 타이포그래피가 증강되고, 사용자의 GPS를 추적하여 해당 위치에 콘텐츠가 기록되는 시스템
EmoTypo의 감정 분류
높은 에너지
부정적
무드
긍정적
무드
낮은 에너지
높은 에너지
부정적
무드
긍정적
무드
낮은 에너지
무드와 에너지를 축으로 하는 9개의 감정 구획에 키네틱 효과를 매칭함
EmoTypo 사용자 시나리오
혼자 온 여행에서 사랑하는 사람에게 남기고 싶은 메시지
.png)
.png)
사용자 1
사용자 2
유난히 기분 좋은날을 기억하고 싶어서 남기는 메시지
.png)
.png)
사용자 3
힘든 하루를 보내고 나에게 보내고 싶은 메시지
.png)
.png)
EmoTypo의 메시지 기록
.png)
_1.png)
-
사용자가 위치한 GPS에 메시지가 기록됨
-
해당 위치에서는 언제든 메시지를 다시 증강시켜 감상할 수 있음
-
증강된 키네틱 타이포그래피를 촬영하여 SNS에 공유할 수 있음
연구의 의의
모바일 증강현실
콘텐츠 개발
키네틱 타이포그래피의
영역 확장
새로운
커뮤니케이션 툴
제안
본 연구는 모바일 증강현실에서의 키네틱 타이포그래피가 사용자의 감정, 장소 등에 맞춰서 다양하게 변화할 수 있다는 것을 보여주었으며, 모바일 증강현실과 키네틱 타이포그래피를 결합하여 새로운 커뮤니케이션 툴을 제안했다는데 의의가 있다.