Bon appétit

병풍연화

관람객이 이야기의 주인공이 되는 인터랙티브 전래동화 전시

꽃충이|신유담신유담김건김건박영준박영준이지수이지수서은현서은현

병풍연화가로포스터.png

《병풍연화》는 관람객의 몸짓이 이야기가 되고 그 이야기가 다시 병풍의 한 폭으로 남는 인터랙티브 XR 동화 전시이다.

작품은 어린 시절 누구나 한 번쯤 접했던 전래동화와 책 병풍의 기억에서 출발한다. 전래동화는 익숙하지만 종종 어린이 콘텐츠로만 여겨지고 병풍은 전통적 이미지로 남아 오늘의 관람 경험과는 멀어져 있다. 《병풍연화》는 이 두 요소를 생성형 AI와 신체 기반 인터랙션으로 다시 연결하며 전래동화를 ‘보는 이야기’가 아니라 ‘직접 개입하고 바꾸는 이야기’로 재해석한다.

관람객은 [심청전]의 인물이 되어 사건에 개입하고 그 선택은 원작과는 다른 새로운 서사를 만들어낸다. 체험이 끝난 후에는 과람객의 얼굴과 행동이 반영된 장면이 병풍 위에 기록된다. 하나의 장면은 또 다른 관람객의 이야기로 이어지고 서로 다른 선택들은 하나의 새로운 전래동화가 되어 병풍을 완성한다.

과거 사람들이 이야기를 입에서 입으로 전하며 서사를 확장해왔듯《병풍연화》는 디지털 기술을 동해 함꼐 만들어가는 새로운 구전의 방식을 제안한다. 이야기는 더 이상 과거의 유산으로 남아있는 것이 아니라 지금 이 순간 우리의 선택으로 다시 쓰여짐과 동시에 “우리는 오래된 이야기를 어떻게 다시 읽고 어떻게 나의 이야기로 만들 수 있는가?”라는 질문을 던진다.

기술 소개

프로젝트는 크게 실시간 인터랙션 시스템, AI 기반 콘텐츠 제작 파이프라인, AI 병풍 이미지 생성 시스템으로 구성된다.

실시간 인터랙션 시스템은 Unity와 Azure Kinect를 기반으로 운영된다. Azure Kinect는 관람객의 3차원 골격 데이터를 실시간으로 추적하며 Unity는 이를 전래동화 속 캐릭터에 리타겟팅하여 관람객의 움직임을 가상 공간에 반영한다. 이를 통해 관람객은 단순한 관람자가 아닌 이야기 속 주체로서 서사에 직접 개입하게 된다. 이야기의 분기는 자체 개발한 행동 인식(Action Recognition) 시스템을 통해 이루어진다.

행동 인식 모델은 관람객의 골격 데이터를 분석하여 특정 제스처와 행동을 실시간으로 판별하며 인식 결과는 이야기의 분기 조건으로 활용된다. 동일한 전래동화를 기반으로 하더라도 관람객의 행동에 따라 서로 다른 장면과 결말이 생성되며 이를 통해 개인화된 서사 경험이 제공된다. 전시에 활용된 캐릭터 및 영상 콘텐츠는 생성형 AI 기반 제작 파이프라인을 통해 제작되었다. GPT Image를 활용하여 캐릭터 콘셉트 이미지를 생성하고 Tripo API를 통해 이를 3D 모델로 변환하였다. 이후 자체 수정한 UniRig을 통해 자동 리깅 과정을 거쳐 Unity 환경에서 활용 가능한 캐릭터를 구축하였다. 또한 GPT Image와 Seedance를 활용하여 전시 도입부 및 장면 전환에 사용되는 영상 콘텐츠를 제작하였다.

병풍 이미지 생성 시스템은 관람객의 얼굴 정보와 체험 결과를 기반으로 동작한다. 사전에 구축된 한국화 스타일 템플릿에 관람객의 얼굴 특징과 서사적 결과를 반영하여 새로운 병풍 장면을 생성한다. 이를 위해 SDXL, LoRA, ControlNet, IP-Adapter를 활용한 ComfyUI 기반 생성 파이프라인을 구성하였다. 생성된 이미지는 클라우드 스토리지에 저장되며 TouchDesigner를 통해 병풍 디스플레이에 실시간으로 출력된다. 동시에 웹 아카이브에 기록되어 이후에도 결과물을 확인할 수 있도록 설계하였다.

시스템 전체 구조도

최종.png

_구조도는 관람객의 얼굴 촬영과 설정부터 실시간 행동 인식 및 장면 분기, 병풍 이미지 생성, 프로젝션 매핑, 웹 아카이빙까지 이어지는 전체 시스템의 흐름을 보여준다._

주요 기술 스택

  • XR / Interaction : Unity, Azure Kinect SDK
  • Action Recognition : EfficientGCN-B0, ONNX, Unity Inference Engine
  • AI Content Creation : GPT Image, Tripo API, UniRig, Seedance
  • Image Generation : SDXL, LoRA, ControlNet, IP-Adapter, ComfyUI
  • Visualization : TouchDesigner
  • Cloud Infrastructure : Cloudflare R2, Cloudflare D1
  • Web Archive : Next.js

전시 이미지

KakaoTalk_20260706_225943419.png
PROJECTS LIST