Introduction
디지털 기술은 정보의 생성으로부터 사람들간의 소통, 지식의 축적과 교환 뿐만 아니라 문화를 향유하는 방식까지도 바꾸어 놓았다. 디지털 시대가 열리면서 다른 분야에 비해 늦긴 했지만 문화유산도 디지털과 만나게 되었다. 대중들은 문화유산을 향유하는 과정에서도 디지털 기기를 통해 정보에 접근하고 인터랙티브 콘텐츠를 통해 새로운 경험을 하는 것에 익숙해졌다. 이제 문화유산 기관은 문화유산에 대한 디지털 정보를 구축하고 콘텐츠를 서비스 하는 것에 주목하지 않을 수 없게 되었다. 뿐만 아니라 대중에게 문화유산을 보급하는 서비스 외에도 문화유산을 기록, 보존, 연구, 해석하는 모든 단계에서 디지털 기술의 활용과 디지털 데이터는 중요성을 더 하고 있다.
디지털 시대에 접어들면서 사회 각 분야에 있어 새롭게 태동한 주요 키워드 중의 하나는 ‘디지털 전환(digital transformation)’이었다. 디지털 전환은 디지털과 관련하여 기관의 모든 전략, 프로세스, 시스템, 조직, 문화 등을 근본적으로 변화시키는 것이며, 정보를 디지털화하는 단계를 넘어 이제 디지털 기술과 환경을 더욱 다변화시키고 있다. 올해 문화재청은 사회‧경제 전반의 디지털 전환에 체계적으로 대응하기 위해
‘문화재 디지털 대전환 계획’을 통해 문화유산의 보존·관리·활용 방식에 과학적 자료와 지능정보기술을 폭넓게 접목하려는 전략을 공표했다. 이러한 흐름 속에서 무형유산 분야에서 디지털 기술을 어떻게 활용해야 할 것인가에 대한 논의와 시도도 활발하다. 이 글은 지금의 시점에서 무형유산의 보존과 활용을 하는데 있어 디지털 기술을 적용하기 위한 방향에 대해 중점적으로 다룬다.
유형유산의 경우 디지털 기록, 특히 3차원 외형(外形)을 캡쳐하기 위한 기술의 활용 방식과 프로세스가 상당 부분 정립이 되어 있고, 데이터의 형식과 수준, 정밀도 등에서 표준화된 부분도 있다. 특정한 시점에서 고정되어 있는 형상을 캡쳐하는 유형유산과 달리 무형유산의 경우, 전통 공연·예술, 전통기술, 의례·의식, 전통 놀이·무예 등 시간에 따라 움직이는 형상을 캡쳐해야 하기에 기술적인 어려움이 커서 상대적으로 디지털 기술의 활용이 활발하지 못했다. 무형유산을 구성하는 요소에는 형상, 움직임, 소리 등이 있다. ‘디지털'의 속성은 각 요소를 분리해 데이터화하고 이를 하나의 프로세서에서 통합 처리하는 것이 가능하게 한다. 기록 및 데이터 처리 기술은 지속적으로 발전해 오고 있으며 최근 인공지능 기술은 기존 기술의 활용 방식을 더욱 고도화하거나 데이터 처리에 있어 새로운 방법을 가능하게 하고 있어 기대가 되고 있다. 무형유산의 주요한 구성 요소 중 형상, 움직임, 소리에 대해 이를 기록하는 기술에 대해 살펴본다.
형상의 기록과 재현
회화의 역사 속에서 화가들은 3차원의 실세계를 회화나 드로잉을 통해 최대한 사실적으로 2차원의 평면으로 옮기고자 했다. 카메라 옵스큐라와 같은 광학기기는 렌즈를 통해 보여지는 세상을 그대로 따라 그려낼 수 있게 했고, 사진술의 발명은 상(像)을 물리적인 매체에 남길 수 있게 하였다. 3차원 스캐닝이나 사진측량 기술과 같은 실제 기반(reality-based)의 3차원 데이터 획득 기술의 발전으로 비로소 실세계의 입체적 형상을 사실적인 3차원 데이터로 캡쳐할 수 있게 되었다. 사람을 대상으로 하는 경우, 여러 대의 카메라를 갖춘 라이트박스(lightbox)에서 촬영하여 여러 장의 사진으로 부터 매우 사실적인 3차원 모델을 생성할 수 있게 되었다.
형상의 ‘기록'이 아닌 ‘재현'에 있어서도 기술의 발전은 새로운 활용 방안을 생각할 수 있게 한다. 컴퓨터 비전과 인공지능(AI) 기술은 단일한 인물 사진으로부터 3차원 모델을 생성할 수 있게 하여, 과거의 특정 인물을 3차원으로 쉽게 재현할 수 있게 한다. AI를 기반으로 특정인이 아닌 가상의 사람을 생성하는 기술은 ‘불쾌한 골짜기(uncanny valley)’를 넘어서게 하고 있다. 정밀한 움직임 데이터가 있다면 초사실적인 재현도 가능하게 되었다.
움직임의 기록
무용과 같은 사람의 움직임은 기호, 영상, 점·면의 움직임 등으로 기록되어 왔다. 루돌프 폰 라반은 인간의 움직임의 기본 요소를 시각적인 기호를 이용해 기록하는 동작기보법(動作記譜法)인 라바노테이션(Labanotation)을 개발했다. 영상으로 기록하는 것은 아날로그와 디지털 시대를 거쳐 가장 효과적인 방법이었다. 한편에선 움직임 자체를 데이터화하여 기록하고 활용하기 위해 모션 캡쳐 기술을 시도하기도 했다. 국가무형문화재 중 승무, 살풀이춤, 태평무 등의 독무(獨舞)와 진주검무, 승전무, 처용무 등 군무(群舞) 등이 모션캡쳐 방식으로 기록된 바 있다. 그러나 마커를 붙이고 데이터를 추출하는 과정이 부자연스럽고 데이터의 양, 표준 등의 관점에서 기록화 기술로서 적합한가에 대해선 의문이 있었다. 주요 관절에 붙인 마커를 추적하여 점의 움직임을 캡쳐하던 것에서, 최근 개발된 기술들은 마커없이 모션을 캡쳐할 수 있다. 최근 볼륨메트릭 캡쳐(volumetric capture) 기술은 여러 대의 카메라로 동시 촬영한 영상으로부터 형상과 움직임을 동시에 추출하여, 움직이는 메쉬모델을 생성함으로써 움직임을 면의 움직임 데이터로 만들어 낸다. 딥러닝을 기반으로 한 AI 기술은 2차원 영상 속의 사람의 움직임을 3차원 데이터로 추출하기도 한다. 이를 활용해 춤을 학습하는 서비스도 나와 있다. 과거의 저품질 기록 영상을 흠없이 선명한 고해상도의 영상으로 변환해 줄 수도 있다. 이러한 기술 발전은 더 넓은 영역, 더 많은 사람을 대상으로 움직임을 기록하거나, 과거의 영상으로부터 움직임 데이터를 추출할 수 있는 가능성도 생각해 볼 수 있게 한다.
소리의 기록
소리를 캡쳐하는 공간은 모노로부터 스테레오로, 서라운드, 더 나아가 3차원 공간으로 확장되었다. 기록 뿐만 아니라 재현에 있어서도 3차원 공간 속의 음원의 위치를 재현함으로써 더욱 몰입할 수 있게 한다. AI 기술은 영상 속에서 음원의 위치를 파악해 원래의 사운드를 3차원 사운드로 재구성해 주기도 한다. 또한 개인 고유의 음색을 학습하여 재현할 수 있어서, 이러한 음성합성 기술을 이용해, 이미 작고한 가수가 생전에 부르지 않았던 노래를 부르도록 하여 발표되기도 했다. 작고한 명창이 새로운 판소리를 부르는 것도 가능할 것이다.
무형유산에 있어 디지털 전환 전략을 위한 제언
앞서 서술한 바와 같이 다양한 기술의 발전은 무형유산에 대해 디지털 기술을 효과적으로 적용할 수 있을 것이라는 기대를 갖게 한다. 지금은 기술의 현황과 방향을 분석하고 무형유산 분야에서의 디지털 전환 전략을 별도로 논의해야 할 시점이다. 이를 위해 무형유산 분야에서의 디지털 기술 활용 활성화를 위한 전문가들의 협력이 필요하다. AI 기술이 가능하게 하는 새로운 영역에 대해서는 기술 개발과 더불어 윤리나 권리에 대한 문제가 함께 논의되어야 함은 물론이다.
우선 무형유산의 보존과 활용을 위한 디지털 기술의 역할을 정의하고 현재 기술의 동향과 발전 방향을 검토할 필요가 있다. 예를 들어, 기록을 위한 기술, 연구 개발을 위한 기술, 활용을 위한 기술을 구분해서 전략을 세워야 한다. 무형유산을 기록하기 위한 도구로서의 기술은 표준, 상호운용성, 지속가능한 접근성 등의 요건을 필요로 한다. 무형유산의 각 유형에서 어떤 요소들을 기록하고 어떻게 활용할 수 있을 것인지에 대한 현황 분석이 선행되어야 한다. 기록과 더불어 무형유산의 지식과 노하우의 보존과 전수에 기여하는 최신 기술의 역할과 기술적 가능성을 모색할 필요도 있다. 연구 개발을 통해 새로운 기술적 가능성을 모색하고, 디지털 기술을 기반으로 한 새로운 분석과 지식 창출, 지역 사회의 참여와 대중 보급에 기여할 수 있는 콘텐츠 서비스 개발도 지속적으로 병행되어야 한다. 이와 같이 관련 신기술의 개발 방향 분석을 바탕으로 한 중장기 전략을 수립함으로써, 이를 바탕으로 기술의 개발과 활용, 데이터의 축적과 아카이브, 데이터 기반 분석과 서비스 등의 과제를 도출할 수 있을 것이다.
기존 기술의 발전이나 AI와 같은 새로운 기술을 무형유산에 어떻게 활용할 수 있을 것인가에 대한 전략을 수립하는 데에는 기술에 대한 이해, 무형유산에 대한 이해, 그리고 상상력을 필요로 한다. 이와 더불어 디지털 기술 활용을 확대하는 과정에서 간과하지 않아야 할 이슈, 즉 지역사회의 전통적 관점과의 충돌, 기록화 과정과 기록 결과물의 신뢰도와 진본성, 지적재산권과 같은 문제들도 함께 고려가 되어야 한다. 인간성이 결여되어 보일 수 있는 디지털 기술이 지극히 인간적인 우리의 무형유산 보존에 기여할 수 있도록 하기 위함이다.
