머신러닝으로 음악산업에 이용할 인공지능을 지능적으로 만들어주려면 꼭 필요한 것이 바로 빅데이터 구축 - P41
음악가 대부분이 기술의 도움을 받는 예는 메트로놈이나 튜너의 활용 정도였다. - P41
사회의 변화에 맞는 교육 시스템을 구축하는 일은 아이들에게 앞으로 직업을 구할 수 있는 중요한 발판을 제공해주는 중요한 요소이다. - P42
음악과 기술의 융합을 바탕으로 음악의 미래에 접근 - P43
변화하는 사회에 맞게 적합한 교육을 받은 이들은 직업이 없어질 것을 걱정하는 것이 아니라 새로운 직업을 기대할 것이다. - P43
인공지능을 연주뿐 아니라 교육과 작곡, 악기 등 모든 음악 분야에 적용하고 개발하려면 많은 음악가와 기술 개발자가 필요하다. - P44
"인공지능은 기존 일자리를 대체하는 것이 아니라 새로운 일자리를 창출할 것" "결과적으로 모든 직업이 인공지능 덕분에 더 효율적으로 변할 것이다" - P44
"지금까지 많은 일에 정교한 자동화 시스템이 도입됐지만 일자리는 없어지지 않았다" "오히려 다른 사람을 가르치고, 치료하고, 아이들을 돌보는 수많은 직업이 자동화 덕분에 도움을 받았다" - P44
인공지능 덕분에 생겨난 일자리가 사라진 일자리를 충분히 보충할 것 - P44
산업 영역에 따라 차이가 있지만, 헬스케어나 교육 분야 등에서는 고용 감소가 전혀 일어나지 않을 것 - P44
인간의 정신세계는 일련의 진화와 삶의 과정에서 외부 요인에 가장 잘 적응하고 반응하도록 훈련된 일종의 알고리즘이라는 가설이 있다. - P45
생성적 대립네트워크GAN 알고리즘의 핵심은 기존 화풍을 변주해 창조하는 방식으로 이 과정이 인간의 창작 과정과 유사하다 - P46
음악에서의 감정표현이란 무엇일까? 음악의 조성, 템포, 곡의 형식과 시대적 배경, 텍스처 등은 곡의 분위기를 결정하는 중요한 요소이며 음악가들은 각 요소에 따라 곡에 맞는 감정을 표현한다. - P46
예를 들어 베토벤의 ‘비창‘ 소나타 8번을 연주한다고 해보자. 베토벤이 이 소나타를 작곡할 때즈음 그를 괴롭힌 청력 장애가 시작되었다. 소나타에 표현된 비극적인 느낌은 귓병에 걸린 베토벤의 불안과 고통을 암시하는 것이다. 1악장은 다단조의 그라베Grave(장중하게)로 시작된다. 낮은 음역의 첫 다단조 코드와 느린 템포는 비극적인 느낌을 표현하기에 적당하다. 그래서 이 도입부는 아무리 행복한 마음으로 연주해도 곡이 가지고 있는 텍스처와 조성 때문에 그 마음이 연주에 표현되기가 쉽지 않다. - P46
같은 음악을 접해도 떠오르는 장면이나 느끼는 감정은 사람마다 다를 것이다. - P46
개인의 감정 표현은 음악에서 어떻게 적용될까? 소나타 도입부를 다시 예로 들어보면 처음 코드를 원 박자보다 조금 더 길게 끌어 고통스러움을 표현할 수도 있고, 왼손을 오른손보다 더 크게 쳐서 비장한 느낌을 표현할 수도 있다. - P46
32분 음표의 길이도 사람마다 조금씩 다를 수 있는데, 이 길이에 따라 표현되는 느낌이 달라진다. 처음 세 마디를 보면 첫마디의 패턴이 다른 음역에서 세번 반복된다. 이를 각각 어떻게 다르게 표현하는지가 곧 음악적 해석이다. 어떤 사람은 악상을 사용해 점점 커지게 연주하면서 불안감을 조성할 것이고, 어떤 사람은 타이밍을 이용해 세 번째 리듬을 조금 더 확장하는 방법으로 간절한 마음을 표현할 수도 있다. - P47
음의 길이와 소리의 크기, 오른손과 왼손의 밸런스, 템포에 따라 감정 표현이 결정된다면 인공지능이 음악을 연주할 때 감정 표현을 못할 이유가 없다. - P47
학생에게 음악을 가르칠 때 "비극적인 느낌을 표현해봐" 라고 추상적으로 말하는 선생님도 있지만 "코드 중 가장 위 음과 밑 음을 다른 음보다 조금 더 크게 치고 처음 코드를 조금 더 길게 끌어봐"라고 가르치는 선생님도 있다. 후자는 연주에 감정을 넣었다기보다 이론적으로 해석한 경우이지만 결론적으로는 전자와 후자가 같은 음악적 표현을 할 수도 있는 것이다. - P47
인공지능이 연주가들의 수많은 데이터를 머신러닝해 연주에 음악적 해석을 적용한 것이 사람이 감정을 넣어 연주한 것과 결과적으로 다르지 않을 수 있다 ...(중략)... 물론 정확히 따지면 인공지능이 정말 감정을 가지고 이를 표현한 것은 아니지만, 이론을 바탕으로 감정을 넣은 듯 연주할 수 있다는 뜻이다. - P48
음악은 창의적인 영역이라는 말도 다시 생각해보자. 창작은 완전한 무에서 유가 생기는 것이 아니다. 우리는 기존의 것 99퍼센트에 1퍼센트의 새로운 아이디어를 더해도 새로운 것을 창조해냈다고 한다. - P48
작곡도 마찬가지이다. 작곡가들은 바로크 시대부터 현대까지의 수많은 작곡 기법을 공부하고 그것에 자신만의 아이디어를 더해 새로운 작품을 만들어낸다. 모차르트도 하이든의 영향을 받았다. 물론 모차르트의 음악은 그만의 특성을 분명히 가지고 있다. 하지만 고전시대 음악의 형식과 특징에서는 크게 벗어나지 않는다. 같은 맥락으로 인공지능이 바흐의 곡을 머신러닝으로 학습한 후 바흐 스타일의 새로운 곡을 작곡하는 것도 창작이라고 말할 수 있다. - P48
사람이 연주하거나 작곡을 할 때 으레 받는 영감을 이슈로 삼을 수도 있겠다. 인공지능은 스스로 영감을 떠올릴 수 없다고 말이다. 하지만 현재 인공지능은 사람과 협력해 사람이 어떠한 상황에 무슨 느낌을 내면 될지 지정해주면 이를 바탕으로 얼마든지 작곡이나 연주를 할 수 있다. 인공지능이 작품의 발단이 되는 영감을 스스로 가질 수는 없어도 인간과 함께 창의적인 작품을 창조해 낼 수는 있는 것이다. - P48
인공지능 로봇이 집에서 맛있는 음식을 해주는 시대도 곧 올 텐데, 이를 정성과 사랑이 결여된 음식이라고 마다할 사람이 몇이나 있을까? 음악도 마찬가지이다. 인공지능의 연주와 작곡이 우리에게 감동을 줄 수 있다면? 우리의 삶을 따뜻하고 풍요롭게 해준다면? 인공지능이 작곡하고 연주한 음악이라고 거부할 이유가 없지 않을까? - P49
4차 산업혁명은 연결, 탈중앙화/ 분권, 공유/ 개방을 통한 맞춤시대의 지능화 세계를 지향한다. 이 지능화 세계를 구축하기 위해 빅데이터, 인공지능, 블록체인 등 여러가지 기술들이 동원된다. 맞춤시대의 지능화를 위해 현실세계의 모든 내용을 가상세계로 연결한 다음, 가상세계에서 빅데이터, 인공지능 분석을 통해 예측과 맞춤을 예상하고 이를 현실세계에 적용하면 된다. - P50
사람들은 오래전부터 미래의 과학과 기술, 상상력을 담은 사이언스 픽션 Science Fiction, SF 장르를 통해 미래에 일어날 사건들을 추측하곤 했다. SF는 대안적으로 가능한 세계와 미래에 기반해 상상의 나래를 펼치는 장르다. 영화 속의 가상 세계는 과학의 상상력을 확장시켰고 실제로 일부 상상 속의 기술은 현실로 실현되었다. - P50
우리는 상상이 현실이 되는 세상에 살고 있다. - P51
AIMA(AI Music Advisor)는 연주가가 악기를 배울 때 효율적, 혁신적으로 연습할수 있도록 도와주고 현재뿐 아니라 과거 음악가들의 다양한 연주 스타일까지도 학습해 가르쳐주는 레슨 도우미 역할, 연주를 하는 과정에서 반주자 또는 함께 연주하는 연주가 역할, 연주회장 대여 및 기획을 해주는 기획사 역할을 하고 가상현실이나 증강현실 또는 융합현실을 이용한 콘서트 및 연주 공유, 스케줄 관리 및 컨디션 조절 등 연주시 필요한 모든 상황을 지원해주는 연주 도우미 역할, 연주, 동영상, 광고, 영화 등 상황에 맞게 작곡을 해주거나 기존 음악을 필요에 맞게 편집 및 추천해주는 작곡 도우미 역할 등을 수행할 수 있는 음악세계의 모든 분야에 도움을 주는 인공지능 음악 도우미이다. - P52
AIMA는 현재의 음악세계가 가진 많은 이슈를 해결해줄 수 있는 존재다. 앞으로 음악을 사랑하는 이들은 더 쉽게 음악을 배우고 연주하며 삶의 기쁨과 활기를 찾을 것이다. - P53
산업혁명 이후, 인간이 하던 일 중 많은 부분을 기계가 대체하면서 사람들의 여가 시간이 늘어났다. 인공지능의 발달 또한 인간에게 더 많은 여가 시간을 선사해 음악, 스포츠, 여행 등 취미 생활의 비중이 커지면서 새로운 여가 문화 산업이 발달하리라 전망한다. - P53
AIMA는 음악을 비롯한 다양한 문화 생활을 사람들이 찾아 즐기도록 도와주는 플랫폼으로서 여가를 즐기려는 이들에게 없어서는 안 될 좋은 친구가 되어줄 것이다. - P53
AIMA가 음악 어드바이저로서 제 역할을 하려면 몸 역할을 담당하는 하드웨어적 디스플레이 구현이 필요하다. 하드웨어는 휴머노이드 로봇이 될 수도 있고 가상현실 또는 홀로그램을 이용한 증강현실이나 융합현실의 형태가 될 수도 있다. 가장 쉽고 빠르게 구현할 수있는 방법으로 스마트폰 어플리케이션이나 인공지능 스피커도 있으나 많은 부분에서 제약이 있을 수 있다. - P54
디스플레이 구현 시 고려해야할 가장 중요한 부분은 악기를 함께 연주할 때와 연주를 세밀하게 듣고 피드백을 제공할 때 필요한 음향 시스템, 연주자의 손동작 및 연주과정을 촬영할 수 있는 카메라 기능, 연주와 레슨 때 동작의 자연스러운 움직임을 구현하는 기술 등이다. - P54
로봇은 인공지능과 함께 4차 산업혁명을 주도하며 사람과 교감하는 주체다. 이에 따라 인간의 개인화를 촉진함과 동시에 날로 고령화되고 있는 사회에서 새로운 반려자 역할을 해줄 것으로 기대된다. - P55
수요가 늘어나고 가격이 저렴해져 1인 1로봇 시대가 온다면 우리의 삶에는 수많은 변화가 생길 것이다. 그중 특이한 것이 앞에서 말한 인간의 개인화 촉진으로, 타인에게 의존하지 않고 사는 삶이 가능해진다는 점이다. - P57
가상현실은 시각장치를 장착하고 컴퓨터 내에서 구현되는 가상의 경험을 현실처럼 체험하게 해주는 인터페이스로 전 산업 영역에 많이 이용되고 있다. - P58
증강현실은 가상현실의 한 분야로 현실세계에 가상의 물체를 덧입혀 실제와 가상이 혼합되어 보이도록 구현한 기술이다. - P61
최근에는 가상현실과 증강현실을 합친 융합현실 Mixed Reality 이 부상하고 있다. 융합현실은 홀로그램을 현실과 겹쳐 보여주는 기술로 증강현실의 현실감과 가상현실의 몰입감을 합한 개념이다. - P62
소셜 VR이란 각자 멀리 떨어져 있는 사람들이 가상현실에서 만나 교감하는 것을 말한다. 사용자들은 각자의 아바타를 만든 다음 가상현실로 창조된 한 장소에서 만나 함께 사진을 찍고 페이스북에 올리는 등 여러 활동을 할 수 있다. - P63
소셜 VR의 역할을 AIMA도 할 수 있다. AIMA는 각자 따로 떨어져 있는 연주가들이 가상에서 함께 연주할 수 있도록 가상의 공간을 구현해준다. 또한 융합현실의 홀로그램을 이용하면 과거의 음악가와도 언제 어디서나 함께 연주할 수 있다. - P63
세계의 유명 콘서트홀이 대부분 가상현실로 구현되며 연주가가 연주하고 싶은 콘서트 홀을 선택만 하면 가상으로 연주회를 개최할수 있다. 따라서 지금처럼 한국에서 연주가들이 예술의 전당이나 세종문화회관을 대여하느라 치열하게 경쟁하지 않아도 되고 대여를 하지 못해 기회가 돌아올 때까지 연주를 미루지 않아도 된다. 내가 원하는 시간과 날짜에 언제든지 가상 연주회장을 대여하면 되기 때문이다. - P64
앞으로는 AIMA를 통해 가상현실이나 증강현실 또는 융합현실로 음원과 동영상은 물론 앞에서 설명했듯 콘서트까지 공유할 수 있게 될 것이다. 음악 애호가들은 세계 각국에서 열리는 유명 연주가들의 콘서트를 가상현실이나 증강현실 또는 융합현실로 자신의 집에서 감상할 것이고 지금까지와는 전혀 다른, 새로운 콘서트 관람 트렌드 또한 등장할 것이다. - P64
인공지능이 연주를 하려면 자동 음악 채보 기술Automatic Music Transcription, 악보 인식 기술 Music Identification, 자동 악보 추적 기술Score following 및 적응형 자동 연주 기술 Auto Music Accompaniment이 필요하다. - P65
자동 음악 채보기술은 연주 소리를 듣고 음표 정보를 추출하는 기술로 시간, 음정, 음의 길이뿐 아니라 음표의 셈과 여림, 피아노 연주일 경우에는 페달의 정보 등도 추출해낸다. - P65
악보 인식 기술은 음표 정보를 바탕으로 악보를 인식하는 기술이다. 여기에 악보에서 연주 음의 위치를 파악하는 자동 악보 추적 기술과 여러 명이 함께 연주할 때 다른 사람의 연주 속도에 맞게 속도 조절을 해주는 적응형 자동 연주 기술을 합치면 노래 또는 다른 악기의 연주에 맞춰 연주하는 기능이 탄생한다. - P66
인공지능은 어떤 악기를 사용해 연주할까? 최근에는 가상악기를 이용해 악기 없이도 같은 퀄리티를 가진 연주를 재현할 수 있다. 씬쏘지 synthogy에서 나온 아이보리 2 피아노 Ivory Il Grand Pianos 는 획기적인 기술로 스타인웨이 D, 뵈젠도르퍼 290, 야마하 C7 피아노의 풍부한 표현력을 제공한다. 또한 유명 홀의 음향 효과도 제공해주어 연주가가 마치 유명 홀에서 연주하는 듯한 연주를 녹음할 수 있다. - P66
아티큘레이션(연속되고 있는 선율을 보다 작은 단위로 구분해 각각의 단위에 어떤 형과 의미를 부여하는 연주기법) - P66
앞으로 인공지능이 머신러닝을 통해 수많은 연주자의 연주(빅데이터)를 바탕으로 터치, 소리, 리듬, 뉘앙스와 페달 동작까지 학습하면 이는 인공지능만의 새로운 해석으로 연주를 가능하게 해주는 밑바탕이 될 것이다. 뿐만 아니라 인공지능과의 레슨을 실현하는 데 필요한 매우 중요한 핵심 기술이기도 하다. 다른 사람에게 연주를 가르칠 때 필요한 요소가 여기에 모두 포함되어 있기 때문이다. - P67
연주를 가르칠 때 가장 중요한 스킬 중 하나는 자신이 어떻게 소리를 내고 어떠한 소리가 적합한 소리인지와 터치인지를 말로 표현하는 것이다. - P67
나를 가르쳐주신 선생님 중 건반을 누르는 속도와 깊이, 손 동작의 방향과 손가락의 각도까지 자세하게 설명해주시던 분이 있다. 이러한 다양한 정보를 정확하게 인식하고 이해하는 현재의 기술과 각 상황에 맞게 연주 방법을 말로 풀어 설명해주는 인공지능을 결합하면 좋은 레슨 선생님이 탄생할 것이다. - P68
|