[100자평] 전직 절대자는 아카데미 펫 관리자 06

[eBook] 전직 절대자는 아카데미 펫 관리자 06 ㅣ 전직 절대자는 아카데미 펫 관리자 6
말랑부들 / ARC / 2024년 6월

작가의 세계관에 기반한 나름의 스토리가 있는데 개인적으로는 내용보다도 중간중간 나오는 의미심장한 문장들이 좀 더 와닿게 느껴졌다. 인생을 살아가면서 나태해지거나 긴장이 풀어지는 순간에 다시 고삐를 조일 수 있는 그런 문장들을 만나볼 수 있어서 나름대로 의미가 있었다.

[100자평] 인공지능과 음악

인공지능과 음악 - 대한민국 1호 AI 뮤직 컨설턴트의 미래 음악 이야기
이지원 지음 / 처음북스 / 2019년 4월

피아노 전공자로 음악에 일가견이 있는 저자가 최근 급속도로 발전하고 있는 인공지능 기술을 활용하여 음악의 교습, 연주, 작곡 등을 보다 용이하게 할 수 있음을 다양한 사례를 통해 보여준다. 또한 본문 중간중간 나오는 유명한 클래식 곡들을 유튜브에 검색하면서 읽다보니 귀도 즐거운 독서였다.

지난번 포스팅의 마지막 부분에서 ‘적대적 생성 신경망...

지난번 포스팅의 마지막 부분에서 ‘적대적 생성 신경망‘ 이라는 것에 대해 잠깐 언급했었다. 간단히 다시 언급하자면, 이 기술은 인간이 인공지능에게 정답을 알려주면서 학습하는 것이 아니라 인공지능이 스스로 학습을 한다는 것이 핵심이었다.

오늘은 이 ‘적대적 생성 신경망‘ 이 음악 분야에 어떻게 적용될 수 있는지 살펴보면서 시작한다.

곧바로 이어지는 글에서 ‘적대적 생성 신경망‘ 에 대한 우려의 목소리도 있다는 걸 알게 되었는데, 그것은 바로 스스로 학습한 인공지능이 만든 결과물이 많으면 많아질수록 진짜와 AI가 생성한 가짜(허위 정보)를 분별하기 어려워질 수 있다는 것이었다.
.
.
.
이어지는 글에선 인공지능 음악이 기존에 사람이 갖고 있던 여러가지 현실적인 제약들을 뛰어넘는다는 것을 저자가 독자들에게 각인시킴으로써 인공지능 연주나 작곡이 지금보다 훨씬 더 무궁무진하게 발전할 수 있음을 보여준다. 마치 샘에서 물이 터져나오듯이 앞으로 무한한 가능성이 현실에서 끊임없이 실현될 것 같다는 느낌을 받았다.

음악에 이 기술(적대적 생성 신경망Generative Adversarial Network, GAN)을 적용하면 유명 작곡가의 작곡법을 학습해 그 작곡가의 음악과 비슷한 수많은 음악을 작곡할 수 있고 음질이 좋지 않은 음원도 복원할 수 있을 것이다. - P157

적대적 생성 신경망이 등장하면서 가짜 생성에 관한 우려가 높아지고 있다. 진짜 같은 가짜를 쉽고 빠르게 만들 수 있어 가짜뉴스, 영상, 기사, 이미지 등을 생성하는 등 디지털 범죄가 가능하기 때문이다. 이는 음악 분야에서도 마찬가지로, 유명 작곡가의 기법을 학습한 인공지능이 그 작곡가의 곡과 비슷한 곡을 많이 생성해 배포한다면 나중에는 어떤 곡이 원곡인지 전문가들도 분별하기 어려운 시점이 올 것이다. - P158

인공지능의 효율은 극대화하되 인류를 위협하지 않고 인류 발전에 기여하며 투명성을 갖추고 기술이 신뢰에 기반해야 한다 - P158

음악은 시대와 사회를 반영한다. 대중의 관심과 흐름을 무시할 수 없다. 그러니 4차 산업혁명 시대에 인공지능이 부상해 작곡 등 음악 분야에서 활약하는 것은 자연스러운 현상이다. 인공지능의 작곡은 최신 트렌드를 반영하는 새로운 음악의 한 장르로 자리 잡을 것이고 전자음악이 그랬듯 역사에 중요한 한 획을 긋는 작곡의 한 분야로 남을 것이다. - P160

인공지능은 사람과는 비교할 수 없을 정도로 빠른 시간 안에 수많은 곡을 작곡해낸다. 지금까지는 이미 작곡되어 있는 음악의 악보를 구입해 연주하는 것이 보편적이었다. 하지만 앞으로는 상황에 맞는 곡을 필요할 때마다 즉시 작곡해 활용할 수 있으며 이 때문에 한 곡이 지니는 작품성이나 의미는 축소될 것이다. - P160

지금까지는 사람이 연주할 수 있도록 작곡해야 했기 때문에 손 크기라는 제약이 있어 음의 영역이나 이동거리에 한계가 있었다. 하지만 인공지능 연주가가 탄생하며 이러한 제약 없이 연주할 수 있게 되었으므로 지금과는 전혀 다른 새로운 작곡 세계의 가능성을 기대해 볼 수 있다. - P160

알베르티 베이스Alberti bass(‘도-솔-미-솔‘의 기본 반주 형태) - P166

쇼팽이 작곡한 네 개의 발라드는 한 악장의 솔로 피아노 곡으로 1831년에서 1842년 사이에 작곡되었다. 쇼팽은 발라드를 환상적인 캐릭터를 가진 발레의 곡간 및 춤곡의 의미로 사용하였고 그래서 그의 발라드에는 드라마틱한 요소와 춤의 요소가 담겨있다. 이 네 발라드는 시인 아담 미키비츠 Adam Mickiewicz에게 영감을 받아 작곡한 것으로알려져 있다. 이 중 발라드 4번은 ‘버드리의 세 형제 The Three Budrys‘라는 시에서 영감을 받아 작곡한 곡이다. 한 아버지가 세 형제를 보내 보물을 찾고 세 폴란드 신부와 함께 돌아오게 하는 내용의 시다. - P179

쇼팽의 발라드 4번은 자유로운 소나타 형식, 변주곡 형식, 론도 형식의 요소를 섞은 듯한 구성의 작품이다. 제시부에서는 왈츠 풍의 제1주제와 코랄 풍의 제2주제가 등장한다. 짧은 전개부를 지나 재현부에서 두 주제가 다시 연주된 후 경과부를 거쳐 코다(악곡 끝에 결미로서 덧붙인 부분)로 마무리된다. - P179

표현주의의 대표적인 화가 칸딘스키와 쇤베르크는 절친한 관계였다. 쇤베르크는 칸딘스키의 그림을 보고 음악적 영감을 얻었고 칸딘스키는 쇤베르크의 콘서트에 가서 감명을 받은 후 이를 그림으로 표현하곤 했다. 칸딘스키는 쇤베르크와 작업을 함께하면서 각 악기가 내는 음색과 각 음정이 가진 느낌을 색청으로 또는 작품으로 표현하기도 했다. 예를 들어 플루트는 하늘색, 바이올린의 음색은 밝은 적색으로 표현했다. - P186

라벨의 <물의 장난>이라는 제목은 ‘분수, ‘물놀이‘ 또는 ‘물 게임‘을 뜻한다. 라벨이 물과 관련 있는 음악적 소리에서 영감을 얻어 작곡한 곡이다. - P187

사람의 인격은 자라온 환경과 교육 수준, 가정교육 그리고 누구를 만나고 어떤 대우를 받고 자라는지 등에 따라 다르게 형성된다. - P198

사랑과 존중을 받고 자란 사람은 남을 존중하고 사랑을 나눌 줄 안다. 하지만 주변을 돌아보면 예의 없이 행동하는 사람이 많다. - P198

사람은 누구나 환경의 영향을 받는다. 성숙하지 못한 인격체는 많은 사람에게 상처를 주고 상처받은 사람들은 다른 사람들에게 또다시 안 좋은 영향을 미친다. 이렇게 악순환이 계속된다. - P199

인공지능은 수준 있는 글로벌 교육과 좋은 인성교육을 누구에게나 제공해줄 수 있다. 그러면 아이들은 경제력이나 부모 또는 선생님의 인격과 관계없이 평준화된 교육을 받기 때문에 사회적 악순환을 끊을 수 있다. 세상의 수많은 교육자 모두가 훌륭한 인격을 갖추고 수준 있는 교육을 제공하기는 어렵지만 인공지능은 가능하다. 또한 제대로 된 한 사람이 제공해줄 수 있는 교육과 지식의 양은 한계가 있지만 인공지능의 가능성은 무궁무진하다. - P199

음악 세계에서도 마찬가지이다. 인공지능을 이용하면 사람들은 자신의 경제력이나 환경과 관계없이 수준 있는 음악 교육을 받을 수 있고 음악을 즐길 수 있다. 누구나 평준화된 좋은 교육 환경 속에서 공정하게 자신의 실력을 평가받는 세계가 올 것이다. - P199

지식을 배우는 과정에서 선생님과의 관계는 한 사람이 성장하는데 많은 영향을 준다. - P199

앞으로 AIMA를 통해 개인이 접할 수 있는 음악 시장은 전 세계적으로 넓어질 것이다. 예전에는 방송인만 방송으로 돈을 벌었지만 지금은 일반인 유튜버들도 돈을 벌고 있다. 이와 마찬가지로 AIMA 또한 방탄소년단 같은 세계적인 스타뿐 아니라 아마추어 음악가들도 돈을 벌 수 있는 환경을 제공해 줄 것이다. - P200

음악은 기본적으로 소리와 정적의 배합이다. 이 두 요소에 고저장단과 강약의 변화를 줘서 듣는 이에게 감동을 주는 것이 작곡이다.

[100자평] 드립백 에티오피아 예가체프 콩가 아메데라로

드립백 에티오피아 예가체프 콩가 아메데라로 - 12g, 5개입
알라딘 커피 팩토리 / 2025년 3월

지난 3월달에 ‘드립백 피어나다‘에 포함되어 있어서 한 번 마셔봤던 드립백 커피입니다. 일단 캐모마일이 들어가 있어서 그런지 깔끔한 느낌을 받았고 은은한 복숭아향과 함께 뒷맛에서 달달한 캐러멜 맛이 느껴져서 뭐랄까 오묘하다는 표현이 어울린다고 할 정도로 나름의 매력이 있는 커피였습니다.

지난 포스팅의 마지막 부분에서 저자는 ‘인공지능 음악...

지난 포스팅의 마지막 부분에서 저자는 ‘인공지능 음악이 사람들에게 감동을 줄 수 있을까?‘ 라는 질문에 대한 자신의 생각과 이와 관련된 사례를 소개했었다. 보통 사람 대 사람으로 만나서 무언가를 할 때 감동이 있지 기계와 사람이 만난다면 무슨 감동이 있겠는가 하는 의구심이 있기 마련이다. 독자인 나 또한 그런 생각을 하는 사람 중 한 사람이었는데, 지난번 포스팅에서 저자가 소개한 사례를 통해 이런 생각이 편협한 생각이었음을 느낄 수 있었다.

다만 오늘 시작하는 포스팅에서 저자는 사람들에게 감동을 주는 인공지능 음악이 되기 위해서는 그것을 구현하는 방법의 중요성을 강조한다. 개인적으로는 콘서트 같은 것을 많이 가보진 못했지만, 콘서트 연출자가 연출을 어떤 식으로 하느냐에 따라 관객들의 반응이 천차만별로 달라질 수 있다는 생각은 누구나 어렵지 않게 할 수 있을 것이다. 이 연출에 있어서 사람이 할 수 없는 영역을 최근 급속히 발전하고 있는 인공지능을 비롯한 최신 기술의 도움을 받는다면 반드시 사람 대 사람이 아닐지라도 얼마든지 관객들에게 감동을 줄 수 있을 거라는 생각이 든다.
.
.
.
바로 이어서는 가상현실을 활용하여 연주 준비를 하는 시스템에 대한 얘기가 나온다. 여기 별도로 밑줄치진 않았지만 프로 스포츠 분야에서는 가상현실을 활용하여 실제 상황과 동일한 환경을 설정하여 연습함으로써 이미 기술 발전의 혜택을 누리고 있는 종목들도 있다고 하는데, 아직 음악 연주 분야에는 이런 시스템이 갖춰지진 않았다고 한다. 하지만, 음악 연주의 경우에도 어디서 연주를 하느냐에 따라 연주자가 똑같이 연주하더라도 결과적으로 관객들에게 들려지는 소리가 다를 수 있기에 앞서 언급한 프로 스포츠 분야에서와 마찬가지로 가상현실을 이용해 리허설을 해볼 수 있다면 연주자들이 자신이 가진 실력을 좀 더 정확히 관객들에게 보여주는데 도움이 될 수 있다는 게 저자의 생각이다.

이 부분을 읽으면서 독자인 나는 어떤 새로운 기술이 나왔을 때 그것을 잘 활용할 줄 아는 능력이 결과적으로 그 사람의 경쟁력이 될 수 있겠다는 생각이 들었다. 분야를 막론하고 어떤 결과물을 보여주어야 할 때 비록 100%까지는 아니더라도 그에 근접할 정도의 퍼포먼스를 내기 위해서는 실전과 유사한 훈련이 반드시 수반되어야 하는 것이 일반적이다. 하지만 현실적인 제약들로 인해 실전같은 훈련을 하기 힘든 상황에서 가상현실 등과 같은 기술의 도움을 받아 효과적인 훈련을 할 수 있다면 그 사람은 그 분야에서 그 누구보다도 좋은 결과물을 만들어낼 가능성이 높아질 것이다. 이는 결국 그 사람의 경쟁력을 높이는 것으로 자연스레 이어지기 마련이다.


위에서는 연주 도우미로서의 기술을 말했다면, 뒤이어지는 글에서는 컨디션 조절과 관련된 앱 중 하나로 눔noom 이라는 것이 소개되어 있다. 개인적으로는 이 책을 통해 처음 알게 되었는데, 각 사람의 생활 패턴에 맞는 식단과 운동법을 코칭한다고 하니 아주 유용한 앱인 듯 하다.

여기 별도로 밑줄치진 않았지만 저자도 한 해 한 해 나이가 들어가면서 젊을 때만큼의 체력이 나오지 않는다는 것을 자각하고 운동과 식단 조절 등을 통해 체력관리에 신경을 쓰기 시작했다는 얘기가 나온다. 저자는 오랜 기간 시행착오 끝에 자신만의 컨디션 조절 노하우가 생겼다는 고백을 하는데, 위에 소개한 눔noom 같은 앱이 과거에도 있었다면 시행착오를 상당부분 줄일 수 있지 않았을까 하는 일말의 아쉬움도 토로한다.

눔noom과 같이 우리 생활을 보다 윤택하게 해주는 좋은 기술이 있다고 한다면, 이런 것들을 잘 활용하는 것이 각자의 삶에 조금이라도 플러스가 될 것이다. 새로운 것이나 변화에 대한 막연한 거부감보다는 그런 것들을 적극적으로 활용해보려는 태도가 1차적으로 가장 바람직한 태도가 아닐까 싶다.
.
.
.
이어지는 글에선 기사를 자동으로 작성하는 인공지능 로봇 기자에 대한 사례 중 하나로 연합뉴스에서 선보인 사커봇이라는 것이 나온다. 개인적으로는 이번에 처음 알게 되었는데, 본문을 읽어보니 단순 사실관계에 기반한 기사를 쓰는 일들은 굳이 사람이 직접 할 필요없이 AI에 상당부분을 의존해도 될 정도로 기술이 발전했음을 느낄 수 있었다. 또한 이러한 방식을 음악 연주 분야에도 적용하여 활용하는 방안을 내놓는 저자의 모습을 보며 참으로 기술 활용에 누구보다도 진심이라는 것을 느낄 수 있었다.

이 책의 제목이《인공지능과 음악》이고 저자도 피아노 연주자 출신이라 음악분야와 관련된 얘기만 나올 것으로 예상했었는데, 생각외로 음악이 아닌 다른 분야에서 활용되고 있는 인공지능 쪽에도 저자의 관심이 높은 걸 보면서 개인적으로는 잘 몰랐던 것들에 대해 알게 됨으로써 여러모로 많은 도움이 된다는 느낌을 받았다. 저자께 감사드린다.
.
.
.
오늘 포스팅의 마지막 부분에서는 적대적 생성 신경망 (Generative Adversarial Network, GAN) 이라는 것이 소개되는데, 이 기술은 보통 사람이 정답을 알려주는 방식으로 학습하는 것과는 반대로 사람이 정답을 알려주지 않아도 인공지능이 스스로 학습한다는 게 가장 중요한 특징이다. 이 기술과 관련하여 이 책의 핵심 키워드 두 가지 중 하나인 음악분야에 적용하는 것은 다음 포스팅에서 살펴보고자 한다.

음악은 각 시대의 문화와 기술을 반영한다. 인공지능 음악은 21세기 인공지능 시대에 등장하며 과거에는 없던 새로운 장르로 자리 잡을 것이다. 또한 사람들은 인공지능의 연주를 들으며 예전의 콘서트에서 받은 감명과는 또 다른 감동을 받고 찬사를 보낼 것이다. 다만 콘서트의 구현 방법이 중요하다. 이 구현 방법은 인공지능 음악이 사람들에게 감동을 주며 다가간다는 성공적인 결과를 얻는 데 큰 비중을 차지할 것이다. - P120

사람들 앞에서 연주를할 때는 누구나 긴장을 하기 때문에 연습 때는 하지 않던 실수를 하게 된다. 그래서 많은 연주가가 큰 연주를 앞두고 친지들을 모아 놓고 연습삼아 연주를 해보곤 한다. - P121

피아노 연주의 경우 울림이 많은 홀에서는 페달 사용을 줄이고 쉼표 사이에 소리가 깨끗이 사라질때까지 조금 더 기다려야 한다. 반면 울림이 없는 홀에서는 템포를 조금 당기고 페달을 평소보다 많이 쓰는 것이 효과적이다. 이러한 차이를 연주 전에 미리 알아보기 위해 하는 것이 리허설이다. - P122

실제 콘서트홀의 음향을 그대로 반영한 가상현실의 콘서트 홀을 경험할 수 있다면, 가상현실에서의 리허설 또한 가능해질 것이다. 가상현실 속에서 다른 사람들을 앞에 두고 연주해봄으로써 연주할 때 발생할 수 있는 여러 상황을 미리 경험해 볼 수 있다면 스튜디오 클래스 수업처럼 연주 준비에 큰 도움이 될 것이다. - P122

보통 음악가들은 연주 준비를 할 때 자신만의 노하우가 있기 마련이다. 예를 들어 나는 연주 전 리허설을 할 때 절대로 최대한으로 실력을 발휘하지 않는다. 한 번 최대한으로 열정을 쏟아 놓고 나면 그 다음부터는 그 정도의 연주 퀄리티가 나오기 힘들기 때문이다. 또한 연주 당일에는 손을 푸는 정도의 연습만 한두 시간 하고 너무 많은 연습은 피하는 편이다. 연주할 때의 체력을 최상으로 유지하기 위함이다. - P125

눔에서는 네 가지 단계의 과정을 소개한다. 첫 번째로 자신의 평소 습관을 알아보며 현재 상태를 정확히 파악하고 두 번째로 목표를 만들어 좋은 새로운 습관을 만들어 나간다. 세 번째로는 이러한 습관을 평생 자신의 것으로 만들 수 있도록 심화 학습 과정을 거친다. 마지막으로 오랜 시간에 걸쳐 연습하고 익힌 과정을 완벽하게 마스터함으로써 건강한 삶을 선사한다. - P125

사커봇의 기사 작성 방식은 인간과 비슷하다. ①취재 과정인 데이터수집 ②기사 작성 과정인 문장 생성 ③ 탈고 과정인 어휘 수정 등 세 단계다. - P129

(사커봇)프로그램 내 스케줄러가 당일 경기 일정을 확인해 데이터 수집 일정을 수립하고, 크롤러 crawler (웹상의 정보를 자동으로 검색하고 수집하는 소프트웨어)가 기사 작성에 필요한 각종 정보를 경기 시작 전에 정리한다. 선수명, 구단명, 경기 장소, 한국선수 출전 여부 등이 주요 데이터로 추려진다. 수집된 데이터는 경기 상황 중계가 문장이 되는 과정에 투입된다. 데이터는 기사 알고리즘을 통해 적당한 문장으로 자동 가공되는데, 기사 작성 알고리즘은 그동안 실제 기자들이 쓴 기사를 데이터베이스로 한다. - P129

사커봇의 기사 작성 방식을 활용하면 인공지능은 음악가들이 필요한 프로필과 프로그램 노트도 작성할 수 있다. 프로필은 ①음악가들의 프로필 데이터 수집 ②학력, 대회 우승 경력, 연주 경력, 세계적인 음악 페스티벌 및 마스터 클래스 참가 경력과 매거진에 실린 연주리뷰에 관한 문장 생성 ③어휘 수정 단계를 거칠 것이다. 프로그램 노트는 ①연주 프로그램 노트 데이터 수집 ②작곡가와 곡에 관한 문장생성 ③어휘 수정 단계를 거칠 것이다. - P129

기업이나 개인이 사업을 시작할 때 꼭 필요한 것이 로고인데, 이 로고를 디자인해주는 인공지능 서비스도 활성화되고 있다. 이 인공지능 프로그램은 약 100만 개 이상의 로고 디자인을 학습해 스스로 독창성, 가독성, 색상·대조 등을 점수화해 공부한다고 한다. - P129

음악회 포스터에 들어가는 요소로는 연주가의 프로필 사진, 연주프로그램, 날짜, 시간, 장소와 주최, 후원, 티켓 가격 등이 있다. 인공지능이 다양한 음악회 포스터의 디자인을 학습해 제작에 필요한 새로운 내용을 적용한다면 포스터를 빠른 시간에 만들어낼 수 있다. 디자인 시안도 여러가지로 만들어 연주가가 마음에 드는 것으로 선택할 수 있게 해주면 더 좋을 것이다. 티켓과 초대권 제작도 같은 과정을 거칠 것이다. 이렇게 기획사가 하는 일 중 많은 부분을 인공지능으로 대체할 수 있다. - P130

사람들은 직업 또는 취미 활동에 따라 생활의 필요가 달라진다. - P130

피아노는 대표적인 독주 악기이지만 다른 사람들과 함께 연주하는 반주나 실내악을 하는 경우도 많이 있다. 피아노 이외의 다른 악기들은 대부분 피아노 반주를 필요로 한다. 독주를 할 때는 나의 소리를 내고 내가 원하는 대로 연주할 수 있지만 다른 사람과 함께 연주할 때는 다른 사람의 음악과 내 스타일, 소리의 밸런스, 음색, 템포 및 호흡 등을 맞춰 나가야 한다. 그러려면 다른 사람의 연주를 듣는 연습을 많이 해야 한다. 말로써 음악을 해석하고 전달하는 소통 능력도 필요하다. - P132

성악을 반주하려면 언어도 알아야 했다. 가사에 따라 감정이 다르게 들어가기 때문에 가사 내용도 이해해야 하고 발음과 숨쉬는 곳을 고려해 맞춰주어야 한다. - P133

기악반주의 피아노 파트는 성악 반주에 비해 길이도 길고 난이도도 높다. 특히 소나타의 경우 솔로 파트와 피아노 파트가 같은 비중을 차지하는데, 피아노 파트가 더 어려운 경우도 많다. - P133

합주를 할 때는 피아노와 솔로 악기 소리의 음색을 조화롭게 어우러지도록 터치를 잘 조절해야 한다. 예를 들어 바이올리니스트가 느린 악장에서 활을 천천히 사용해 프레이즈를 마무리하고 있다면 피아노도 마찬가지로 건반을 천천히 눌러 바이올린 소리와 블렌딩해야한다. 반면 바이올리니스트가 빠른 악절을 빠른 터치로 연주할 때 피아니스트가 터치의 속도를 같게 맞추지 않으면 템포가 같아도 뒤처지는 느낌이 난다. - P134

반주는 전공자 위주의 피아노 반주 이외에도 오케스트라 반주, 재즈나 팝의 세션 반주 등 다양하다. 결혼식에는 피아노 또는 현악 4중주가 많이 사용되어 왔지만 근래에는 MR도 많이 활용하고 있다. - P135

교회에서도 음악을 빼놓을 수 없다. 규모에 따라 성가대 찬양에 피아노 반주가 사용되기도 하고 오케스트라 또는 세션 반주도 많이 사용한다. 뮤지컬이나 연극 또는 발레 공연에도 다양한 형태의 반주가 들어간다. 여러 행사에도 음악은 꼭 필요하다. 이처럼 반주는 우리의 일상생활에서도 필요한 곳이 정말 많다. - P135

자동 악보 추적 기술 Score following은 라이브 연주를 들으며 악보의 위치를 추적하는 기술로 인공 지능, 패턴 인식, 신호 처리 및 음악학을 포함한 연구 분야이다. 단성부 또는 다성부의 복잡한 오디오 신호를 실시간으로 감지한다. 반주를 하다 보면 간혹 어디를 연주하고 있는지 헷갈리는 경우가 있는데 이 기술은 연주자가 연주하는 동안 템포를 감지해 연주되고 있는 위치를 실시간으로 표시해준다. 빨라지거나 느려지는 템포를 따라가는 정도의 기능이 가능하기에 음악적인 표현은 미숙하지만 사람의 연주에 맞춰 실시간으로 자동 반주를 하는 역할도 할 수 있다. - P135

영화 <킹스맨: 골든서클>에서는 융합현실을 통해 세계 곳곳에서 일하는 비밀 요원들이 특수 안경을 끼고 가상으로 런던에 있는 사무실에 모여 앉아 회의하는 장면이 나온다. 이러한 융합현실 기술은 세계 곳곳의 연주가가 한 장소에서 가상으로 만나 함께 리허설도 하고 연주할 수 있는 가능성을 보여준다. - P136

반주자의 음악성과 해석은 상대방의 연주에 많은 영향을 줄 수 있다. 반주자가 일방적으로 솔리스트에 맞춰주는 것이 아니라 서로의 아이디어를 교환하며 함께 동등한 위치에서 음악을 만들어 나갈 때 더 훌륭한 결과를 얻을 수 있다. - P136

우리는 연주할 때, 함께 연주하는 연주가들의 소리도 듣지만 동작을 보며 호흡을 맞춰 나간다. 이와 같은 방법으로 AI 피아노는 마이크로 소리를 듣고 연주자 앞에 설치된 카메라를 통해 연주자의 팔의 미묘한 움직임 등을 파악해 다른 4명의 사람 연주가들과 호흡을 맞춰서 훌륭한 연주를 선보였다. - P137

동작을 인식하는 센서는 인공지능과 사람이 함께 실내악을 연주할 때 유용하게 사용할 수 있다. 연주할 때 서로 호흡을 맞추는 과정에서 꼭 필요한 것이 서로의 움직임을 파악하는 것이기 때문이다. - P137

과거 또는 현존하는 유명한 연주자의 반주를 추출해 낸 이후에 자동 악보 추적 기술과 결합한다. 독주 악기의 음색과 반주의 음색을 조화시킬 수 있는 기술도 적용하고 연주가의 움직임을 인지는 센서와 카메라를 사용해 호흡을 맞추도록 한다. - P138

연주가들은 누구나 자신이 좋아하는 연주가의 반주 또는 합주를 선택해 함께 연주할 수 있게 된다. 다양한 인공지능 연주가들과 함께 연주하며 많은 아이디어도 얻을 수 있다. 여러 악기의 조합으로 이루어진 세션이나 합주에도 같은 기술이 적용될 것이다. - P138

OTT Over The Top(스트리밍 미디어 서비스를 지칭하는 말) - P139

로쿠Roku는 컨텐츠를 업로드하게 해줄 뿐만 아니라 서비스 로고, 포스터, 이미지 등을 등록하면 콘텐츠 사업자만의 OTT 서비스를 만들어주며 광고 인벤토리 세일즈 역할도 해준다. - P139

음악 및 콘서트 업계에 있어 이러한 콘서트 가상현실 생중계는 새로운 수익 모델의 기회가 될 수 있다. 세계 각국의 사람들이 집에서 편하게 컴퓨터 및 스마트폰으로 관람할 수 있어서 실제 콘서트장보다 훨씬 더 많은 인원을 수용할 수 있다. 관객들에게는 실제 콘서트 티켓보다 저렴하게 가상현실 콘서트 입장료를 판매함으로써 더 많은 입장료 수익 창출이 가능해진다. 또한 콘서트 중간에 가상현실 기술을 활용한 광고를 삽입함으로써 관객의 수가 증가함에 따라 광고 단가가 향상되면서 이전보다 더 많은 광고 수익도 낼 수 있다는 분석이다. - P141

공연예술에 가상현실 기술이 빠르게 파고 들어 가상현실과 공연을 접목하는 ‘VR 공연‘이 늘어나고 있다. 기술의 발전에 발 맞추어 음악 및 콘서트 업계에서도 가상현실을 지속적인 매출 향상의 도구로 활용하려는 노력이 활발히 진행되고 있기 때문이다. 뮤직비디오나 대형 뮤직 페스티벌, 콘서트 현장이 가상현실 컨텐츠로 제작되고 있다. - P141

VR 공연은 실연 실황을 카메라에 담는 것으로 한정되지 않고 VR의 배경이 컴퓨터 그래픽으로 만들어질 수도 있다. 염동균 작가의 VR드로잉 퍼포먼스가 대표적인 예이다. - P142

일을 할 때 사람과 사람이 만나면 수많은 장점들도 있지만 감정이란 요소는 일을 방해하기도 한다. 함께 일하는 상대방에게 안 좋은 감정이 있으면 일의 성과가 떨어지기 마련이다. 회사에서는 많은 경우 실질적인 일에 몰두하기 보다는 상사의 기분을 맞추는데 에너지를 더 소비하기도 한다. 직업에 따라 다를 수 있지만 대부분의 경우 일과 감정을 분리한다면 일의 성과는 높아질 것이다. - P144

사람들과의 관계에서 우리는 마땅히 상대방의 감정을 존중하고 배려해야 한다. 의도적일 때도 있지만 많은 경우, 자신도 모르게 상대방의 감정을 상하게 하곤 한다. 이러한 수많은 관계 속에서 사람들은 상처 받고 지쳐간다. 그래서 사람들과의 마찰에서 벗어나 혼자 쉴 시간이 필요할 때도 있다. 언택트 마케팅이 가져올 부작용도 우려가 되지만 현대의 사람들은 ‘언택트‘를 선호하고 있다. - P145

다른 사람들과 연주할 때 생기는 많은 어려움은 대부분 사람과의 관계에서 나온다. 음악이 서로 너무 달라서 고생하는 경우도 있지만 일반적으로 실력은 웬만큼 맞춰서 상대를 선택하기에 연주에 대한 불만보다는 상대방의 배려 없는 말과 행동 때문에 어려움을 겪는 경우가 많다. 다른 사람과 타협할 줄 모르거나 소통에 어려움이 있는 사람, 리허설 시간을 안 지키는 사람, 자기만 드러내려고 밸런스를 깨고 크게 연주하는 사람 등이 그렇다. 이처럼 다른 사람과 연주를 함께할 때는 상대방의 기분과 상태, 연습 시간과 장소 등 많은 요소를 고려해야 한다. - P145

인공지능 연주 도우미 AIMA는 합주할 때의 이러한 많은 어려움을 해결해준다. 연습이 완전히 되지 않은 상태에서도 원하면 언제든지 필요한 만큼 반주를 맞춰볼 수 있으며, 리허설 시간과 장소를 자유롭게 정할 수 있다. 게다가 AIMA는 리허설을 하는 중 사람의 기분을 나쁘게 하는 말이나 행동을 하지 않는다. 그래서 잘 풀리지 않는 부분이 있어도 눈치 보지 않고 함께 연습을 할 수 있다. 또한 AIMA는 머신러닝을 통해 지속적으로 발전하며 한 사람의 연주에 맞춰주므로 반주자가 바뀔 때마다 서로의 음악 스타일을 알아가는 과정의 어려움을 해결해준다. 평생 함께할 반주자가 되어주는 것이다. - P146

음악을 연주할 때 꼭 필요한 요소 중 하나가 작곡이다. 아무리 뛰어난 연주가도 좋은 작곡가 없이는 탄생하기 힘들다. 모차르트, 리스트, 파가니니, 라흐마니노프 같은 작곡가들은 뛰어난 연주자이자 작곡가였다. 하지만 연주를 잘하는 사람이 반드시 작곡을 잘하지는 않고 반대로 유명한 작곡가가 연주도 잘 하는 것은 아니다. 그래서 이들은 서로를 필요로 한다. - P148

작곡은 음악가에게만 아니라 여러 분야에서 꼭 필요한 요소가 되었다. - P148

여기(프리미엄 브랜드 LG 시그니처 광고)에 사용된 광고음악, 루도비코 에이나우디Ludovico Einaudi의 ‘프리마베라, 봄‘은 소비자들이 가전을 고급스러운 작품의 이미지로 느끼는 데 큰 역할을 했다. 루도비코 에이나우디는 이탈리아의 저명한 작곡가이자 피아니스트로 자신의 음악으로 환경과 삶에 대한 메시지를 전한다. - P149

광고뿐 아니라 영화에서도 음악은 핵심적인 요소이다. 단순한 배경음악이 아닌 스토리와 감성을 효과적으로 전달하는 중요한 역할을 하기 때문이다. 영상 그 자체와 텍스트만으로는 이면에 있는 것들을 묘사하지 못한다는 한계가 있는데, 이때 영화음악이 이런 이면의 요소들을 전달하는 역할을 한다. - P150

표제음악은 영화 전체의 주제를 전달하고 일관성 있는 이미지를 형성한다. 소스음악은 관객이 영화의 흐름을 따라 감정을 이입하도록 해 감동을 선사하는 등의 역할을 하며 영화를 더욱 더 풍부하게 만든다. <스타워즈>, <쉰들러 리스트>, <죠스> 같은 대작들은 영화음악을 완벽하게 사용한 영화로도 기억된다. 실제로 우리는 일상 생활에서 영화음악을 듣는 것만으로도 그 영화를 떠올리곤 한다. - P150

다양한 상황에 맞게 필요한 음악을 제공해 주는 것이 작곡가의 역할이다. 분야에 따라 클래식 음악 작곡가, 뮤지컬 음악 작곡가, 영화 음악 감독, CM송 작곡가 등으로 나눠지는데, 각 분야별로 인공지능 작곡가가 등장하고 있다. 인공지능이 장르별로 학습해 처음부터 끝까지 작곡을 하는 경우도 있고 사람과 협업해 함께 작곡하는 시스템도 있다. - P150

현재 인공지능은 이미지를 인식하고 이미지에 맞는 음악을 만들어내고 있기 때문에 이론상 인공지능이 동영상의 내용을 이해하고 알맞은 음악을 작곡하는 것도 불가능한 일은 아니다. 하지만 수많은 학습 데이터가 필요하고 프로그램을 개발하는 데 시간이 걸려 아직 일반인이 활용할 만한 프로그램은 시중에 등장하지 않았다. - P151

인공지능이 작곡을 하려면 작곡 엔진과 프로덕션 엔진이 필요하다. 작곡 엔진으로는 딥러닝과 신경망Neural Network을 이용해 인공지능에게 수많은 데이터를 학습시켜 악보까지 완성한다. 이 과정을 거친 후 프로덕션 엔진에서는 피아노, 바이올린, 트럼펫 등 연주할 악기를 선택하고 다이내믹, 컴프레서, 이퀄라이저EQ, 리버브 등 효과도 선택한다. 작곡 엔진의 소요 시간은 2초, 프로덕션 엔진은 38초가 걸려 40초면 하나의 곡이 완성된다. - P152

아이바의 개발자는 다양한 아티스트의 수백 가지 록 음악 트랙을 아이바의 심층 신경망 deep neural network에 훈련시켰다. 합성곱 신경망convolutional neural networks과 순환 신경망의 조합을 사용해 훈련하는 동안 신경망은 멜로디, 기타코드, 베이스 라인, 악기, 템포 및 기타 트랙 요소와 같은 노래 작곡에 필요한 요소를 모방하는 것을 학습했다. - P153

작곡 분야에서는 일찍이 인공지능을 사용하기 시작했다.
인공지능이 상업적으로 가장 많이 활용되고 있는 음악 분야라고 할 수 있겠다. 원래 음악 작곡 및 제작에는 재능, 시간, 그리고 기술 전문성이 요구되는데, 이러한 작곡 가능한 인공지능의 발전으로 아마추어 음악가들의 작업이 쉬워졌다. 또한 음악에 대한 전문 지식 없이도 누구나 자신만의 곡을 만들 수 있게 되었고 완성된 음악을 무료로 스트리밍하거나 다운받아서 자유롭게 사용할 수 있게 되었다. - P154

인공지능이 작곡에 활용되면서 인공지능 작곡의 저작권이새로운 이슈로 떠오르고 있다. 우리나라 저작권법에 저작물은 ‘인간의 사상 또는 감정을 표현한 창작물‘이라고 정의되어 있다. 저작자는 저작물을 만든 사람으로 규정되므로 현행법상 인간이 만든 것만 창작물로 인정된다는 의미이다. 현재의 저작권법은 ‘인간‘만이 그 대상이지만 인공지능이 사회에 등장했으므로 앞으로는 인공지능에 관한 새로운 논의와 관련 법안이 필요할 것이다. - P156

인공지능 작곡 저작권 논란의 주요 쟁점은 누가 저작권을 소유하는가이다. 인공지능이 한 곡을 완성시키기까지 인공지능 알고리즘을 개발하는 프로그래머, 빅데이터를 바탕으로 인공지능을 학습시키는 사람, 인공지능 작곡 서비스에게 창작의 요소를 부여한 이용자 등 많은 사람이 참여하기 때문이다. - P156

현재 발생하고 있는 또 다른 쟁점은 인공지능은 작곡을 할 때 수많은 데이터를 필요로 하는데, 이때 타인의 저작물을 활용하는 행위를 허용할지에 대한 의견 차이다. - P156

영국이나 독일은 비영리적인 목적일 경우에만 저작물 활용을 허용하고 있는데, 이런 식으로 제한을 두면 인공지능을 자유롭게 학습시키거나 관련 산업이 발전하기가 힘들 것이다. - P156

적대적 생성 신경망 Generative Adversarial Network. GAN이라는 기술이 차세대 딥러닝 알고리즘으로 주목받고 있다. 대부분의 인공지능 연구는 사람이 정답을 알려주는 지도 학습 방식으로 이뤄진다. 해당 이미지가 무엇인지 태그를 달아주는 등 인공지능이 학습할 수 있도록 데이터를 가공하는 과정을 수작업으로 진행한다는 말이다. 반면 적대적 생성 신경망은 비지도 학습 방식을 이용해 사람이 정답을 알려주지 않아도 경쟁 과정 속에서 대량의 데이터를 인공지능이 스스로 학습한다. - P157

이 기술(적대적 생성 신경망Generative Adversarial Network, GAN)은 주로 이미지 생성에 활용되는데, 실제 이미지를 학습해 실제와 유사한 이미지를 만들어낸다. - P157