수학이 사랑한 음악

고대부터 AI 음악까지 음악사와 기술사의 교양서

니키타 브라긴스키 지음 | 박은지 옮김

생각지도 2023년 02월 20일 출간 종이책 : 2023년 02월 20일 출간

작품소개

책소개

최근 챗GPT에 위협을 느끼는 구글이 ‘뮤직LM’이라고 불리는 텍스트 기반 음악 생성 AI 시스템을 선보였다. 뮤직LM은 텍스트 기반 음악 생성 AI 시스템으로 간단한 텍스트 명령에 따라 음악을 만들어준다. 인공지능 기반으로 개인에게 맞춤형 음악을 추천해주는 플랫폼의 인기도 급상승 중이다. 이처럼 인공지능은 음악에도 새로운 바람을 불러일으키고 있다. 그렇다면 음악이라는 영역에 과학기술이 접목된 것은 언제부터였을까?

이번에 출간된 《수학이 사랑한 음악》은 음악 창조의 영역에서 수세기 동안 계속되어 왔던 수학 사용의 역사에 관해 설명한 입문서이다. 음악학자이자 기술사학자인 저자 니키타 브라긴스키는 음악이라는 영역에서 수학이 어떻게 사용되기 시작했고, 오늘날에는 어디까지 와 있으며, 가까운 미래에는 어떻게 사용될 수 있을지를 설명한다. 그러면서 그 수학이라는 과학이 지금은 AI 음악이라는 새로운 장르까지 만들어 내고 있음을 음악사와 기술사의 융합적 관점에서 추적하면서 깊이 있게 다루고 있다.

이 책을 국내에 소개한 번역가 박은지 박사도 “AI 음악의 근원과 역사를 담은 책은 연구의 희소성으로 인해 국내외적으로 쉽게 찾아볼 수 없었는데, 책을 읽어 보고 내용의 가치에 대한 확신이 생겼다.”라고 할 만큼 이 책은 독보적이다. 지금까지 음악 관련 책들이 음악가의 작품 중심으로 고전 음악을 해석하고 이해하는 방법론을 다루었다면, 최근 주목받기 시작한 AI 음악의 시작과 발전 과정, 미래 가능성을 간결하고 설득력 있게 서술한다는 점에서도 이 책의 가치는 높이 평가할 만하다.

목차

추천의 글
추천사
옮긴이의 글
들어가면서

1부. 연속성으로부터
1. 혁명이 아닌 수학적 음악
2. 고대부터
3. 중세부터
4. 근세부터
5. 19세기부터
6. 1900년부터
7. 1950년부터

2부. 가능성으로
8. 강력하면서도 제한적인 수학적 음악
9. 딥러닝은 어떻게 작동하는가
10. 넓은 시야로 본 인공지능 음악
11. 진정한 월드 뮤직, AI 음악
12. 대량 생산 음악의 시대, 그리고 개인적 음악
13. 아방가르드와 팝

나오면서
용어 사전
참고 문헌
감사의 말

책 속으로

◇ 2장. 고대부터 _ 48쪽
음악 표현은 단순한 정수비에서 약간 벗어났을 때 오히려 더 인상적인 효과를 내며, 그 진가를 발휘한다. 현대의 음향 분석 기술은 음악의 표현력이 음의 변형과 관련이 있다는 사실을 증명했다. 예를 들어 경험이 많은 가수나 바이올리니스트의 경우 음을 약간 낮추거나 높여서 소리를 낸다. 이들은 무수한 방법으로 음을 만들어 연주하면서 미묘한 감정의 변화를 전달할 수 있다. 음높이의 변화가 전혀 없는 인공적으로 만들어진 ‘완벽한’ 음으로 노래하거나 연주하면, 청자들은 기계적인 소리로 인식하게 된다.

◇ 4장. 근세부터 _ 69쪽
키르허의 장치는 정신적 작업에 대한 기술의 확장으로 볼 수 있었다. 과거부터 글쓰기는 인간의 사고방식을 깊이 있게 재구조화하는 활동으로 분석되어 왔다. 마찬가지로 악보를 쓰고 읽는 일은 음악 이론과 실제를 재구조화하는 활동으로 간주될 수 있었다. 이러한 작업은 단순히 작품을 기억하는 정신적 작업을 외부화하는 것을 시작으로 더 복잡하고 긴 작품을 만드는 일을 가능하게 했다. 아마도 악보를 쓰고 읽는 기술이 없었다면, 작품의 형태가 기보법(Musical Notation, 記譜法)으로 완성될 수 없었을 것이며 저작이라는 개념도 등장할 수 없었을 것이다.

◇ 7장. 1950년부터 _ 126쪽
이노는 1996년에 《생성음악 1》이라는 소프트웨어 음반을 발매했다. 음반 제목에서도 알 수 있듯이 음반을 만든 것은 이노가 제공하는 음악적 매개변수를 가진 소프트웨어였다. 그는 코안(Koan)이라는 반 무작위적인 음악을 만드는 데 특화된 소프트웨어 프로그램을 사용했다. 이 소프트웨어는 청자가 프로그램을 시작할 때마다 조금씩 다른 버전의 앨범을 만들었다. 따라서 청자가 《생성음악 1》을 구매하는 것은 음악이 아니라 그것을 제작할 수 있는 수단을 얻게 된다는 의미였다. 곡 자체가 아닌, 곡이 생겨나는 과정에 주된 관심을 둔 ‘생성음악’ 프로젝트는 이노의 근원적인 아이디어를 전달하는 효과적인 소통의 역할을 했으며, 이로 인해 그는 오랜 기간에 걸쳐 명성을 얻었다.

◇ 8장. 강력하면서도 제한적인 수학적 음악 _ 139쪽
AI는 새로운 힘을 가지고 있다. 하지만 그 이면에는 많은 양의 데이터가 필요하다는 전제 조건이 따른다. 일반적으로 AI 작업을 하려면 딥러닝 네트워크의 매개변수 계산을 조정하기 위한 많은 양의 학습 데이터가 필요하다. 예를 들어 AI 모차르트 음악을 만들려면, 누군가는 수많은 음악 토막의 정보를 ‘모차르트 음악’이라 구분하고 그것을 수동으로 입력해야 한다. 딥러닝 연구에서는 다양한 가능성이 존재하며, 모든 상황에 맞는 하나의 접근법이 존재하지 않는다. 따라서 개발자는 네트워크의 내부 구조에 따른 여러 가지 결정을 유연하게 처리해야 한다. 이런 모든 과정을 감안하면 컴퓨터를 이용하지 않고 누구의 음악 작품인지 일일이 작업자에게 묻는 작업이 더 간단하다. 비용적인 면에서도 더 효율적이다.

◇ 10장. 넓은 시야로 본 인공지능 음악 _ 226쪽
머신러닝, 딥러닝 혹은 인공지능은 기업의 음악 기술에서 최신 무기가 되는 기술이다. 그러나 소스 코드를 비롯한 프로그램의 기록은 공개되지 않는 경우가 많아 정확한 기술 설명을 하긴 어렵다. 대부분의 창업자들은 인터뷰에서 AI를 언급했고, 때로는 더 구체적으로 신경망에 관해 이야기했다. 한 창업자는 인터뷰에서 100개의 선율을 가진 네트워크를 제공했고 100개의 새로운 선율을 받았는데, 그중 50개는 ‘음악적이지 않아서’ 삭제했다고 말했다.

◇ 12장. 대량 생산 음악의 시대, 그리고 개인적 음악 _ 210쪽
미래에 가능한 또 다른 실험은 개별적으로 생성된 스타의 제품을 만드는 것이다. 현재 스타는 개별적으로 만들어지는 레코딩으로 인해 안정성을 위협받고 있다. 왜냐하면 각 청자가 스타와 음악에 대한 그들만의 버전을 가지고 있기 때문이다. 그러나 개인적인 대중음악이 대량 생산된다고 해도 이전 시대의 유명 스타들은 새 패러다임으로 이익을 얻을 수 있을 것이다. 기존의 스타는 음악 취향, 인구 통계, 검색 이력이나 상업적인 온라인 감시를 통해 축적된 데이터로 각 구매자를 위해 독특하게 변형된 새로운 ‘노래’를 판매할 수도 있을 것이다. 이러한 실험이 스타의 이미지를 해칠지는 두고 볼 일이다.

출판사 서평

★ 서울대, 카이스트, 광주과학기술원 등 교수진 추천도서
★ 세바시 구범준 대표PD, 우아한형제들 김봉진 의장 강력추천
★ 동국대 〈AI 음악 산업과 역사〉 강의 선정 도서

AI 음악은 하루아침에 만들어진 것이 아니다
‘자동 작곡’의 측면에서 음악의 과정이자 흐름이다

이 책은 코로나19 바이러스가 대유행하던 시기에 완성되었다. 이미 10여 년 전부터 이 책의 주제인 ‘수학적 음악(mathematical music)’에 관한 연구를 계속해 오던 니키타 브라긴스키는 코로나19 시기에 다른 분야와 마찬가지로 음악 세계도 격변하고 있음을 직감했다. 음악 콘서트가 불가능해졌고, 많은 음악가의 생계는 위태로워졌으며, 일과 여가에서 디지털화가 주목받기 시작했다.

이런 변화 속에서 상업과 예술적 목표를 위해 기술, 수학, 데이터 기반의 도구가 음악 작업에 빠르게 채택되었다. 최근 주목받고 있는 AI 음악도 그런 측면으로 이해하고 받아들여지고 있었다. 하지만 저자는 《수학이 사랑한 음악》을 통해 AI 음악은 단순히 컴퓨터 기술이 발전하면서 새롭게 도래한 문명이 아니라 ‘음악의 자동 작곡’이라는 측면에서 오래전부터 계속되어 온 음악의 과정이자 흐름이라고 역설한다.

AI 음악은 하루아침에 혁명적으로 발전한 게 아니라 이전 수학적 음악 아이디어들의 축적이라는 것이다. 책에서 저자는 고대부터 지금까지 인류의 음악 도구와 사고가 어떻게 변화했는지를 보여주면서 독자들이 미래 음악 기술의 변화와 가능성에 대해 자유롭게 토론하도록 돕는 것이 취지임을 밝힌다.

“수학을 품은 음악은 이토록 아름답다!”
음악을 수학과 기술의 융합적 관점에서 바라본 독보적인 책

음악의 기초를 수학적으로 공식화한 최초의 시도는 피타고라스부터 시작된다. 기원전 500년경, 일상 속에 숨어 있는 수의 패턴을 발견하고자 했던 그리스의 수학자이자 철학자인 피타고라스. 어느 날 그는 우연히 대장간을 지나다가 망치질 소리가 각기 다른 음을 내면서도 조화롭게 들린다고 느낀다. 이후 대장간에서 여러 가지 테스트를 해 본 피타고라스는 망치 무게와 소리가 비례적으로 변화한다는 사실을 알아챈다.

당시 ‘만물의 원리가 수’라고 생각하던 피타고라스는 조화로운 음악 소리를 내려면 음에도 수학적 질서가 있다는 사실을 깨닫고, 현의 길이의 비를 이용해 소리를 연구하기 시작한다. 그 결과 한 옥타브는 1:2의 비, 5도음은 2:3의 비일 때 조화로운 소리를 낸다는 수학적 원리를 발견한다. 이것이 오늘날의 음정과 음향학의 출발점이다.

○ 인류 역사상 최초의 악기인 선사시대 뼈 피리는 인간에게 어떤 의미였을까?
○ 바로크 시대의 작곡가들은 음악을 어떻게 조합하고 작곡했을까?
○ 19세기 빈켈의 작곡 기계인 컴포니엄은 어떻게 즉흥 연주가 가능했을까?
○ 20세기 초 컴퓨터가 나타나기 이전에는 음악 알고리즘을 어떻게 만들어 냈을까?
○ 오늘날 음악에서 인공지능과 머신러닝을 사용하면서 과거의 작곡 과정은 어떻게 사용되고 있을까?

책에서는 뼈 피리와 같은 선사시대의 음악 기술을 살펴보는 것을 시작으로 고대(비율), 중세, 근세(조합론), 19세기(음향학), 20세기(통계, 알고리즘, 컴퓨터)에 이르기까지 음악과 기술의 역사와 관련한 여러 흥미로운 이야기들을 만나 볼 수 있다. 이러한 수학적 음악의 아이디어를 따라가다 보면 음악사의 씨실은 기술사의 날실과 촘촘히 엮여 있음을 발견하게 될 것이다.

AI 음악의 등장과 역사적 배경,
앞으로의 가능성까지 조망한 시의적절한 책

전체적으로 이 책은 음악의 ‘자동 작곡’에 관한 창조적인 아이디어가 어떻게 축적되어 AI 음악을 가능하게 했으며 가치 있게 만들 수 있는지를 보여준다. 여기에서 한 발 더 나아가 미래에 가능할 AI 음악이 어떻게 발전할지도 살펴보고 있다.

1부 ‘연속성으로부터’가 수학적 아이디어의 흔적을 사례 중심으로 풀어냈다면 2부 ‘가능성으로’는 자동 작곡과 보조적 작곡에 대한 최근 상황과 미래의 발전 가능성을 예측해 보게 한다. 오늘날의 음악에서 딥러닝은 현실적으로 무엇을 가능하게 해 주고, AI 음악의 현주소와 음악 산업은 어떠한지, 팝 장르의 미래에서 아방가르드는 왜 중요한지 등을 다루고 있다.

최근 음악 스트리밍은 더 확대되었고, 개인 맞춤형 음악을 선호하는 청자를 위해 개인에게 최적화된 문화 상품이 대량으로 생산되고 있다. ‘대량 생산’과 ‘개인 최적화’라는 공존할 수 없을 것 같던 단어가 인공지능으로 인해 가능해진 시대가 도래한 셈이다.

그렇다고 인간의 음악 창작 영역조차 자동화된다는 데 대한 우려나 부정적인 시각은 이 책의 초점이 아니다. 오히려 음악에 인공지능을 활용한 비즈니스를 음악의 자동 작곡이라는 역사를 이해하고 바라본다면 기술과 음악의 발전에 대한 균형 잡힌 시각을 갖는 데 도움이 된다. 무엇보다 빠르게 변화하는 디지털 미디어 시대에 새로운 패러다임으로 등장한 AI 음악에 대한 큰 그림을 이해하고 다양한 방향으로 나아갈 수 있는 시발점 역할을 하는, 지금 시점에 시의적절하게 필요한 책이다.

우리나라 자체 기술로 개발된 최초의 AI 작곡가 이봄(EvoM)의 개발자인 광주과학기술원 안창욱 교수도 “이봄 개발 초기에 나와 같은 AI 전공자도 쉽게 이해할 수 있는 이런 양서가 있었더라면” 하고 이 책을 강력 추천하는 이유다.

작가정보

저자(글) 니키타 브라긴스키

Nikita Braguinski
음악학자이며 기술사학자. 쾰른 대학교를 졸업했으며, 베를린의 훔볼트 공립 종합대학교에서 미디어 이론 전공으로 박사학위를 받았다. 독일의 공립 과학연구기관인 막스 플랑크 연구소의 과학사 분야에서 박사 후 방문연구원으로 일했으며, 하버드 대학교 음악대학에서 박사 후 연구원으로 지냈다. 최근에는 이 책을 집필한 훔볼트 공립 종합대학교에서 박사 후 연구원으로 있다. 플루트, 피아노, 기타를 연주할 수 있으며, 록밴드부터 재즈 작품, 교향악 음악, 일렉트로닉 댄스 음악까지 다양한 연주 경험이 있다.

번역 박은지

프랑스 파리에서 국립 고등학교를 졸업한 후 프랑스 국립 바칼로레아를 취득했고, 동시에 프랑스 국립 뤼에유 말메종 음악원에서 슈페리어 과정을 수료했다. 미국 뉴욕 주립 대학교에서 우등으로 음악학사 학위를 받은 후, 이화여자대학교 음악대학원에서 음악 석사학위를 받았으며 카이스트 문화기술대학원에서 음악 기술의 융합 전공으로 두 번째 공학 석사학위를 받았다. 이후 서울대학교 음악대학원에서 음악사와 이론을 전공해 수석으로 음악학 박사학위를 받았으며, 음악사와 기술사 관련 저서와 논문들을 출판했다. 카이스트 문화기술대학원과 서울대 음악대학원의 연구원을 역임했으며, 현재 음악사와 기술사를 통한 음악 역사의 가치를 높이는 연구를 바탕으로 대학과 기업에서 강의하고 있다. 최근에는 동국대학교에서 ‘AI 음악 산업과 역사’를 가르치고 있다.