[OpenCV/악보인식] 광학 음악 인식 기반 자동 편곡 시스템 - 1

개요

광학 음악 인식 기반 자동 편곡 시스템은 제가 학부 4학년 때,

 

친구 한 명(총 2명)과 같이 캡스톤디자인(졸업작품)으로 진행했던 프로젝트입니다.

 

해당 프로젝트를 하게 된 배경과 프로젝트의 목표에 대해 간단히 설명해보겠습니다.

 

기본적으로 '편곡'이라 함은 기존 곡의 멜로디를 가지고 음역을 바꾸거나, 악기의 구성을 변경하거나,

 

새로운 화음을 도입하는 등의 작업으로 음악을 편집하는 것을 의미합니다.

 

다만 편곡 작업은 진입장벽이 높아, 전공자가 아닌 일반인들이 시도하기에는 어려움이 있습니다.

 

 

이러한 배경에 저희 팀은 음악을 입력받아 자동으로 편곡해주는 시스템을 만들고자 하였고

 

프로젝트에 필요한 지식이나 연구를 조사하였습니다.

 

하지만 아직 저희의 역량으로 소리를 데이터로 변환하기엔 무리가 있다고 판단하여

 

악보를 입력으로 받아 편곡한 음악을 출력해주는 시스템을 생각하게 되었습니다.

 

결론적으로 악보가 입력되면 사용자의 입맛에 따라 편곡된 음악을 시스템이 출력해주는 것으로

 

목표를 잡고 프로젝트를 진행하게 되었습니다.

 

문제점

처음 의도했던 바는 악보를 입력받아 재즈풍이나, 트롯풍과 같이 노래의 장르 자체를 바꾸거나

 

멜로디를 바꿔 하이라이트 부분을 좀 더 강조하는 등 극적인 편곡을 기대했으나,

 

인공지능에 대해 무지한 상태로 프로젝트를 시작하다 보니 악보 인식에만 수개월의 시간이 소요됐고

 

편곡 모듈에 충분한 시간을 쏟지 못했습니다.

 

최대한 극적인 편곡 효과를 보여줄 방법이 무엇이 있을까 하다가

 

딥러닝을 기반으로 노래에 어울리는 화성을 붙여주는 방법을 목표로 택했습니다.

 

현재 프로그램에는 직접 사용자가 비트를 선택하면 고정적인 화성이 붙게끔 돼 있습니다.

 

시간 관계상 딥러닝 기반 화성 생성 모듈을 프로그램 안에 넣지는 못했지만

 

연구가 끝난 상태이고 다른 포스팅에서 해당 방법을 소개하겠습니다.

 

해당 포스팅에서는 악보 인식과 관련된 과정을 간단히 설명하겠습니다.

 

프로젝트 영상

프로젝트의 구성이나 알고리즘을 설명하기에 앞서 아래는 완성된 프로젝트의 시연 영상입니다.

 

해당 프로젝트로 교내 아이디어 경진대회, 해커톤 경진대회에서 각각 장려상, 우수상을,

 

졸업작품 전시회에서는 최우수상을 받았습니다.

 

학술 활동으로는 논문 4편(학술대회 2편, 저널 2편)을 게재, 우수 논문상을 1회 수상하였습니다.

 

2020년 11월 최종 시연 영상

 

2020년 8월 해커톤 시연 영상