가제 : FretTracker 프로젝트

초록

기타 연주함에 있어서 기타 타브 악보는 참 중요한 존재라고 생각한다.

하지만 타브악보를 누군가에게 제공한다는 것은 매우 힘든 일인 것 같다.

악보바다를 예로 들자면 타브 악보가 1,900원 내외로 판매되고 있고, 유튜버들의 경우 자신만의 paidtabs 등 외부 사이트를 통해 오천 원에서 2만 원까지 다양한 가격대로 판매하고 있음을 알 수 있다. 그 정도의 노동력이라는 뜻으로 받아들이면 될 것 같다.

그리고 직접 만들어봤는데 생각보다 어렵다기보단 귀찮다. 손에 익은 멜로디를 생각나는대로 누르는 것이다 보니 어딜 눌렀었는지 생각이 잘 나지 않는다. 다시 상기시키는 일이 참 어렵다.

그래서 생각한게 요즘 인공지능도 참 다양한데 혹시 tab를 만들어주는 것들이 있는가 찾아보게 되었다.

선행사례

1. tabmaker (https://tab-maker.com/)
   무료로 사용할 수 있다는 좋은 장점이 있지만
   인식률이 많이 떨어질 뿐더러 단순히 음계만 인식하여 타브를 작성하는 문제점이 있다.
   그리고 기타 프로하고도 연동이 전혀 되지 않고, 인식된 음표 또한 제공되지 않는다.
   
   
2. klang.io (https://klang.io/guitar2tabs/)
   인식률도 크게 나쁘지 않고, 음표도 직접 만들어줘서 손모양에 맞춰 바꿀 수도 있었다.
   하지만 당연히 신스와 기타를 분류해주지 않고, 손모양을 전혀 고려하지 않는다.
   사용할 수 있는 자동 타브 추출기 중에 제일 맘에 들었다.

그래서 내가 만들려고 하는 타브 제작 프로그램은 위에 대한 대안으로써 다음 기능을 필수로 제공해야한다.

필수 기능 (3가지)

1. midi, 음계 추출기능
2. 정확히 기타만 분리할 수 있는 기능 -> 된다면 기타 1, 2까지
3. 기타 연주에서 자연스러운 손 모양 (스케일에 맞춰서)을 출력해야 함.
   보통 lick이라고 하는 스케일마다의 정형적인 연주가 있으므로 그를 참고하면 알기 쉽다고 생각한다.

연구 방법

일단 나도 기타 스케일마다의 lick이 있다는 것을 알지만 그 lick이 연주자마다 매우 다양하고, 해당 스케일인지 판별하는 과정이 매우 추상적이라 생각한다.

그렇기에 연주 영상을 중심으로 분석하는 것이 중요하다고 생각한다.

그렇기에 위 기능을 지원하기 위해 3가지 큰 접근 과정을 생각해보았다.

접근과정

1. 기타 연주 영상에서의 손가락 인식
   연주 손가락과 음원에서의 음계를 1대1 연결
2. 기타 연주 영상에서 스케일 블록을 분석
   (차후에 접근하도록하자 아직 선행 연구가 부족하다)
3. 기타 영상을 통한 음계 출력
   손가락과 연동된 소리만 음계로 출력

이제 선행연구들에 대한 논문을 분석하고, 프로젝트를 위한 여러 오픈소스들에서 얻을 수 있는 것들에 대해 정리하고, 해야할 내용을 분기별로 다시 정리할 예정이다.