oosioo
크라프트색 바탕 왼쪽에 「눈을 감고 들은 곡은 누가 만들었을까」라는 제목과, 매끈한 소리 파형이 오른쪽으로 갈수록 계단진 숫자 막대로 바뀌는 그림이 있다. 오른쪽 줄 노트에는 「연주곡을 골라서 크게 틀어 놓고, 바닥에 누워 눈을 감는다.」라고 적혀 있다
연재오늘의 한 페이지 · 17회

눈을 감고 들은 곡은 누가 만들었을까

노트에 적힌 문장은 '연주곡을 골라서 크게 틀어 놓고, 바닥에 누워 눈을 감는다'였다. 그 곡을 사람이 아니라 기계가 만들 수도 있는 요즘, 글 몇 줄로 노래를 만들어 주는 Suno가 어디까지 왔는지, 작곡가들은 무엇을 걱정하고 무엇을 얻는지 정리했다. 기계가 소리를 숫자 조각으로 바꿔 곡을 만드는 두 가지 방법과 GitHub에 올라오는 오픈소스 모델의 흐름을 짚고, 게임용 노트북 GPU 한 장으로 연주곡·주제가·트로트판 세 곡을 직접 만들어 걸린 시간과 메모리를 쟀다. DGX Spark나 집에 있는 그래픽카드로 해 보려는 사람을 위한 안내도 붙였다. 오늘의 한 페이지 열일곱 번째 글.

· SYSOP · 조회 2

크라프트색 바탕 왼쪽에 「눈을 감고 들은 곡은 누가 만들었을까」라는 제목과, 매끈한 소리 파형이 오른쪽으로 갈수록 계단진 숫자 막대로 바뀌는 그림이 있다. 오른쪽 줄 노트에는 「연주곡을 골라서 크게 틀어 놓고, 바닥에 누워 눈을 감는다.」라고 적혀 있다

오늘 아이디어 노트를 펼치니 이런 문장이 있었다.

연주곡을 골라서 크게 틀어 놓고, 바닥에 누워 눈을 감는다.

언제 적었는지는 기억나지 않는다. 다만 어떤 날이었는지는 알 것 같다. 머릿속이 너무 시끄러워서 말이 들어 있는 노래조차 버거운 날. 가사가 있으면 귀가 자꾸 낱말을 붙잡는다. 연주곡은 그러지 않는다. 볼륨을 평소보다 높이면 소리가 방을 채우고, 바닥에 등을 대고 누우면 그 울림이 등으로도 온다. 눈을 감으면 남는 건 소리뿐이다.

그날 무슨 곡을 틀었는지도 기억나지 않는다. 그런데 요즘이라면 질문 하나가 더 붙는다. 그 곡은 누가 만들었을까. 스트리밍 앱이 '집중', '휴식' 같은 이름으로 엮어 주는 연주곡 목록에는 이제 사람이 만들지 않은 곡이 섞여 있어도 이상하지 않다. 그래서 오늘은 그 질문을 따라가 보기로 했다. 기계는 어떻게 곡을 만드는지, 사람들은 그걸 어떻게 받아들이고 있는지, 그리고 내 노트북으로도 그게 되는지.

글 몇 줄이면 노래 한 곡

AI 작곡이라고 하면 요즘 가장 먼저 나오는 이름이 Suno다. 쓰는 법은 단순하다. "비 오는 날 듣는 잔잔한 피아노 곡"이라고 적으면 곡이 나온다. 가사를 넣으면 그 가사로 노래를 부르고, 가사를 안 넣으면 가사까지 지어서 부른다. 한 번에 두 곡씩 들려주고, 마음에 안 들면 다시 누르면 된다.

회사는 2022년 미국 매사추세츠주 케임브리지에서 생겼다. 창업자 네 사람은 금융 데이터에 AI를 쓰던 회사 Kensho 출신이다(Wikipedia)). 2023년 4월에는 Bark라는 음성 생성 모델을 오픈소스로 공개했는데, 글을 그대로 말소리로 바꾸면서 웃음소리나 노래 같은 소리도 냈다(GitHub suno-ai/bark). 지금의 Suno는 그 연장선에 있다.

속도가 빨랐다. 공식 릴리스 노트를 보면 2024년 2월 V3 알파에서 곡 길이는 최대 2분이었다. 그해 5월 v3.5에서 4분이 됐고, 11월 v4, 2025년 5월 v4.5, 9월 v5가 나왔다. 2025년 9월에는 곡을 트랙별로 나눠 고치는 작업 도구 Suno Studio를 붙였고, 2026년 3월 v5.5에서는 내 목소리를 등록해 그 목소리로 부르게 하는 기능이 들어왔다. 그리고 지난달인 2026년 9월에 v6가 나왔다(Suno 릴리스 노트). 2025년 11월 투자 유치 때 회사는 2년 동안 1억 명 가까운 사람이 Suno로 음악을 만들었다고 밝혔고, 기업가치는 24억 5천만 달러로 평가됐다(Suno 블로그).

쓰임새도 넓어졌다. 내가 유튜브를 보다가 자주 마주치는 건 두 가지다. 하나는 작은 채널이 자기 주제가를 만들어 영상 앞뒤에 넣는 경우다. 채널 이름을 넣은 짧은 노래 한 곡이면 채널에 얼굴이 생긴다. 다른 하나는 아이돌 노래를 트로트로 바꿔 부르는 영상이다. 2025년 12월 보도를 보면 박재범의 '몸매'를 AI로 트로트로 바꾼 영상이 2주 만에 조회수 200만 회를 넘겼다(한국경제, 네이트 경유). 올해 9월에는 에이티즈 'BAD'의 라틴 트로트판이 120만 회, 최예나 '캐치 캐치' 트로트판이 150만 회를 기록했다는 기사가 나왔다(아주경제, 네이트 경유). 사람들이 웃는 지점은 '의외성'이다. 아는 노래가 전혀 다른 옷을 입고 나오니까.

차트에도 올라왔다. 머무르의 「꿈꾸던 어른이 되었나요?」는 기획과 가사, 프로듀싱은 사람이 하고 보컬은 Suno로 만든 곡이다. 만든 쪽이 그 사실을 숨기지 않았는데도 멜론 TOP100에서 3위까지 올랐고, 유튜브 뮤직 한국 인기곡 2위에 들었다(위키트리). 미국에서는 시인 텔리샤 존스가 가사를 쓰고 음악과 보컬을 Suno로 만든 'AI 가수' 자니아 모네(Xania Monet)가 빌보드 R&B 디지털 송 세일즈 차트 1위에 올랐다(The Decoder).

위협이라는 사람, 영감이라는 사람

작곡가들의 반응은 둘로 갈린다.

걱정하는 쪽의 숫자는 무겁다. 세계 저작권 단체들의 연합인 CISAC은 2024년 12월 보고서에서 생성형 AI 때문에 2028년까지 음악 창작자 수입의 24%가 위험해진다고 내다봤다(CISAC). 프랑스 스트리밍 서비스 Deezer는 올해 7월, 하루에 새로 올라오는 곡 가운데 AI로 만든 곡이 처음으로 절반을 넘었다고 발표했다. 6월에는 하루 약 9만 곡이었다. 실제로 재생되는 양은 전체의 1~3%에 그쳤다(Deezer). 올라오는 양과 들리는 양 사이에 큰 틈이 있다. 그 틈을 메우는 건 대개 '집중용 음악', '수면 음악' 같은 배경음 목록이다. 노트에 적힌 그 장면, 바닥에 누워 틀어 두는 연주곡이 바로 AI 곡이 가장 먼저 비집고 들어간 자리라는 뜻이기도 하다.

법정 다툼도 길다. 2024년 6월 미국음반산업협회(RIAA)가 유니버설·소니·워너 세 메이저 음반사를 대리해 Suno와 경쟁사 Udio를 제소했다. 2025년 가을 Udio는 유니버설, 워너와 차례로 합의했고, Suno도 2025년 11월 워너와 합의했다. 합의 조건에는 라이선스를 받은 음원으로 학습한 새 모델을 내고, 무료 사용자는 만든 곡을 내려받지 못하게 하는 내용이 들어갔다(Music Business Worldwide). 지난달 나온 v6가 그 첫 모델이다. 그런데도 유니버설과 소니는 9월 18일 v6를 겨냥해 두 번째 소송을 냈다. 옛 모델의 결과물로 다시 학습했으니 "같은 독이 든 나무의 열매"라는 주장이다(Billboard). 유럽에서는 독일 음악저작권협회 GEMA가 올해 7월 뮌헨 지방법원에서 일부 승소했다. 학습을 위해 곡을 통째로 기억하게 한 것은 허용된 데이터 분석을 넘는다는 판단이었다. 아직 확정 판결은 아니다(Simmons & Simmons).

한국은 오락가락했다. 한국음악저작권협회는 2025년 3월부터 곡을 등록할 때 AI를 쓰지 않았다는 확인을 받고, AI를 쓴 곡은 등록을 미뤘다(YTN 사이언스). 2026년 8월 3일에는 사람이 실질적으로 참여했으면 등록해 주는 새 기준을 시행했다. 그런데 국회와 문화체육관광부에서 사회적 합의가 부족하다는 의견이 나오자 22일 만인 8월 25일에 철회했다. 지금은 다시 등록 유보 상태이고, 100% AI가 만든 곡은 받지 않는다는 원칙만 남았다(아시아경제). 머무르의 곡이 차트에 올라도 협회를 통한 저작권료를 받기 어렵다는 기사가 나온 것도 이 때문이다.

반대쪽에는 도구로 쓰는 사람들이 있다. 미국 프로듀서 팀발랜드는 2024년 Suno의 고문이 됐고, 자기가 만든 데모를 Suno에 넣어 다듬고 사람이 쓴 가사를 얹는 식으로 작업한다고 밝혔다(Music Business Worldwide). 자니아 모네를 만든 텔리샤 존스도 자기가 가수로 나설 만큼 노래를 잘하지는 못해서 목소리를 AI에 맡겼다고 했다. 시를 쓰던 사람이 노래를 내놓을 수 있게 된 셈이다. 국내에서는 작곡가 김형석이 AI 음악을 막기보다 받아들이고, 저작권 단체가 관리하는 곡을 AI가 가공하면 사용료를 받는 방안을 제안했다(아주경제).

나는 둘 다 맞는 말이라고 생각한다. 배경음악으로 생계를 꾸리던 사람에게 하루 9만 곡은 실제 위협이다. 동시에 머릿속에 멜로디만 있고 악기를 다루지 못하던 사람에게는 처음으로 열린 문이다. 아이돌 노래 트로트판처럼 남의 곡을 바꾸는 일은 또 다른 문제다. 원곡의 멜로디와 가사를 바꿔 부르는 건 2차적저작물이라 원저작자의 허락이 필요하고, 목소리를 흉내 내면 퍼블리시티권 문제도 생긴다(비즈한국). 한국저작권보호원이 2주 동안 살펴봤더니 허락 없이 올라온 AI 커버곡이 1,647건, 채널이 227개였다(한국저작권보호원). 재미있다고 다 괜찮은 건 아니다.

기계는 소리를 어떻게 숫자로 바꾸나

그러면 기계는 어떻게 곡을 만들까. 출발점은 같다. 소리를 다룰 수 있는 크기의 숫자 조각으로 바꾸는 것이다.

CD 음질의 소리는 1초에 4만 4,100번 숫자를 기록한다. 3분짜리 곡이면 숫자가 800만 개 가까이 된다. 이걸 하나하나 맞히게 하면 너무 길다. 그래서 먼저 소리를 압축하는 모델을 따로 학습한다. 소리를 넣으면 훨씬 짧은 숫자 줄로 줄였다가 다시 소리로 되살리는 모델이다. 메타의 EnCodec이 대표적이다. 음악 생성 모델 MusicGen이 쓰는 EnCodec은 1초를 50칸으로 나누고, 칸마다 숫자 4개를 겹쳐 적는다(audiocraft 문서). 첫 번째 숫자가 대강의 소리를 잡고, 두 번째는 첫 번째가 놓친 차이를, 세 번째는 또 그 차이를 적는 식이다. 이렇게 하면 3분 곡이 3만 6천 개 정도의 숫자로 줄어든다. 이 숫자 하나하나가 토큰이다. 챗GPT가 글을 토큰으로 쪼개 다루듯, 음악도 토큰으로 쪼개면 같은 방식으로 다룰 수 있다.

두 갈래 길을 그린 도식. 왼쪽 '글로 쓴 주문'에서 위쪽 길은 트랜스포머가 다음 소리 토큰을 하나씩 맞혀 토큰 줄을 만들고, 아래쪽 길은 디퓨전 트랜스포머가 잡음에서 8~50단계를 거쳐 압축된 소리 지도를 한꺼번에 만든다. 두 길은 오른쪽 '코덱·VAE 복원'에서 소리 파형으로 만난다. 가운데에는 '요즘은 둘을 섞는다: LM이 설계, 디퓨전이 연주'라는 상자가 있다

그다음은 두 갈래다.

첫째는 다음 조각 맞히기다. 글을 쓰는 언어모델이 앞 문장을 보고 다음 낱말을 고르듯, 앞서 나온 소리 토큰을 보고 다음 토큰을 하나씩 고른다. 2020년 OpenAI의 Jukebox가 이 방식으로 노래를 만들었고, 2023년 MusicGen은 겹쳐 적은 숫자 4개를 한 칸씩 어긋나게 늘어놓는 요령으로 1초에 50번만 예측하면 되게 만들었다(Copet 외 2023). Suno는 자기 음악 모델의 구조를 논문으로 낸 적이 없다. CEO 마이키 슐먼은 대신 인터뷰에서 자기회귀, 곧 이 다음 조각 맞히기 방식이 "조금씩 알아 나가기 때문에 더 흥미로운 음악이 나온다"고 했고, 오디오를 토큰으로 쪼개는 올바른 방법을 찾는 데 많은 시간을 썼다고 말했다(Amplify Partners). 앞의 Bark도 같은 계열이었다.

둘째는 잡음 걷어 내기다. 이미지 생성에서 쓰는 디퓨전과 같은 원리다. 처음에는 곡 전체 길이만큼 무작위 잡음을 깔아 두고, 글로 쓴 주문을 참고해 잡음을 조금씩 걷어 낸다. 걷어 낼 때마다 소리의 윤곽이 드러난다. 한 조각씩 이어 쓰는 게 아니라 그림을 그리듯 곡 전체를 한꺼번에 다듬으니 빠르다. Stability AI의 Stable Audio는 95초 분량을 A100 GPU에서 8초 만에 만든다고 밝혔다(Evans 외 2024). 요즘은 걷어 내는 길을 곧게 펴서 단계 수를 줄이는 플로 매칭이 많이 쓰인다. 같은 인터뷰에서 슐먼은 디퓨전이 "소리는 좋지만 조금 지루한 엘리베이터 음악"을 만든다고 했다. 구조를 길게 끌고 가는 데는 이어 쓰기가 낫고, 소리의 질감과 속도는 디퓨전이 낫다는 뜻이다.

그래서 요즘 모델은 둘을 섞는다. 언어모델이 먼저 곡을 설계하고, 디퓨전이 그 설계대로 연주한다. 오늘 내가 직접 돌려 본 ACE-Step 1.5가 그렇다. 언어모델이 글로 쓴 주문을 받아 템포와 조성, 곡의 흐름, 필요하면 가사까지 정한 뒤, 1초에 5번꼴로 거친 '소리 설계도'를 적는다. 디퓨전 트랜스포머는 그 설계도를 따라 실제 소리를 그린다(ACE-Step 1.5 기술 보고서). 지난달 나온 YuE2는 한 걸음 더 나가서 먼저 사람이 읽을 수 있는 악보를 쓴다. ABC라는 문자 악보로 멜로디와 화성을 적고, 그걸 바탕으로 소리를 만든다. 같은 모델로 비교했을 때 악보를 먼저 쓰게 한 쪽을 전문가들이 더 많이 골랐다(49.3% 대 34.6%, YuE2 논문). 사람 작곡가가 오선지에 먼저 적고 나서 녹음하는 순서를 기계가 다시 배우는 모양새다.

노래에는 어려운 문제가 하나 더 있다. 가사와 목소리를 맞추는 일이다. 반주는 조금 어긋나도 티가 덜 나지만, 가사는 한 음절만 밀려도 이상하게 들린다. 그래서 모델들은 가사를 소리 내어 읽힌 다음 받아쓰기로 틀린 비율을 재고(음소 오류율), 사람이 더 좋다고 고른 결과 쌍을 대량으로 보여 주며 다시 학습시킨다. 텐센트의 SongGeneration 2는 이런 선호 쌍 약 20만 개로 엉뚱한 가사를 부르는 버릇을 줄였다고 밝혔다.

GitHub에서 보이는 흐름

Suno는 닫혀 있지만, 비슷한 일을 하는 모델이 GitHub에 꾸준히 올라온다. 오늘(2026년 10월 18일) 기준으로 눈에 띄는 것들을 추렸다. 별 수는 GitHub에서 그 저장소를 즐겨찾기한 사람 수다.

모델만든 곳방식노래(가사)라이선스그래픽 메모리GitHub 별
ACE-Step 1.5ACE Studio·StepFun언어모델 설계 + 디퓨전됨, 50개 넘는 언어MIT (상업 가능)4GB 미만부터약 1만 3,700
YuE2홍콩과기대 등악보 먼저 + 플로 매칭됨가중치 CC BY-NC (개인 창작자 수익화 허용)24GB 권장약 1만 2,100
HeartMuLaHeartMuLa 팀다음 조각 맞히기됨Apache 2.0미기재약 3,800
DiffRhythm 2서북공업대 ASLP·샤오미블록 단위 플로 매칭됨Apache 2.0미기재 (1편은 8GB부터)약 2,400 (1편)
Magenta RealTime 2구글실시간 생성연주곡가중치 CC BY 4.0실시간은 애플 실리콘약 1,800
MusicGen메타다음 조각 맞히기연주곡가중치 CC BY-NC (상업 불가)16GB 권장(중간 크기)약 2만 3,700 (audiocraft)
Stable Audio OpenStability AI디퓨전연주·효과음연매출 100만 달러 미만 상업 가능미기재약 3,900

표를 만들며 보인 흐름을 적어 두면 이렇다.

  • 짧은 조각에서 한 곡 전체로. 2023년의 MusicGen은 30초 안팎의 연주곡을 만들었다. 지금은 보컬이 들어간 4분짜리 곡이 기본이고, ACE-Step 1.5는 10분까지 만든다.
  • 설계와 연주를 나눈다. 앞에서 말한 하이브리드다. 설계는 언어모델이, 소리는 디퓨전이 맡는다. 설계 단계에 악보나 구조 설명을 넣어 사람이 중간에 고칠 수 있게 하는 쪽으로 간다.
  • 빠르게, 작게. 디퓨전 단계를 50번에서 8번 안팎으로 줄이고, 가중치를 8비트로 줄이고, 안 쓰는 부분을 CPU로 내려 두는 기법이 기본이 됐다. 데이터센터용 GPU가 아니라 게임용 그래픽카드를 염두에 두고 만든다.
  • 만들기보다 고치기. 곡의 한 구간만 다시 만들기(repaint), 다른 장르로 다시 부르기(cover), 트랙별로 나누기, 목소리만 있는 녹음에 반주 붙이기 같은 편집 기능이 늘었다. Suno Studio가 가는 방향과 같다.
  • 내 곡으로 길들이기. 내 곡 몇 개로 LoRA라는 작은 추가 학습을 하면 그 스타일을 따라 한다. ACE-Step 1.5는 8곡이면 된다고 안내한다.
  • 라이선스는 오히려 좁아진다. 성능이 좋아질수록 상업 이용에 조건을 붙이는 경우가 늘었다. YuE는 1편이 Apache 2.0이었는데 YuE2 가중치는 비상업 조건에 예외를 붙인 형태로 바뀌었다. 쓰기 전에 라이선스부터 읽어야 한다.

내 노트북으로 해 봤다

말로만 하면 감이 안 와서 직접 돌려 봤다. 쓴 기계는 게임용 노트북이다. 그래픽카드는 RTX 3070 노트북판이고 그래픽 메모리는 8GB, 시스템 메모리는 16GB다. 윈도 안의 리눅스 환경(WSL2)에서 ACE-Step 1.5를 설치했다. 설치는 안내대로 저장소를 내려받고 uv sync 한 줄이면 끝났다. 모델 파일은 처음 실행할 때 알아서 받는데, 다 합쳐 7GB 남짓이었다.

8GB 카드에 맞춰 설정했다. 소리를 그리는 디퓨전 모델은 8비트로 줄이고, 쓰지 않는 동안에는 CPU 쪽으로 내려 두게 했다. 설계를 맡는 언어모델은 가장 작은 0.6B짜리를 골랐다. ACE-Step 문서가 6~8GB 카드에 권하는 조합이다. 그리고 세 곡을 주문했다.

  1. 노트의 문장 그대로, 바닥에 누워 눈을 감고 듣는 연주곡. "따뜻한 펠트 피아노, 부드러운 현악 패드, 빗소리, 넓은 잔향, 드럼 없이"라고 적고 길이는 3분, 템포는 66으로 잡았다.
  2. 오시오 채널 주제가. 내가 쓴 가사("오늘도 노트를 펼쳐 / 한 줄을 골라 읽어요 … 오시오 오시오 / 천천히 읽고 가시오")를 넣고 밝은 어쿠스틱 팝으로 1분.
  3. 2번을 트로트로 다시 부르기. 남의 노래를 바꾸면 앞에서 말한 문제가 생기니, 방금 만든 우리 주제가를 원곡으로 썼다. "뽕짝 리듬, 아코디언, 브라스, 꺾는 남자 목소리"라고 적었다.

노트북 RTX 3070 한 대로 만든 세 곡의 스펙트로그램. 위는 피아노 연주곡으로 아래쪽 낮은 음역에 띄엄띄엄 밝은 점이 찍혀 있고 위쪽은 대부분 어둡다. 가운데 주제가와 아래 트로트판은 위아래로 빽빽하게 밝은 세로줄이 이어지다 55초 무렵 끝난다

결과부터 말하면 세 곡 다 나왔다. 연주곡은 조용하게 시작해 점점 커진다. 10초 단위로 음량을 재 보니 처음 10초가 -30dB 안팎이었고, 2분 무렵부터 30초 동안 -17dB 근처로 가장 컸다가, 마지막 10초에 다시 -28dB로 잦아들었다. 이 흐름은 내가 적은 게 아니다. 언어모델이 내 짧은 주문을 받아 "중간쯤 현악 패드가 들어와 감정의 깊이를 쌓고, 다시 처음의 조용한 주제로 돌아와 평화롭게 끝난다"는 긴 설명으로 늘려 적은 다음, 그대로 만들었다. 다만 빗소리는 들어가지 않았다. 스펙트로그램에서도 위쪽 높은 음역이 대부분 비어 있다. 주문을 늘려 쓰는 과정에서 빗소리를 빠뜨린 것이다. 설계를 맡은 쪽이 무엇을 넣고 무엇을 뺐는지 글로 남겨 주니, 어디서 어긋났는지는 바로 보였다.

노래는 받아쓰기로 확인했다. 오픈소스 음성 인식 모델 Whisper(medium)로 받아 적어 보니, 주제가의 후렴 "천천히 읽고 가시오 / 오시오 오시오 / 한 페이지씩 넘겨요"는 그대로 받아 적혔다. 1절은 거의 알아듣지 못했다. 트로트판은 오히려 1절까지 "작은 생각 하나가 … 이야기가 되죠"로 대부분 들렸고, '페이지'가 '삐지'로, '긴'이 '니'로 뭉개진 정도였다. 후렴처럼 같은 말을 반복하는 부분은 잘 부르고, 처음 나오는 문장은 흘리는 경향이 보였다.

3분짜리 곡 하나를 만드는 데 걸린 시간을 쪼갠 막대그래프. 언어모델이 곡을 설계하는 데 100.8초, 디퓨전이 소리를 그리는 데 3.7초, VAE가 파형으로 복원하는 데 6.2초, CPU와 GPU 사이로 모델을 옮기는 데 18.5초가 걸렸다. 모델을 처음 불러오는 데는 따로 45.7초가 걸렸다

시간과 메모리는 이렇게 나왔다.

곡길이만드는 데 걸린 시간그래픽 메모리 최대
① 누워 듣는 연주곡3분135초4.8GB
② 오시오 주제가1분74초4.5GB
③ 트로트판 (②를 다시 부르기)1분20초4.5GB

모델을 처음 불러오는 데는 따로 46초쯤 걸렸다. 3분짜리 곡이 2분 남짓 만에 나왔으니, 듣는 것보다 만드는 게 빠르다. 8GB 카드에서 메모리도 절반 조금 넘게만 썼다.

가장 흥미로웠던 건 시간이 어디에 쓰였는지다. 135초 중에 실제 소리를 그리는 디퓨전 단계는 3.7초였다. 8단계를 도는 데 한 단계에 0.46초. 나머지 대부분인 101초는 언어모델이 곡을 설계하는 데 썼다. 설계도는 한 조각씩 이어 써야 하니 곡이 길수록 오래 걸린다. 1분짜리 주제가는 설계에 46초, 이미 있는 곡을 바꿔 부르는 트로트판은 설계를 건너뛰어 20초였다. 앞에서 본 두 갈래의 차이가 내 노트북 위에서 그대로 숫자로 나온 셈이다. 이어 쓰기는 느리고, 한꺼번에 그리기는 빠르다. 메모리를 아끼려고 모델을 CPU와 GPU 사이로 옮기는 데도 18초가 들었다. 그래픽 메모리가 넉넉한 카드라면 이 시간은 사라진다.

집에서 해 보려면

해 보고 싶은 사람을 위해 정리해 둔다. 무엇이 있느냐보다 그래픽 메모리가 몇 GB냐가 먼저다.

갖고 있는 것해 볼 만한 것참고
그래픽 메모리 4~8GB (노트북 RTX 3060·3070, RTX 4060 등)ACE-Step 1.5 기본 모델 + 0.6B 설계 모델, DiffRhythm(분할 모드)오늘 내 실측이 여기다. 오프로드·8비트를 켠다
12~16GB (RTX 3060 12GB, 4060 Ti 16GB, 5070 Ti, 5080)ACE-Step 1.5 + 1.7B 설계 모델, YuE(저메모리판 YuEGP), 내 곡으로 LoRA 학습LoRA는 12GB 이상이 편하다
24~32GB (RTX 3090·4090, 5090)ACE-Step 1.5 XL(4B), YuE2, 대부분의 모델을 오프로드 없이YuE2는 4090에서 3분 35초 곡을 71초에 만든다고 밝혔다
DGX Spark (통합 메모리 128GB)큰 모델 여러 개를 한꺼번에 올려 두기, 음악·영상 묶어 만들기메모리는 크지만 속도는 게임용 고급 카드보다 느리다
맥 (애플 실리콘)ACE-Step 1.5, DiffRhythm둘 다 맥을 공식 지원한다

DGX Spark는 어떨까. 엔비디아가 '책상 위의 AI 슈퍼컴퓨터'라고 내놓은 작은 상자다. 가로세로 15cm, 무게 1.2kg인데 CPU와 GPU가 128GB 메모리를 같이 쓴다(NVIDIA 문서). 게임용 카드는 가장 큰 RTX 5090도 32GB니까, 담을 수 있는 모델 크기로는 비교가 안 된다. 대신 메모리에서 데이터를 꺼내는 속도가 초당 273GB로, RTX 4090(약 1,008GB)의 4분의 1, RTX 5090(1,792GB)의 6분의 1 남짓이다. 큰 모델을 올릴 수는 있지만 빨리 돌리지는 못한다는 뜻이다. 한 엔비디아 포럼 사용자가 ASUS판 Spark에서 ACE-Step 1.5를 돌린 기록을 보면, 4B 설계 모델과 함께 2분짜리 곡 하나에 약 8초가 걸렸고 메모리는 15GB 정도를 차지했다(NVIDIA 개발자 포럼). 나머지 100GB 넘는 메모리에 영상 모델이나 이미지 모델을 같이 올려 둘 수 있다는 게 Spark의 장점이다.

가격은 계속 올랐다. 2025년 10월 미국 출시가는 3,999달러였는데, 메모리 부족으로 2026년 2월 4,699달러가 됐다. 이달 초 보도로는 128GB판이 6,950달러이고, 대신 64GB판이 4,999달러로 새로 나온다(The Register). 국내에서는 2025년 7월 예약 판매 때 4TB 모델이 715만 원이었다(뉴스1). 지금은 판매처마다 900만 원대부터다. 게임용 카드도 싸지 않다. 올해 8월 국내 최저가 기준으로 RTX 5090은 730만 원대였다(지디넷코리아 2026년 8월 3일 보도, 다나와 최저가 기준). 음악 생성만 놓고 보면 이미 집에 있는 게임용 카드로 시작하는 쪽이 훨씬 낫다. Spark를 사야 할 사람은 음악보다 큰 언어모델을 돌리려는 사람이다.

Spark에는 함정도 있다. CPU가 ARM 계열이고 최신 CUDA 13을 써서, 흔히 쓰는 파이썬 패키지 중 아직 맞는 판이 없는 것이 많다. 포럼에 올라온 경험담을 모아 보면 PyTorch는 CUDA 13용 판을 골라 깔아야 하고, 주의 집중 계산을 빠르게 해 주는 flash-attn은 건너뛰는 게 낫다. 오디오 입출력 패키지 torchcodec은 가짜 빈 패키지가 깔리는 경우가 있어서 다른 패키지로 소리 파일을 읽어야 한다.

설치는 어렵지 않다. 제일 쉬운 길부터 적으면 이렇다.

  1. 윈도에서 클릭 몇 번으로. ACE-Step 1.5는 필요한 것을 다 넣어 둔 윈도용 압축 파일을 따로 준다. 풀고 실행 파일을 누르면 웹 브라우저에 작곡 화면이 뜬다. 여러 AI 도구를 한 번에 깔아 주는 Pinokio에도 ACE-Step과 YuE가 있다.
  2. 이미 ComfyUI를 쓰고 있다면. 이미지 생성에 많이 쓰는 ComfyUI가 ACE-Step을 기본 지원한다. 그림 만들던 화면에서 노드만 바꿔 음악을 만들 수 있다(ComfyUI 문서).
  3. 명령줄이 편하다면. 오늘 내가 한 방법이다. 저장소를 받고 uv sync, uv run acestep이면 끝난다. 파이썬 코드로 부르면 여러 곡을 한꺼번에 만들거나 시간을 재기 좋다. 윈도라면 WSL2 안에서 하는 편이 패키지 문제가 적다.

마지막으로 두 가지만 지키면 좋겠다. 하나는 남의 곡과 목소리는 넣지 않는 것이다. 커버나 LoRA 학습에 쓰는 원곡은 내가 만든 곡이어야 한다. 다른 하나는 AI로 만들었다고 밝히는 것이다. 유튜브는 실제로 착각할 만한 합성 콘텐츠에 표시를 요구하고, 2025년 7월부터는 찍어 내듯 반복되는 콘텐츠를 수익화에서 더 엄격하게 거른다(NBC News). AI를 쓴 것 자체로 수익을 막지는 않는다. 걸리는 건 숨기거나 남의 것을 가져다 쓸 때다.

다시 바닥에 누워서

실험을 마치고 첫 번째 곡을 틀었다. 볼륨을 평소보다 올리고, 바닥에 누워 눈을 감았다. 조용히 시작한 피아노가 조금씩 커지다가 다시 잦아들었다. 빗소리는 끝내 오지 않았다.

눈을 감고 있으면 이 곡이 내 주문 몇 줄과 수많은 곡에서 배운 모델, 노트북 그래픽카드가 135초 동안 돈 결과라는 사실이 소리 어디에도 적혀 있지 않다. 눈을 감고 들으면 소리는 그냥 소리다. 그래서 오히려 그 곡을 누가 만들었는지 밝혀 두는 일이 중요해진다고 생각한다. 들을 때는 모르니까, 아는 사람이 적어 둬야 한다.

노트의 문장으로 돌아가 본다. 연주곡을 '골라서' 튼다고 적혀 있다. 만드는 일은 기계가 빨라졌어도, 오늘 같은 날 어떤 곡이 필요한지 고르는 일은 아직 내 몫이다. 3분짜리 곡이 2분 만에 나오는 세상에서는 그 고르는 눈이 더 귀해질 것 같다.

이 연재를 처음부터 보시려면 오늘의 한 페이지 로 가시오.

한마디 0

아직 한마디도 없소. 먼저 보태시오.

한마디 보태려면 들어오시오.