Zvukodel

Музыка на Python. Ноты, инструменты, песни и эффекты. Внутри есть подбиблиотека slukh («слух»), которая распознаёт музыку: темп, тональность, аккорды и ноты мелодии. Ещё она умеет узнавать песню по кусочку, как Shazam.

Всё написано с нуля на numpy. Ни нейросетей, ни чужих звуков: инструменты синтезируются, а распознавание сделано на классических алгоритмах (YIN, спектральный поток, хрома, алгоритм Shazam).

pip install zvukodel            # только numpy
pip install zvukodel[all]       # + играть звук (sounddevice) и открывать mp3 (PyAV)

Быстрый старт

import zvukodel as zv

song = zv.Song(bpm=120)
song.track(zv.Piano()).melody("C4 E4 G4 C5:2 | B4 G4 D4:2")
song.save("hello.wav")
song.play()

Мелодия строкой

Целая песня

song = zv.Song(bpm=100)
song.track(zv.EPiano()).chords("Am F C G", length=4, rhythm="x-x-x-x-")
song.track(zv.Bass()).chords("Am F C G", octave=2, rhythm="x.x.x.x.", root_only=True)
song.track(zv.Lead(), reverb=0.2).melody("E5 D5 C5 A4:2 r:2", beat=song.bar(1))

drums = song.drums()
drums.beat(bars=4, kick="x.......x.x.....", snare="....x.......x...", hat="x.x.x.x.x.x.x.x.")
song.save("pesnya.wav")

Ещё можно попросить песню сочинить себя саму: zv.compose(seed=5, style="chip"). Стили: pop, chip (8-бит), rock, phonk, calm.

Инструменты

Piano, EPiano, Pluck (гитара/арфа), Organ, Bell, Flute, Chip (NES/Game Boy), Lead, Pad, Strings, Bass, Bass808, Sine и Synth с настройками для всего на свете (волна, фильтр, огибающая, расстройка, вибрато). Барабаны: Kick, Snare, HiHat, Clap, Tom, Crash, Cowbell. Свой инструмент — это класс с методом render(freq, seconds, vel, sr) (см. primery/03_svoy_instrument.py).

Эффекты

lowpass, highpass, bandpass, eq, echo, reverb, distortion, bitcrush, tremolo, fade_in, fade_out, speed, reverse, pan, mix, normalize, limiter. Звук здесь — обычный массив numpy, так что эффекты можно писать и свои.

Теория

zv.scale("A3", "минор")        # [A3 B3 C4 D4 E4 F4 G4 A4]
zv.chord("G7", octave=3)       # [G3 B3 D4 F4]
zv.key_chords("A minor")       # ['Am', 'Bdim', 'C', 'Dm', 'Em', 'F', 'G']
zv.Note("Ля4").freq            # 440.0

slukh — распознавание музыки

from zvukodel import slukh

print(slukh.analyze("song.mp3"))

Длина:        0:34.9
Громкость:    -12.1 дБ (самый громкий момент -1.0 дБ)
Темп:         110.0 BPM (63 долей)
Тональность:  Фа минор (F minor), уверенность 80%
Строй:        +0 центов от A4 = 440 Гц
Аккорды:      Fm Db Ab Eb Fm Db Ab Eb …

x — это путь к файлу, массив numpy (тогда добавь sr=), пара (массив, sr) или Song.

Узнавалка песен

r = slukh.Recognizer("baza.npz")
r.add_folder("moi_pesni")       # запомнить все mp3/wav из папки
r.save()

print(r.recognize("kusochek.wav"))   # «Название» на 1:23, совпадений 57 (уверенность 100%)
print(r.listen(8))                   # то же с микрофона

Как это работает: из спектрограммы берутся самые яркие точки, соседние точки соединяются в пары, и каждая пара превращается в число-«хэш». Шум и громкость эти хэши почти не портят. У правильной песни много хэшей совпадают с одним и тем же сдвигом по времени. Этот сдвиг и показывает, с какой секунды кусочек.

Насколько точно

Проверено на 30 песнях, которые сочинил compose() (при настройке их не использовали):

Узнавалка (база из 40 песен):

Ложных узнаваний на чужих песнях и на шуме: 0 из 35. Один запрос — около 50 мс.

Честно о слабых местах:

• notes() разбирает только один голос. Мелодию прямо из готовой песни, где играет всё сразу, он не выделит.
• Мажор и параллельный минор (до мажор и ля минор) состоят из одних и тех же нот. Такие тональности иногда путаются, и это нормально даже для людей.
• Распознаются мажорные и минорные аккорды, септаккорды пока нет.
• Темп иногда получается вдвое меньше или больше (75 вместо 150). Музыканты тоже спорят, где тут доля.
• Узнавалка узнаёт запись. Если две песни сыграны одинаковыми нотами на одном инструменте в одном темпе, она может их спутать.

Командная строка

zvukodel compose --style chip -o pesnya.wav
zvukodel analyze song.mp3
zvukodel notes svist.wav
zvukodel add moi_pesni/
zvukodel find kusochek.wav
zvukodel find --mic 8
zvukodel tuner

Примеры и проверка

Папка primery/: первая мелодия, песня с барабанами, свой инструмент, распознавание, Shazam и «напой мелодию». Проверка: python tests/test_zvukodel.py.

Лицензия MIT.