Hogyan készítsünk mesterséges intelligencia zenét a Meta MusicGen segítségével

A Meta kiadta a MusicGen kódot, egy másik AI zenegenerátort, amely a szöveges leírásokat zenei dallamokká alakíthatja. A demó megtalálható az interneten, és csak egy böngésző kell a kipróbáláshoz. Az eredmények nem rosszak, de ennél is inkább azt mutatják, hogy az AI zenei modellek milyen messzire fejlődtek.

Íme, mit kell tudni a MusicGenről és a zene generálásáról.

Mi az a MusicGen?

2023 júniusában a Meta kiadta az AI zenegenerációs modelljét MusicGen néven. Nem ez az első cég, amelyik megbirkózik a nyers zene egyszerű szöveges leírásból történő szintetizálásának összetett problémájával; eddig létrehozhat zenét az OpenAI Jukebox segítségével, vagy dalrészleteket generálhat a MusicLM segítségével.

De ez az első cég, amely nyílt forráskódúvá tette a kódot, lehetővé téve a szoftver helyi futtatását a számítógépén, ha legalább 16 GB memóriával rendelkező GPU-ja van – bár 11 GB-tal sikerült működésre bírnunk.

Ne aggódjon, ha nem rendelkezik a hardverrel, mert a MusicGen webalkalmazást ingyenesen kipróbálhatja böngészővel. Az online demóból arra számíthat, hogy valamivel több mint egy percig tart egy körülbelül 12 másodperces hangrészlet létrehozása.

  Nem helyettesíthető tokenek (NFT) és alkalmazásaik más területeken

Hogyan hangzik a MusicGen?

A Meta szerint a MusicGen kiváló minőségű zenei mintákat tud készíteni, bár felfedeztük, hogy az érintett kutatók a jó minőséget 32 ​​kHz-ben határozták meg. Ez valahol a beszédszintézis követelményei (16 kHz) és a digitális zenei szabvány (44,1 kHz) között helyezkedik el.

A valóságban a hang nem felel meg a rádióban vagy streaming platformokon megszokott minimális minőségi szabványoknak. Azonban a többi mesterséges intelligencia-generátorhoz képest, és figyelembe véve, hogy a technológia hol tart az írás idején, a hangminőség meglehetősen jó alacsony zajszint mellett a fájlban.

Mennyire igazodik a zene a felszólításhoz? Ezt gyorsan megértheti, ha meghallgatja az alábbi példákat. Általánosságban elmondható, hogy képes ragaszkodni a populáris zenei műfajokhoz, miközben megőrzi az elődeihez képest koherensebb zenei struktúrát.

Hogyan generáljunk zenét a MusicGen segítségével

A MusicGen használata egyszerű, és nem igényel regisztrációt. A felület is egyszerű, így a szórakozásból könnyen kipróbálható.

Így generálhat zenét a MusicGen segítségével:

  • Nyissa meg a MusicGen webalkalmazás.
  • A Zene leírása című szövegmezőbe írja be a promptot. Kipróbálhat valami olyan egyszerűt, mint az „ír népdallam”, vagy részletesebbé teheti a hangszer, a tempó, a műfaj vagy az érzelem hozzáadásával.
  • Nyomja meg a Generálás gombot a folyamat elindításához. Egy-két perc múlva egy audiolejátszó jelenik meg a jobb oldalon a Generált zene modulban.
  • Vigye az egérmutatót a modul fölé a lejátszó vezérlőinek megjelenítéséhez és a fájl meghallgatásához, vagy nyomja meg a letöltés ikont a jobb felső sarokban a fájl számítógépre mentéséhez. Vegye figyelembe, hogy csak .mp4 fájlként tölthető le.
  • Ha szeretné kipróbálni az eredmények kondicionálását egy létező dallam segítségével, feltölthet egy felvételt a szövegdoboz melletti modulba. Alternatív megoldásként a mikrofon kiválasztásával dallamot rögzíthet a mikrofonnal.
  •   A 9 legjobb diavetítés készítő, amely tartós benyomást kelt

    A dallam kondicionálása a szöveges leírást és az Ön által megadott dallamot egyaránt használja referenciaként. Ez egy hasznos eszköz a MusicGen által elért eredmények alakításához.

    Milyen korlátozások vonatkoznak a MusicGen Audio használatára?

    A MusicGen kódja szabadon terjeszthető az MIT licence alatt, kevés korlátozással. Ami a modell segítségével generált hangot illeti, nem világos, hogy vannak-e jogi iránymutatások. Ehelyett érdemes odafigyelni Meta figyelmeztetése a MusicGen használatára:

    „A modellt nem szabad olyan zeneművek szándékos létrehozására vagy terjesztésére használni, amelyek ellenséges vagy elidegenítő környezetet teremtenek az emberek számára. Ide tartozik olyan zene generálása, amelyet az emberek előreláthatóan zavarónak, szorongatónak vagy sértőnek találnak; vagy olyan tartalom, amely történelmi vagy jelenlegi sztereotípiákat terjeszt.”

      Melyik JS-keretrendszert válassza? [2023]

    Meta továbbá kifejti, hogy a MusicGen azoknak a kutatóknak szól, akik az AI zenegenerálást szeretnék felfedezni, nem pedig „downstream felhasználásra”, amiről feltételezzük, hogy olyan tevékenységeket jelentenek, mint a mesterséges intelligencia zene feltöltése és terjesztése streaming platformokon.

    Az etikai előnyei és hátrányai tükrözik az AI művészet generációját. Az adatok MI-modellek betanításához való hozzájárulásának megszerzése, valamint a művészek kompenzációjának/jóváírásának problémája, adott esetben, mind-mind ok arra, hogy a Meta biztonságosan játsszon.

    Röviden, a modell szórakozásból való felfedezése nem valószínű, hogy kárt okozna, de lehet, hogy komolyabb probléma lehet, ha a hangot kereskedelmi zenékhez kell használni. Sokan kíváncsiak, hogyan néz ki a popzene jövője az AI-val.

    Egy újabb zenegeneráló modellel a Meta kiadta a MusicGen-t, egy nyílt forráskódú AI-modellt, amely egyszerű szöveges leírásból képes nyers zenét generálni. Ha kíváncsi a technológia kipróbálására, egy webböngészővel megpörgetheti a bemutatót.