En type AI-model der genererer lydindhold ved gradvis transformation af støj til meningsfulde lydsekvenser. Disse modeller anvender samme grundlæggende principper som billeddiffusionsmodeller, men er specialiseret til at skabe lydindhold.
Eksempel: AudioGen kan omdanne en tekstbeskrivelse som "bølger der slår mod en strand med måger i baggrunden" til en realistisk lydkulisse.
Text-to-Music
AI-teknologi der kan skabe originale musikkompositioner baseret på tekstbeskrivelser. Disse systemer kan generere alt fra simple melodier til komplekse arrangementer med forskellige instrumenter og stemninger baseret på brugerens anvisninger.
Eksempel: Med prompten "En melankolsk klaverkomposition i mol med regndråber i baggrunden" kan en text-to-music AI komponere et stykke musik, der matcher denne beskrivelse.
Voice Cloning
Teknologi der bruger AI til at skabe en syntetisk kopi af en specifik persons stemme, som derefter kan bruges til at generere nyt taleindhold. Voice cloning kræver typisk nogle få minutters lydoptagelse af den originale stemme som træningsdata.
Eksempel: En skuespiller kan få sin stemme klonet til brug i en videospilskarakter, så udviklere kan tilføje nye dialoglinjer uden at skulle genindspille med skuespilleren.
Neural Audio Synthesis
Processen hvor neurale netværk bruges til at generere lyd fra bunden eller transformere eksisterende lydindhold. Disse teknikker kan skabe både realistiske lyde fra den virkelige verden og helt nye, kunstneriske lydlandskaber.
Eksempel: En komponist kan bruge neural audio synthesis til at skabe en helt ny type instrument, der kombinerer klangen fra en cello med et blæseinstruments ekspressivitet.
Automatic Music Transcription
AI-teknikker der kan analysere lydoptagelser af musik og automatisk konvertere dem til nodeskrift eller andre former for musikalsk notation. Dette gør det muligt at omdanne indspillet musik til redigerbare partiturer.
Eksempel: En musiker kan optage en improvisation på guitar, og AI'en kan transskribere den til præcise noder, akkorder og rytmeangivelser, som derefter kan redigeres i et nodeskrivningsprogram.
Audio Style Transfer
En teknik hvor AI anvender de akustiske egenskaber fra én lydkilde til en anden, ligesom neural style transfer for billeder. Dette kan bruges til at få én lydkilde til at lyde som om den er produceret eller spillet i stilen af en anden.
Eksempel: En indspilning af en guitarsolist kan transformeres til at lyde, som om den blev spillet af en saxofon, mens den originale melodi og udtryk bevares.
Audio Inpainting
En proces hvor AI udfylder manglende eller beskadigede dele af en lydoptagelse baseret på den omkringliggende lydkontekst. Denne teknik er især nyttig til restaurering af historiske optagelser eller til at fjerne uønskede lyde.
Eksempel: I en gammel jazzoptagelse med et tydeligt klik eller støj kan audio inpainting fjerne det forstyrrende element og rekonstruere den manglende del af musikken på en naturlig måde.
Music Information Retrieval (MIR)
Et forskningsfelt der bruger AI til at analysere, kategorisere og forstå musikindhold. MIR-systemer kan identificere genre, tempo, instrumenter, stemninger og andre musikalske egenskaber i lydoptagelser.
Eksempel: Musikstreamingtjenester bruger MIR til automatisk at tagge sange med genrer, stemninger og instrumenter, så de kan skabe bedre anbefalinger og playlister til brugerne.
AI Vocal Separation
Teknikker der bruger AI til at adskille forskellige lydkilder i en blandet lydoptagelse, især til at isolere vokaler fra instrumenter eller adskille forskellige instrumenter fra hinanden i en færdig mix.
Eksempel: En producent kan bruge AI vocal separation til at isolere vokalsporet fra en færdig sang for at skabe et remix eller for at redigere vokalen separat fra resten af musikken.
Generative Music Systems
AI-systemer der kan skabe kontinuerlig og ofte uendelig musik, der følger bestemte regler eller stilarter, men som konstant udvikler sig og sjældent gentager sig selv. Disse systemer kan reagere på brugerinput eller andre parametre i realtid.
Eksempel: Et videospil kan bruge et generativt musiksystem, der dynamisk tilpasser lydlandskabet baseret på spillerens handlinger, så musikken bliver mere intens under kampe og mere rolig under udforskning.