Na rynku jest już dostępnych wiele opartych na sztucznej inteligencji generatorów umożliwiających tworzenie filmów na podstawie opisów tekstowych. Popularność zdobyły m.in. takie programy, jak Sora firmy OpenAI, Runway Gen-3 Alpha czy Dream Machine firmy Luma AI. Tworzą one już całkiem zaawansowane klipy, ale żaden z nich nie był w stanie wygenerować przyzwoitego soundtracku do filmu. Udało się tego jednak dokonać nowemu narzędziu zbudowanemu przez koncern Alphabet na potrzeby generatora DeepMind AI. Narzędzie to tworzy muzykę pasującą do danego filmu.
„Dzisiaj osiągamy postęp w naszej technologii video-do-audio (V2A), która umożliwia zschynchronizowaną generację audiowizualną. (...) V2A łączy piksele video z tekstem w języku naturalnym i tworzy bogate soundtracki dla akcji, którą widzimy na ekranie. Może również generować je dla tradycyjnych zapisów filmowych, w tym dla materiałów archiwalnych i filmów niemych” – głosi komunikat Alphabetu.
Technologia jest obecnie jednak we wczesnym stadium rozwoju. Kilka kwestii trzeba w niej jeszcze dopracować. Jakość muzyki generowanej przez to narzędzie jest mocno zależna od jakości dostarczonego filmu i trzeba popracować nad koordynacją dźwięku z ruchem ust. HK
