Madonna nutzt Text-to-Video-KI für Konzert-Visualisierungen

Digitale Tools | 31/03/2024

Wofür können wir KI in der Eventindustrie einsetzen? Madonna gibt einen Vorgeschmack auf das, was unter anderem heute schon möglich ist und nutzt eine KI für Text-to-Video, um damit Videosequenzen für Bühnenbilder ihrer aktuellen Tour zu produzieren.

"La Isla Bonita" – bewegte Bilder mit wirbelnden Wolken

Für ihren 80er Hit "La Isla Bonita" nutzte Madonna bisher konventionellere Computergrafiken, um eine tropische Stimmung in dem Hintergrundvideo zu erzeugen. Nun stieg die Pop-Ikone auf KI um und nutzt ein Text-to-Video-Tool, um auf den riesigen Bildschirmen hinter ihr bewegte Bilder von wirbelnden, in den Sonnenuntergang getauchten Wolken einzublenden.

Bei einem Text-to-Video-Tool gibt man Wörter wie beispielsweise "surrealer Wolken-Sonnenuntergang" oder "Wasserfall im Dschungel bei Sonnenaufgang" und lässt die KI ein dazu passendes Video erstellen.

Um das Material zu erstellen, haben die Produzenten von Madonnas Show zunächst ein paar Dinge in Runway ausprobiert. Z.B. verschiedene Text-zu-Video-Aufforderungen wie "surrealer Sonnenuntergang, Wolken". So erhielten sie schnell eine Auswahl an Optionen und konnten sich auf eine stilistische Richtung festlegen. Sobald sie eine Vorstellung von der kreativen Richtung hatten, übertrug Gen-1 die Stile auf bestehende Videos.

Interessant daran ist, dass die Eingangsvideos nichts mit Wolken zu tun hatten. Stattdessen waren es Videos von Wasser, Tunneln, fliegenden Tieren oder Nebeln. Alles Dinge, die wirklich viel Bewegung und Kontrast hatten. Anschließend haben sie diese Videos anhand eines Referenzbildes in Wolken verwandelt.

Schau dir das Video vom Konzertausschnitt an.

"Take a Bow" – Videosequenzen in surrealen Welten

Auch für den Song "Take a Bow" nutzten Madonna und ihr kreatives Team eine Text-to-Video-KI.

Hierfür begannen die Kreativen mit der Erstellung von Basisbildern mit Text-to-Bild und kreierten sowohl die greifbare Welt als auch ein jenseitiges, heiliges Reich repräsentiert, das durch die Türen auf der Leinwand zu erkennen ist. Das Publikum sollte auf eine Entdeckungsreise in die Unendlichkeit mitgenommen werden. Anschließend haben sie die generierten Bilder mithilfe von Gen-2 in Videos umgewandelt.

Text-to-Video KI erzeugt surreale Welten

Schau dir dieses Video vom Konzert an.

Das genutzte KI-Tool runway Gen-2

Für die Animationen nutzte Madonna, besser gesagt ihr Content Director Sasha Kasiuha, das KI-Tool "Gen-2" von runway.

Facts about runway Gen-2:

Gen-2 ist ein Text-to-Video-Tool von runway.
Wer ein Video-to-Video sucht, kann sich mal Gen-1 anschauen.
Du kannst auf Runway-Web als auch über dein Smartphone auf Gen-2 zugreifen.
Runway-Nutzer behalten das volle Eigentum an ihren Videos, d.h. du kannst die Ergebnisse auch kommerziell nutzen.
Gen-2 gibt's kostenfrei und in unterschiedlichen Gen-2-Monatsplänen.

Auch du kannst runways Gen-2 nutzen und ausprobieren. In der kostenfreien Variante ist enthalten:

Gen-1 (Video-to-Video) bis zu 4 Sekunden
Gen-2 (Text-to-Video) bis zu 16 Sekunden über Extend Video
3 Videoprojekte
5 GB Assets
Video-Editor exportiert in 720p

Schritt 1 - Gib einen Prompt ein

Probier's aus. Erstelle einen originellen Text oder beginne mit dem Schreiben und lass' dich von den automatischen Vorschlägen von Gen-2 inspirieren.

Schritt 2 - Verfeinere das Ergebnis

Verwende die erweiterten Einstellungen im Web, um deine Kreationen zu verfeinern. Speicher die Seed-Nummer für künftige Generationen, aktiviere die Hochskalierung für eine bessere Videoauflösung oder verwende die Interpolation zur Glättung von Bildern.

Schritt 3 - Generiere das Video

Sobald du die Einstellungen festgelegt hast, klicke auf "generate this" und du erhältst eine individuelle Gen-2-Kreation. Diese kannst du auf deinen Rechner herunterladen oder sie zur späteren Verwendung in deinen Runway-Assets speichern.

Mehr Anleitungen findest du u.a. auf dem YouTube-Kanal der Runway Academy.

Quellen und mehr dazu: