Singende Second Life Avatare mit Wombo AI

Die Wombo App / Quelle: wombo.ai

Bei Wombo AI handelt es sich um eine weitere Deepfake-App für Smartphones und Tablets. Deepfake nennt man Medienmanipulationen, bei denen eine Künstliche Intelligenz (englisch AI) eine verfälschte Darstellung der Realität erzeugt (eben ein Fake).

Etwas Ähnliches hatte ich schon vor drei Wochen mit der Webseite von "MyHeritage Deep Nostalgia" hier vorgestellt. Jetzt wurde ich durch diesen Thread im SL‑Forum auf Wombo AI aufmerksam.

Das Prinzip ist einfach. Die App auf ein Android- oder iOS-Gerät herunterladen, starten und ein Porträtfoto auswählen. Das geht sowohl mit einem RL-Selfie über die eingebaute Kamera als auch über ein Foto, das man bereits gespeichert hat. Und eben auch mit Avatar-Fotos. Danach kann man noch einen von 17 verfügbaren Songs auswählen, von denen dann etwa 15 bis 30 Sekunden für die Animation verwendet werden.

Das Foto sollte nur den Kopf zeigen. Einige empfehlen auch, den Hals möglichst nicht mit auf dem Foto zu haben, aber bei meinen Beispielen unten ging es auch mit Hals ganz gut. Eine andere Empfehlung lautet, den Mund auf dem Vorlagefoto leicht geöffnet zu haben. Damit erkennt die KI besser die genaue Position des Mundes.

Von den SL-Avataren, die im erwähnten Thread ihre Ergebnisse zeigen, finde ich die von Fritigern Gothly ziemlich gelungen. Sie hat bereits mehrere Videos erstellt. Hier ein Beispiel von ihr:



Da ich bei den Videos gesehen habe, dass Teile des Hintergrunds zusammen mit dem Kopf animiert werden, was dann für Artefakte sorgt, habe ich mein Foto mit einem einfarbigen Hintergrund erstellt. Damit scheint es ganz gut zu funktionieren.

Als Foto habe ich ein JPG mit 1024x1024 Pixel verwendet. Das Video wird jedoch auf 256x256 Pixel heruntergerechnet (bei der kostenlosen App). Die Aufnahme habe ich mit dem Windlight "Annan Adored: Optimal Skin" erstellt. Damit werden störende Schatten auf dem Gesicht vermieden. Man kann natürlich auch andere Windlights verwenden, die für optimale Skin-Darstellung geeignet sind.

Hier nun meine beiden Videos mit dem Skyler-Kopf von LeLutka. Als Songs habe ich "I feel good" und "YMCA" gewählt (Letzteres musste einfach sein bei diesem Mesh-Kopf^^).

Die fertigen Ergebnisse lassen sich übrigens in der Wombo-App auf dem Smartphone oder Tablet im MP4-Format abspeichern. Dieses Format kann man unverändert auf YouTube hochladen und auch meine Blogger Software zeigt sie im eigenen Player an.

Links:

• WOMBO AI Homepage
• Wombo Download für Android
• Wombo Download für iOS
• [SL Forum] - Wombo.ai
• [MIXED] - Wombo.ai: Neue Deepfake-App lässt eure Fotos singen