Alibaba bringt Wan-Animate-2 für Live-Streams
Alibaba hat das Open-Source-Modell Wan-Animate-2 für Echtzeit-Charakteranimation veröffentlicht. Die Software verzichtet auf 2D-Skelette als Zwischenschritte und verarbeitet Videos direkt in einem Diffusion Transformer. Nutzer können die Kameraperspektive erstmals über einfache Textbefehle steuern.
Eine spezielle Lite-Version ermöglicht flüssiges Live-Streaming mit 24 Bildern pro Sekunde. X/Twitter | Alibaba_Wan GitHub | Wan-Animate-2 ModelScope | Wan2.2-Animate-2-14B HuggingFace | Wan2.2-Animate-2-14B Alibaba hat das Open-Source-Modell Wan-Animate-2 veröffentlicht. Es animiert Charaktere anhand von Referenzvideos in Echtzeit und verzichtet auf die sonst üblichen Zwischenschritte bei der Bewegungserfassung.
Twitter Beitrag - Cookies links unten aktivieren. Introducing Wan-Animate-2.A major upgrade to our open-source character animation model with: • High Fidelity Character Animation• Multi-Character Animation• Text-Controlled Camera Viewpoint• Real-Time Streaming Generation Weights, demos, and docs 👇 pic.twitter.com/UhBfJ6ZbvR — Wan (@Alibaba_Wan) August 11, 2026 Direkte Verarbeitung im Modell Bisherige Methoden nutzen oft Hilfsnetzwerke, um aus einem Quellvideo ein 2D-Skelett zu extrahieren. Bei abweichenden Körperproportionen zwischen Vorlage und Zielbild führt das jedoch schnell zu Fehlern.
Komprimiert man die Bewegungen stattdessen, geht häufig die subtile Mimik verloren. Alibaba wählt mit Wan-Animate-2 einen anderen Weg. Das Modell verarbeitet das Referenzvideo in einem sogenannten Dual-Branch Diffusion Transformer und speist die Bewegungsinformationen ohne Umwege in den Generierungsprozess ein.
Der Referenz-Zweig arbeitet dabei unabhängig. Damit die zeitliche Abfolge exakt übereinstimmt, synchronisiert eine spezielle Kodierung die Positionen der einzelnen Frames. + Quelle: Alibaba Kameraperspektive per Textbefehl Ein weiteres Problem bisheriger Animationsmodelle: Die finale Kameraansicht ist meist starr an das originale Quellvideo gebunden. Wan-Animate-2 entkoppelt diese Ebenen durch ein Viewpoint LoRA.
Alibaba hat dafür vorab einen synthetischen Datensatz mit der Unreal Engine erstellt, der 48 verschiedene Blickwinkel abdeckt. Nutzer passen die Kamera nun über englische Textprompts an. Befehle wie »Top View« oder »Right 60-degree View« verändern den Blickwinkel auf die Szene.
Die manuelle Eingabe von numerischen Kameraparametern entfällt komplett. Anzeige Live-Streaming und Hardware-Bedarf Für den Einsatz bei digitalen Avataren oder Live-Streams bietet das Unternehmen mit Wan-Animate-2-Lite eine eigene Variante an. Dieses Modell generiert die Videos autoregressiv in Blöcken von jeweils acht Frames.
Bei solchen sequenziellen Berechnungen addieren sich normalerweise kleine Darstellungsfehler über die Zeit auf, bis das Video unbrauchbar wird. Das Tongyi Lab löst dieses Problem über einen Error Buffer beim Training. Das Modell lernt dabei, eigene Vorhersagefehler auszugleichen.
Die Darstellungsqualität bleibt so auch bei langen Sequenzen erhalten. Die Modellgewichte für die 14-Milliarden-Parameter-Varianten stehen über Plattformen wie HuggingFace frei zur Verfügung. Die Hardware-Anforderungen variieren je nach Setup: 720p-Ausgabe (Base-Modell): Acht A800-GPUs empfohlen.
480p-Ausgabe (Base-Modell): Zwei A800-GPUs empfohlen. Echtzeit-Streaming (Lite-Modell): 24 Bilder pro Sekunde bei 720 x 480 Pixeln auf einem Server-Setup mit vier H100-GPUs. In internen Blindstudien trat das System bereits gegen proprietäre Konkurrenz an.
Bei der Bewegungsqualität und der Charaktererhaltung übertraf das Open-Source-Modell laut Alibaba in Befragungen kommerzielle Angebote wie Dreamina von ByteDance.