Die Vertonung von Cyberpunk 2077 soll stets lippensynchron sein, auch wenn ihr zum Beispiel auf Deutsch statt auf Englisch spielt. Wer aber erwartet, dass dafür Schauspieler in einem aufwendigen Motion-Capture-Verfahren vor das Mikrofon gestellt wurden, der wird leider enttäuscht. City Projekt Red hat keine Schauspieler, sondern auf einer KI basierende Technik (Jali Research Inc.) verwendet. Diese KI generiert die Gesichtsbewegungen der Charakter prozedural.
Wie das Ganze funktioniert, zeigt euch dieses 19-Minuten-Video:
KI kann sogar Emotionen aus der Stimme herauslesen
Der Entwickler entschied sich für diese neue Methode, weil Animationsarbeiten für insgesamt elf verschiedene Sprachen zu kosten- und zeitintensiv gewesen wären. Gleichzeitig wollte man aber ein besseres Endergebnis erreichen als bei „The Witcher 3: Wild Hunt“.
Das Ergebnis ist, dass die einzelnen Sprachen nicht einfach nur synchronisiert werden. Der Charakter soll die Worte tatsächlich glaubwürdig artikulieren können, was wir vor allem an den Mundbewegungen erkennen. Laut Entwickler wollte man genau das aber nicht, denn eine Lippensynchronisation wird nur erkannt, wenn sie falsch ist. Macht man hingegen alles richtig, soll dies so gut wie nicht auffallen.
Ebenfalls ist die KI dazu in der Lage, Emotionen aus der Stimme herauszulesen und dann das Gesicht entsprechend anzupassen. Sie benötigt dafür nur Schlagwörter, eine Tonaufnahme und ein Transkript. Diese drei Elemente analysiert sie, um die Tonhöhenänderung, das Timing und die Lautstärke zu erkennen. Die KI passt dann nicht nur die Position von Lippen, Zunge und Kiefer an, sondern auch die Bewegungen der Augen, Brauen, Lieder und des Genicks. Wenn diese Parameter dann alle stimmen, kann die KI eine lippensynchrone Animation mit akkuraten Emotionen wiederspiegeln.
Lebensecht wiedergegebene Sprache
In Cyberpunk 2077 können die Charaktere mithilfe dieser Technik nicht nur Englisch, sondern auch andere Sprachen akkurat und nahezu lebensecht wiedergeben.
Diese Sprachen kann die KI wiedergeben:
- Deutsch
- Französisch
- Italienisch
- Spanisch
- Japanisch
- Koreanisch
- Polnisch
- Portugiesisch (Brasilien)
- Russisch
- Vereinfachtes Chinesisch
Soll der Charakter in Cyberpunk 2077 mehrere Sprachen sprechen und in den Sätzen sogar wechseln, nutzt die KI Tags, die innerhalb des Transkripts kennzeichnen, welche Sprache gerade gesprochen wird.
Ab 19. November können wir uns überzeugen, ob das System wirklich hält, was es verspricht, denn dann erscheint „Cyberpunk 2077“ für PC, PS4 und Xbox One. Next-Gen-Upgrades für die PS5 und Xbox Series X/S folgen später.
Kommentar hinterlassen