Sprechende Gemälde von TimeLeapVR

Hintergrund

Museen suchen dringend neue Vermittlungsangebote, um den sich ändernden Ansprüchen ihrer Besucher gerecht zu werden. Ein besonderer Fokus liegt dabei auf der Digitalisierung der Museumsangebote sowie dem Angebot neuartiger, interaktiver Erlebnisse im Museum.

videoreality GmbH entwickelt mit ihrer Marke TimeLeapVR ein Produkt, das mit einer multimodalen KI u.a. Kunstgemälde mit Personendarstellungen in Museen und Ausstellungshäusern zum Leben erweckt. Diese innovative Lösung ermöglicht es Besuchern, direkt mit den Figuren der Gemälde in Dialog zu treten und zu interagieren, wodurch ein inklusiverer Zugang zur Kunst geschaffen und ein neues Level der kulturellen Erfahrung erreicht wird. Das Produkt kann im Vergleich zu herkömmlichen digitalen, interaktiven Museumsangeboten erheblich günstiger produziert werden und bietet dennoch einen höheren Erlebniswert.

Mit unserer Marke TimeLeapVR haben wir uns zum Ziel gesetzt, durch den Einsatz von innovativen Technologien (u.a. VR, AR) und Storytelling für eine breite Zielgruppe einen persönlichen Zugang zu Wissen und Kultur zu schaffen und somit Museen im digitalen Wandel und bei der Verbreitung von Kulturerbe zu unterstützen. Diesem Ziel sind wir in den vergangenen Jahren u.a. mit der erfolgreichen Umsetzung von diversen VR-Experiences für zahlreiche renommierte Museen nachgekommen.

Digitale Innovation und Technologie

Das Projekt „Sprechende Gemälde“ zielt darauf ab, KI-gesteuerte, digitale Charaktere zu entwickeln, die auf einem Bildschirm in Echtzeit auf Besucher reagieren. Das daraus entstehende Produkt besteht konkret aus der kombinierten Hardware- und Softwarelösung:

Erstens aus einem in Gemäldeoptik umrahmten Monitor mit Kamera, Mikrofon, Lautsprecher und Recheneinheit. Auf dem Monitor wird z.B. ein historisches Gemälde mit einer oder mehreren Personen dargestellt, über die Lautsprecher ist die Stimme der Personen zu hören.

Zweitens aus einer Software: Durch die Kombination aus Computer Vision, Natural Language Processing (mittels LLMs), und KI-unterstützter Animationstechnik, erwachen die Figuren in den Gemälden zum Leben. Im Gegensatz zum statischen Gemälde, sind die Personen auf dem Monitor animiert, sie bewegen sich also auf realistische Weise und sprechen mit den Betrachtern. Computer Vision ermöglicht es den Figuren, Mimik und Gestik der Betrachter zu erkennen, auf sie einzugehen und fundierte, individuelle, charaktergetreue Gespräche zu führen.

Jede dargestellte Person hat einen eigenen Charakter und individuelles Wissen, sodass sie in einem natürlichen Gespräch beispielsweise Fragen zu ihren historischen Persönlichkeiten oder ihrer Epoche beantworten können. Kurz gesagt: Die gemalten Figuren werden lebendig. Da die Dialogoptionen nicht gescripted sind, sondern sich aus den individuellen Charakterrollen und Wissen stets neu ergeben, ist jedes Gespräch individuell und einzigartig.

Neue Wege der Vermittlung in Museen

Die Technologie bietet eine einzigartige Möglichkeit, kulturelles Erbe in Museen und Ausstellungshäusern auf innovative Weise zu präsentieren. Sie fördert das Engagement und die Bildung der Besucher, insbesondere jüngerer Generationen, und verleiht den Ausstellungen eine neue Dimension der Interaktivität. Neben Gemälden können auch Fotografien oder andere künstlerische Darstellungen bekannter Persönlichkeiten auf diese Weise lebendig gemacht werden.

Gefördert durch