Kultur und KI – die ArtfactsCloud

Bei »Coding da Vinci«, dem ersten deutschen Hackathon für offene Kulturdaten, entwickeln Hacker*innen innovative Anwendungen für digitales Kulturerbe. 2017 entstand die Anwendung »ArtfactsCloud« – hier berichten die Entwickler*innen, wie es dazu kam!

Das Team von Fabular.ai (v.l.): Nina Hentschel, Dr. Leonardo de Araújo und Hanna Blonska.

Als wir im Oktober 2017 die Hochschule für Technik und Wirtschaft (HTW) Berlin betraten, wussten wir nicht genau was uns erwartete:

Der Hackathon »Coding da Vinci« für die experimentelle Untersuchung von Kulturdatensätzen wurde erst zum zweiten Mal veranstaltet! Beim Kick-Off Event lernten wir – Leonardo de Araújo (IT-Entwickler) und Nina Hentschel (Architektin & Weltkulturerbe-Managerin) – uns kennen und entschieden uns, zusammen ein Projekt zu entwickeln. 35.000 Metadatensätze, 70.000 Bilddateien und 6 Wochen später war ein Chatbot entwickelt, der die Schicksale jüdischer und anderer verfolgter Kinder im Berlin der 1930er und 1940er Jahre dem Nutzer näherbrachte. Als Basis dienten uns die digitalisierten Karteikarten der Reichsvereinigung der Juden zu Berlin der Arolsen Archives und die von Leonardo de Araújo im Zuge seiner Doktorarbeit in Medientechnik an der Universität Bremen entwickelte Software-Plattform »ArtfactsCloud«.

Begeistert von der einfachen Bedienbarkeit auch für Technik-Laien und den innovativen Möglichkeiten, die sich durch die eingebauten und verknüpften Künstlichen Intelligenzen (KI) für digitale Sammlungen von Kulturinstitutionen ergaben, beschlossen wir zusammen mit Hanna Blonska (Webdesignerin) die »ArtfactsCloud« auf die nächste Ebene zu heben. Hierfür wurden wir vom Bundesministerium für Wirtschaft und Energie mit dem EXIST-Gründerstipendium unterstützt. Während der einjährigen Laufzeit des Stipendiums hatten wir nicht nur unsere Firma Fabular.ai gegründet, sondern hatten vor allem auch das Ziel vor Augen die »ArtfactsCloud« konzeptionell weiterzuentwickeln und sie, durch ein Pilotprojekt, genau auf die Bedürfnisse und Wünsche der Kulturinstitutionen anzupassen.

Über die Vermittlung von Dr. Tabea Golgath (Referentin für Museen und Kunst: Programmkoordinatorin »LINK – KI in Kunst und Kultur« der Stiftung Niedersachsen) kam der Kontakt zum Landesmuseum Hannover zustande, welches passenderweise zur gleichen Zeit nach neuen Möglichkeiten der Datenbearbeitung durch Künstliche Intelligenz suchte. So begann die Zusammenarbeit im Juli 2019 mit einer Brainstorming-Session beider Projektpartner, wobei insbesondere die Sammlungsabteilung und die Kurator*innen des Landesmuseums Hannover sehr interessiert und aktiv an dem Diskurs teilnahmen.
Das Landesmuseum Hannover besitzt mit seiner enorm großen Sammlung von verschiedensten Objekten eine komplexe Datenlage von ca. 11.700 digitalisierten Sammlungsobjekten (Stand Juli 2019), bestehend aus Metadatensätzen und den dazugehörigen Bildern.

Zunächst haben wir eine Datenerweiterung durch Wikidata (Wikimedia Deutschland e.V.) unternommen, um die große Menge an Daten des Landesmuseums gewinnbringend inhaltlich zu ordnen und miteinander verknüpfen zu können. Im Fokus dieser Datenerweiterung lagen vor allem die Angleichung von kalendarischen Zeitangaben, Geokoordinaten und Terminologie durch verschiedene Thesauri (wissenschaftliche Wortschatzsammlungen), passend zu den digitalen Sammlungsobjekten des Landesmuseums. Der Vorteil dieser erweiterten und angeglichenen Daten liegt darin, dass nun die »ArtfactsCloud«, bzw. die in ihr eingebaute Künstliche Intelligenz, die Objekte besser erkennen, analysieren und darüber hinaus verbinden kann. So kann die »ArtfactsCloud« durch Textanalyse der Objektbeschreibungen inhaltliche Verknüpfungen der Objekte erkennen.

Die Wissensnetzwerk-Karte (erstellt von den Künstlichen Intelligenzen der »ArtfactsCloud«) zeigt alle 11.700 digitalen Objekte des LMH und ihre inhaltlichen Verbindungen zueinander auf.Dargestellt werden diese in sogenannten Wissensnetzwerk-Karten. Sie zeigen Objekt-Cluster, also Objekte mit ähnlichen Eigenschaften oder engen inhaltlichen Verbindungen (wie z.B. Künstler*innen und Gemälde), aber auch die Relationen zu gar nicht verwandten oder weiter entfernten Objekten (z.B. Freundschaften zwischen Künstler*innen oder Zugehörigkeit in einem geographischen Gebiet). Die von der »ArtfactsCloud« erkannten und beschriebenen Zusammenhänge können aber auch fachübergreifend sein und so beispielsweise Objekte der Archäologie, Naturwissenschaften und Numismatik miteinander verknüpfen, wenn diese das gleiche Thema bespielen, die gleichen Zeitzeugen oder Materialien besitzen.

Neben der Textanalyse beinhaltet das Programm auch eine Bilderkennungssoftware, mit welcher die Objektfotos automatisch auf Basis der ersichtlichen Klassifikations-Übereinstimmung geordnet werden können. Im Falle der ethnologischen Sammlung des Landesmuseums kann man zum Beispiel sehen, wie sich die Gegenstände optisch gruppieren. Hieraus können Rückschlüsse auf Herkunft und Verwendung oder auch auf Handelsbeziehungen gezogen werden.

Durch diese umfassende Analyse der Objektdaten können Kurator*innen und wissenschaftliche Mitarbeiter*innen, aber auch Öffentlichkeits- und Social-Media-Beauftragte die hauseigene digitale Sammlung schneller durchsuchen und mit dieser arbeiten, um immer wieder neue interessante Aspekte aufzubereiten und zu veröffentlichen.

Zeitachse und geographische Karte (erstellt von der »ArtfactsCloud« mit der digitalen Sammlung des Landesmuseums Hannover) zum Stichwort »langes, scharfes Objekt«.In Zeitachsen und geographischen Karten können ausgewählte Objekte nun mit wenigen Klicks geschichtlich verortet und ihre zeitlichen Zusammenhänge publiziert werden. Sonst per Hand erarbeitet, könnte das Landesmuseum Hannover nun zum Beispiel mit der Eingabe der Stichwörter »langes scharfes Objekt« innerhalb von Sekunden alle sich in der digitalen Sammlung befindlichen Schwerter örtlich und zeitlich in einer Visualisierung auf ihrer Webseite, in den Social-Media-Kanälen oder in der Ausstellung präsentieren.

Das Pilotprojekt zwischen Fabular.ai und dem Landesmuseum Hannover zeigt eindeutig, dass KI-unterstütze Datenanalyse tiefe und vor allem neue Erkenntnisse in die eigenen digitalen Sammlungen geben kann. Diese ermöglicht ein deutlich einfacheres Handling von großen Datenmengen bei fachgebietsübergreifendem Arbeiten.

Eine weitere Zusammenarbeit zwischen dem Landesmuseum Hannover und Fabular auf Basis des Datenaustausches und Wissentransfers ist innerhalb des nächsten Jahrs angedacht.