„Finde den Stuhl“: Wie Maschinen Kunstgeschichte lernen

Pressemeldung der Universität Passau vom 08.12.2018

Menschen wissen intuitiv, was ein Stuhl ist. Sie haben von klein auf viele Beispiele gesehen und anhand dieser Beispiele gelernt, was einen Stuhl ausmacht: Beine, Sitzfläche, Lehne. Diese Merkmale haben sie so verinnerlicht, dass sie einen Stuhl nicht mehr in seine einzelnen Bestandteile zerlegen müssen, um zu wissen: „Das ist ein Stuhl“. Menschen besitzen die Fähigkeit zum Deep Learning – ein Begriff, der häufig in Zusammenhang mit künstlicher Intelligenz fällt. Im Projekt Neoclassica bringt ein Team aus Informatikern, einer Informatikerin und einem Historiker Maschinen bei, klassizistische Möbel auf Abbildungen zu erkennen. Sie nutzen dafür neuronale Netze, die Google bereits vortrainiert hat.

Simon Donig ist Historiker und interessiert sich für klassizistische Möbel. Donig hat sich über mehrere Jahre hinweg Expertenwissen angeeignet. Er weiß noch ein bisschen mehr als ein durchschnittlicher Mensch über bestimmte Stühle, kann deren Merkmale und Eigenheiten bestimmten Epochen zuordnen. Zum Beispiel weiß er, dass ein klassizistischer Stuhl in seiner Formsprache auf die Antike zurückgreift. Diese ist schlichter, geradliniger und geometrischer als jene eines barocken Stuhls und weist weniger florale Verzierungen auf. Hier gibt er dieses Wissen an eine Maschine weiter.

Damit die Maschine den Historiker versteht, braucht es die Vermittlung aus der Informatik. Das Team am Passauer Lehrstuhl für Informatik mit Schwerpunkt Digital Libraries and Web Information Systems hat unter der Leitung von Siegfried Handschuh im Projekt Neoclassica den Editor aufgebaut, mit dessen Hilfe der Historiker Donig der Maschine die klassizistische Formsprache beibringen kann. Die Informatikerin Maria Christoforaki hat das Wissen des Historikers modelliert und in eine Form gebracht, die Maschinen verstehen können. Gemeinsam haben sie eine Ontologie aufgebaut, eine Art Wörterbuch für einen Computer.

Die Passauer Ontologie basiert auf dem CIDOC Conceptual Reference Model, das viele Museen weltweit zur Dokumentation des kulturellen Erbes nutzen. Es handelt sich dabei um eine Norm (ISO 21127:2014) für den kontrollierten Austausch von Informationen im Bereich des kulturellen Erbes. Dies soll sicherstellen, dass auch andere Forschende die mit der Neoclassica Ontologie annotierten Daten nutzen können.

Historische Definitionen „füttern“ künstliche Intelligenz

„In dieser Ontologie findet sich die Handschrift von Simon Donig. Und dessen Rechercheleistung“, sagt Prof. Dr. Handschuh, assoziierter Professor an der Universität Passau und Ordinarius für Data Science an der Universität St. Gallen. Donig hat Primärquellen recherchiert, darunter etwa das „Cabinet Dictionary“ aus dem Jahr 1803, in dem der englische Möbelhersteller Thomas Sheraton inspirierende Abbildungen von Stühlen zusammengetragen hat. Darin wiederum taucht der Begriff fauteuil – Armlehnstuhl – auf und wird wie folgt definiert: „Fauteuil, from the French, signifies a large chair.“ Diese Definition findet sich nun auch in der Passauer Ontologie und infolgedessen im CIDOC. Die Ontologie modelliert also das Fachwissen und macht dieses dem Computer zugänglich. Sie ist allerdings nur ein Teil der künstlichen Intelligenz, die das Passauer Team nutzt. Die zweite Komponente ist ein intelligentes, lernfähiges System, ein künstliches neuronales Netz. Dieses identifiziert und klassifiziert die eingespeisten Abbildungen.

Deep Learning funktioniert bei der Maschine ähnlich wie beim menschlichen Gehirn: das künstliche neuronale Netz identifiziert in den verschiedenen Schichten bestimmte Merkmale und gibt diese an die jeweils tiefer liegende Schicht weiter. Es kann die Merkmale auf das Wesentliche reduzieren und generalisieren. Anhand dieses Wissens kann es die Wahrscheinlichkeit berechnen, ob es sich bei einer bislang nicht bekannten Abbildung ebenfalls um einen Stuhl handelt.

Nun ist es zwar so, dass das Team um Neoclassica viele Abbildungen klassizistischer Möbelstücke zusammengetragen hat – insgesamt 1246 Dateien aus namhaften Museen wie dem New Yorker Museum of Modern Art, dem Amsterdamer Rijksmuseum oder der Eremitage in Sankt Petersburg. Allerdings sind das zu wenig, um das Netz erfolgreich trainieren zu können. Für ein Trainingsbeispiel haben sie bisweilen nur fünf bis 20 Abbildungen zur Verfügung. Üblich sind 100 bis 1000.

Um die Treffsicherheit zu verbessern, bedient sich das Forschungsteam in Neoclassica daher eines Tricks: Es setzt auf die Vorarbeit von Google, das das neuronale Netz bereits auf Alltagswissen trainiert hat. Die künstliche Intelligenz kennt also bereits das Konzept Stuhl und erkennt Stühle auf Abbildungen. Klassizistische Objekte hingegen kennt das vortrainierte Google-Netzwerk noch nicht, stattdessen ordnet es die Formen Gegenständen aus unserem heutigen Alltag zu. Einem Laptop, zum Beispiel. Oder einer Mikrowelle. Trainiert mit dem Wissen des Historikers Donig aber schafft es das Netz, klassizistische Möbelstücke selbst auf bislang nicht bekannten Abbildungen mit hoher Zuverlässigkeit zu erkennen. Für den Internet-Giganten Google, der sich auf die Digitalisierung unseres Alltags spezialisiert hat, ist solches Wissen uninteressant. Den Historiker hingegen bringen die neuen Instrumente ins Schwärmen: Sie könnten Expertinnen und Experten aus dem Bereich der Kunstgeschichte ganz neue Chancen eröffnen.

Das Projekt wird vom Bundesministerium für Bildung und Forschung im Rahmen des Passauer Centre for eHumanities (PACE) gefördert. (Katrina Jordan)

Externer Link: www.uni-passau.de