Epistemische Rückseite instrumenteller Bilder
Principal Investigator: Sigrid Weigel (ZfL)
Associated Investigator: Stefan Zachow (ZIB)
Assoziiertes Mitglied: Margarete Vöhringer (Universität Göttingen)
Promovierende: Martin Grewe (ZIB), Lisa Schreiber (ZfL)
Mitarbeitende für Gestaltung: Lena Galitsch (ZfL), Moritz Wehrmann (ZfL)
Bild Wissen Gestaltung. Ein Interdisziplinäres Labor
Komplexe Probleme lassen sich nicht in den Grenzen eines einzelnen wissenschaftlichen Fachs lösen. Sie bedürfen des Wissens und der Fähigkeiten von Forscher/innen aus unterschiedlichen Wissenschaftsbereichen, die sich in einem Cluster zusammenfinden. Hierdurch sollen im Rückschluss auch die Disziplinen selbst gestärkt und bereichert werden. Das Interdisziplinäre Labor Bild Wissen Gestaltung war ein solcher Zusammenschluss aus Geistes-, Natur- und Technikwissenschaften, der Medizin und – für Grundlagenforschung erstmalig – auch der Gestaltungsdisziplinen Design und Architektur. Mehr als 25 verschiedene Disziplinen erforschten im Interdisziplinären Labor grundlegende Gestaltungsprozesse der Wissenschaften.
Epistemische Rückseite instrumenteller Bilder (Basisprojekt)
Das Basisprojekt untersuchte instrumentelle Bilder – Bilder, die von menschlichen Akteuren in Grundlagenforschung, Therapie und medizinischer Praxis als Instrumente genutzt werden – im Hinblick auf das auf ihrer ›Rückseite‹ verborgene, aus der Praxis ausgeblendete Wissen, wie z.B. ungesicherte Konzepte und offene Forschungsfragen aus deren Genese. Gegenstand waren Bilder von Gesicht und Hand. In zwei wissenschafts- und bildgeschichtlichen Teilprojekten wurden mit Blick auf den Wechsel zwischen Zeichnung, Schema und digitalen Bildern Bilder (1) der Handchirurgie (Kultur-, Medizin- und Bildgeschichte der Hand) und (2) der psychologischen Ausdrucksforschung (Medien- und Wissenschaftsgeschichte des FACS) erforscht. In einem empirischen Teilprojekt wurde (3) der Aufbau einer Gesichtsdatenbank (Mimik-Archiv auf Grundlage dreidimensionaler digitaler Bilder der Gesichtsmorphologie) durch die Arbeit am Zusammenhang von Bildtechnik, Deutungsmustern und den epistemischen Problemen des Mimik-Codes begleitet zur Geschichte des FACS und seiner Kritik in Bezug gesetzt. Ziel war ein digitaler Mimik-Atlas jenseits der Codierung, in den die erarbeiteten Erkenntnisse einfließen.
Teilprojekte
Instrumentelle Bilder der Handchirurgie – von der Zeichnung zu digitalen Bildern
Das Projekt widmete sich der Hand als einem Untersuchungsobjekt, das Aristoteles als »Instrument aller Instrumente« (instrumentum instrumentorum) bezeichnet hat und damit zugleich einem Körperteil, das jüngst (durch Smartphones, Tablet-PCs u.a.) ins Zentrum theoretischen Interesses getreten ist (Ruf). Während medizin-, kultur- und kunstgeschichtliche Fallstudien zur Hand vorliegen (Leroi-Gourhan; Gadebusch Bondio), steht eine bildwissenschaftliche Erforschung noch aus.
Im Projekt wurde die Hand als dialektisches Objekt zwischen Form und Funktion untersucht: als Gegenstand von Zeichnung und instrumenteller Bildgebung vor der Folie der Entstehung der Handchirurgie als eigener Disziplin, ihrer bildhistorischen und epistemologischen Vorgeschichte, der Wechselwirkung von Medizin- und Kriegstechnik, Fragen der Geometrisierung und Disziplinierung des Körpers, unter Bezugnahme auf kunst- und architekturtheoretische Debatten der Neuzeit und mit Blick auf den aktuellen Medienwandel. Zudem wurde die Zeichnung untersucht: als epistemisches Werkzeug, in Bezug auf ihre Einbettung in eine Bildpraxis des Forschens, Sammelns, Vergleichens, Ordnens und ihre Wechselwirkung mit anderen Bildmedien (z.B. mit Fotografie – Diapositiven, Röntgenaufnahmen –, Printmedien wie Zeitungsbildern oder auch Reproduktionen von Kunstwerken).
Anhand des Nachlasses des Handchirurgen J. William Littler wurden im Anschluss an die Theorie der Zeichnung (Kemp) und die Geschichte des Wissens vom Händischen (Sherman) Untersuchungen zur materiellen Kultur und zu den Bildpraktiken der Handchirurgie durchgeführt. Dabei ging es um Bilder der Hand sowohl in der Forschung als auch im Patientenkontakt. Gefragt wurde nach dem Begriff des ›Stils‹ in der Chirurgie, nach den Wechselwirkungen zwischen Fotografie und Handzeichnung und nach der Rolle des Medienwandels für die Bildpraxis der Handchirurgie.
Codierte Gefühle. Stationen der Affektforschung von der fotografischen Aufzeichnung zur Digitalisierung (1960 bis heute)
Im Forschungsfeld Affective Computing werden digitale Technologien entwickelt, die Gefühle anhand körperlicher Ausdrucksmuster automatisch erfassen und berechnen. Die auf großen Datenbanken beruhenden Technologien versuchen, eine Vielzahl an Ausdrucksvarianten und die ›wahren‹ Gefühle zu erkennen. Als empirisches Standardinstrument zur Codierung von Affektausdrücken wird das Facial Action Coding System (FACS) (1978) eingesetzt. Das FACS reduziert jedoch den körperlichen Ausdruck der Gefühle auf sechs Grundemotionen und auf die Bewegung der Gesichtsmuskulatur.
Aus einer medien- und kulturwissenschaftlichen Perspektive wurde in diesem Projekt der Einsatz empirischer und bildgestützter Methoden der Erfassung der Gefühle in den Experimentallaboren der Psychologie in der Mitte des 20. Jahrhunderts untersucht. Anhand von zwei Beispielen aus der Psychologie, der Cyberpsychologie und der Therapie von Autismus-Spektrum-Störungen, wurden Methoden der digitalen Erfassung der Gefühle im Affective Computing analysiert. Erkenntnisleitendes Ziel war die Frage des Nachwirkens historischer Wissensbestände in der aktuellen Affektforschung, insbesondere die Weiterentwicklung des FACS im Affective Computing.
Aufbau einer 3D-Mimik-Datenbank
Bearbeitung: Martin Grewe (ZIB)
Die Entwicklung computergestützter Planungs- und Analysewerkzeuge für die Gesichtschirurgie sowie die Erforschung neurokognitiver Prozesse bei der Wahrnehmung und Verarbeitung von Gesichtsausdrücken basieren auf Modellen über morphologische Eigenschaften des menschlichen Gesichts und seiner Dynamik. Anwendungen in Medizin und Neurowissenschaften nutzen bislang Mimik-Modelle wie das Facial-Action-Coding-System (FACS). Allerdings liegt neben einem kategorialen Kodierungssystem und einer begrifflichen und methodischen Verschmelzung von Emotion und induziertem Gesichtsausdruck eine entscheidende Limitierung dieser Modelle in der überwiegend qualitativen Beschreibung der morphologischen Ausdrucksmuster (z.B. in Form exemplarischer Fotografien beim FACS) und der Reduzierung der fazialen Dynamik auf die muskuläre Bewegung. Neue Anwendungen und Fragestellungen erfordern jedoch ein differenziertes und quantitatives Modell dynamischer Fazialgestalt.
Der Fokus des Dissertationsprojekts lag daher auf der Etablierung einer hoch detaillierten 3D-Gesichtsdatenbank (Mimik-Archiv) zur statistischen Analyse quantitativer fazialer Morphologiemerkmale. Die Ausdrucksmuster erlauben die Generierung eines Modells in Form des digitalen Mimik-Atlas und dienen als Werkzeug in medizinischen und neurowissenschaftlichen Anwendungen.
In der ersten Projektphase wurden bestehende stereofotogrammetrische Verfahren zur Erfassung der fazialen Morphologie und der fotografischen Textur von Gesichtsausdrücken weiterentwickelt und für den spezifischen Kontext optimiert. Mit der Camera Facialis des Konrad-Zuse-Zentrums für Informationstechnik (ZIB) wurde ein Multi-Camera Setup etabliert, welches es ermöglicht, 3D-Geometrie und Farbe der Gesichtsoberfläche binnen Sekundenbruchteilen hochgenau zu vermessen. Dabei übertrifft sowohl der geometrische als auch der fotometrische Detailgrad der digitalen Gesichtsmodelle die Ergebnisse derzeit verfügbarer Systeme. Während der gesamten Projektlaufzeit diente die Camera Facialis der Sammlung einer umfassenden Datenbasis von fazialen Affektausdrucksmustern.
Gegenstand weiterer Forschungen waren vor allem neue algorithmische Verarbeitungsprozesse mit dem Ziel der Erstellung des Mimik-Archivs aus den digitalen Gesichtsoberflächen. Durch eine weitgehende Automatisierung der nötigen Verarbeitungsschritte wird eine schnelle Integration digitaler 3D-Modelle in das Mimik-Archiv und darüber hinaus ein einfacher Datenbankabgleich mit neuen Gesichtern möglich.
Publikationen
Das Gesicht
Bilder, Medien, Formate
Die Form des Chaos
Bild und Erkenntnis in der komplexen Dynamik und der fraktalen Geometrie
Carl Martin Grewe
- Digital Image Archive. The Archiving and Coding of Emotions, in: Nikola Doll, Horst Bredekamp, Wolfgang Schäffner (Hg.): +ultra. Knowledge & Gestaltung. Leipzig: E. A. Seemann, 281–286 (mit Lisa Schreiber)
- Digitale Bildarchive. Archivierung und Codierung der Gefühle, in: Nikola Doll, Horst Bredekamp, Wolfgang Schäffner (Hg.): +ultra. gestaltung schafft wissen. Leipzig: E. A. Seemann 2016, 280–285 (mit Lisa Schreiber)
- Fast and Accurate Digital Morphometry of Emotional Expressions for Facial Surgery, in: Facial Plastic Surgery 31.5 (2015), 431–438 (mit Lisa Schreiber, Stefan Zachow)
- Landmark-based Statistical Shape Analysis, in: Michael Hermanussen (Hg.): Auxology – Studying Human Growth and Development. Stuttgart: Schweizerbart Verlag 2013, 200–203 (mit Hans Lamecker, Stefan Zachow)
- Digital morphometry: The Potential of Statistical Shape Models, in: Anthropologischer Anzeiger. Journal of Biological and Clinical Anthropology 68.4 (2011), 506 (mit Hans Lamecker, Stefan Zachow)
Nina Samuel
- Images as tools. On visual epistemic practices in the biological sciences, in: Studies in History and Philosophy of Biological and Biomedical Sciences, 44.2 (Juni 2013), 225–236
Lisa Schreiber
- Digital Image Archive. The Archiving and Coding of Emotions, in: Nikola Doll, Horst Bredekamp, Wolfgang Schäffner (Hg.): +ultra. Knowledge & Gestaltung. Leipzig: E. A. Seemann, 281–286 (mit Carl Martin Grewe)
- Gefühls-Montagen. Fotografisch-psychologische Praktiken der Aufzeichnung von Emotionen bei Paul Ekman, in: Fotogeschichte. Beiträge zur Geschichte und Ästhetik der Fotografie 36.140 (Sommer 2016) = Psychologie und Fotografie, hg. von David Keller, Steffen Siegel, 49–58
- Digitale Bildarchive. Archivierung und Codierung der Gefühle, in: Nikola Doll, Horst Bredekamp, Wolfgang Schäffner (Hg.): +ultra. gestaltung schafft wissen. Leipzig: E. A. Seemann 2016, 280–285 (mit Carl Martin Grewe)
- Advanced Wellbeing: Digitale Techniken der Vermessung von Affekten in der Cyberpsychologie, in: Mediale Kontrolle unter Beobachtung. Kulturwissenschaftliche Perspektiven auf die strittige Gestaltung unserer Kommunikation 5.1 (2016) = Privatheit und Quantifizierbarkeit, hg. von Martin Degeling, Florian Püschel, Eva Schauerte
- Fast and Accurate Digital Morphometry of Emotional Expressions for Facial Surgery, in: Facial Plastic Surgery 31.5 (2015), 431–438 (mit Carl Martin Grewe, Stefan Zachow)
Margarete Vöhringer
- Die Maske als Medium. Zur Gesichtsdarstellung im frühen Film, in: Tobias R. Klein, Erik Porath (Hg.): Kinästhetik und Kommunikation. Ränder und Interferenzen des Ausdrucks. Berlin: Kulturverlag Kadmos 2013, 328–340
Sigrid Weigel
- Gesichter – Zwischen Spur und Bild, Codierung und Vermessung, in: Sigrid Weigel: Grammatologie der Bilder, Kapitel 3. Berlin: Suhrkamp 2015, 70–137
- Phantom Images: Face and Feeling in the Age of Brain Imaging, in: Zeitschrift für Kunst und Kulturwissenschaften. Kritische Berichte 1 (2012), 33–53
Veranstaltungen
Mimik-Wissen: interdisziplinär, praxisrelevant, experimentell
Berlin-Brandenburgische Akademie der Wissenschaften (BBAW), Markgrafenstr. 38, 10117 Berlin
Das Gesicht. Eine Spurensuche
Deutsches Hygiene-Museum Dresden, Lingnerplatz 1, 01069 Dresden
Lisa Schreiber: Abschied von der Weltformel? Wie neue digitale Techniken Individualität und Vielfalt von Gesichtsausdrücken erfassen
Museum für Kommunikation, Leipziger Str. 16, 10117 Berlin
Digitale Erfassung von Gesichtsausdrücken im Affective Computing
Martin-Gropius-Bau, Niederkirchnerstraße 7, 10963 Berlin
Digitale Erfassung von Gesichtsausdrücken im Affective Computing
Martin-Gropius-Bau, Niederkirchnerstraße 7, 10963 Berlin
Face to Face – Interface
Martin-Gropius-Bau, Niederkirchnerstraße 7, 10963 Berlin
Gesichtsausdrücke. Messen, Analysieren, Deuten
Urania Berlin, An der Urania 17, 10787 Berlin
2. Jahrestagung des Interdisziplinären Labors Bild Wissen Gestaltung
Berlin-Brandenburgische Akademie der Wissenschaften Jägerstr. 22/23, 10117 Berlin
Facial Expressions: Technologie – Experiment – Codierung
ZfL, Schützenstr. 18, 10117 Berlin, 3. Et.
1. Jahrestagung des Interdisziplinären Labors Bild Wissen Gestaltung
Berlin-Brandenburgische Akademie der Wissenschaften Jägerstr. 22/23, 10117 Berlin
Camera Facialis: Ein 3D-Portrait-Studio
Konrad-Zuse-Zentrum für Informationstechnik (ZIB), Takustr. 7 (Zugang auch von Arnimallee 6 und Altensteinstraße 23), 14195 Berlin, Foyer/Bibliothek
»Code« aus Sicht der Kulturwissenschaft und der Mathematik
Interdisziplinäres Labor Bild Wissen Gestaltung, Sophienstr. 22a, 2.HH, 3.OG, 10178 Berlin
Das Interdisziplinäre Labor: Bild Wissen Gestaltung
HU Berlin, Sophienstraße 22a und Haus der Kulturen der Welt, John-Foster-Dulles-Allee 10, Berlin
Medienecho
Radiobeitrag von Irina Grabowski, im Gespräch mit Lisa Schreiber, in: RBB Inforadio, Sendung: WissensWerte vom 14.02.2017, 10.25 Uhr