Was verbindet Medienlinguistik mit Computer Vision? In einem DFF-Projekt wurden Methoden aus beiden Bereichen kombiniert. Daraus entstand eine fruchtbare und fortwährende Zusammenarbeit zwischen den zwei ZHAW-Departementen School of Engineering und Angewandte Linguistik.
Autorin: Johanna Seiwald, ZHAW
Dieser Beitrag erschien am 4. Oktober 2023 auf dem ZHAW Community Blog Digital Futures Lab.
Ich treffe mich mit Wibke Weber vom Departement für Angewandte Linguistik. Sie ist Professorin für Medienlinguistik mit Schwerpunkt Visuelle Kommunikation. Eigentlich möchte ich mich mit ihr über das DFF-Projekt «To be liked or not to be liked – what makes a photo interesting?» unterhalten, doch es kommt anders als geplant. Denn das Projekt war zwar ein guter Startschuss für weitere Forschung in diesem Bereich, aber das Highlight waren nicht die Ergebnisse daraus und auch nicht (nur) das SNF-Projekt, das parallel dazu bewilligt wurde. Dies ist nämlich nicht die Geschichte von Maschinellem Lernen und wie Algorithmen oder Menschen Bilder bewerten. Dies ist vielmehr die Geschichte von engagierten Personen, die keine administrativen Mühen scheuen, um zwischen Disziplinen Brücken zu schlagen.
Doch alles der Reihe nach.
Die zündende Idee
Helmut Grabner, Professor für Data Analytics and Machine Learning, interessiert sich für «Interestingness» in Bildern. Für das Konzept braucht er eine Definition – mit dieser können ihm die Geisteswissenschaften helfen. Über das Datalab, ein interdisziplinäres Netzwerk der ZHAW, trifft er eine Professorin der Medienlinguistik. Wibke Weber gefällt die Idee zu einem gemeinsamen Digital Futures Fund (DFF) Projekt auf Anhieb. Wibke reizt es, herauszufinden, was Maschinen und Menschen an Bildern interessant finden und welche Rolle dabei Ästhetik spielt. Sie sieht Potenzial für eine Zusammenarbeit mit Helmut. Das Projekt soll Methoden der Medienlinguistik und Computer Vision verbinden, also qualitative Bildanalyse mit Machine Learning Ansätzen und grossen Datenmengen.
Unterschiedliche Sprache
Nachdem das Projekt gefördert wird, merken die beiden: wenn so unterschiedliche Disziplinen aufeinandertreffen, bereichert dies die Arbeit ungemein. Andererseits ist es auch anspruchsvoll, denn Personen aus den Bereichen Machine Learning, Computer Vision und Visueller Kommunikation denken anders und sprechen zum Teil eine andere Sprache. «Eine gemeinsame Sprache fanden wir im Laufe des Projekts», hält Wibke fest. «Wir konnten laufend voneinander lernen.» Helmut ergänzt: «Es ist inspirierend, die Sprache und Methodik einer mir fremden Disziplin zu lernen. Forschende sollten das unbedingt öfter machen. Und auch wenn es anfangs einen gewissen Aufwand braucht, um einander zu verstehen, können wir jetzt nachher die Früchte ernten».
Der lange Weg zum SNF-Projekt
Machen wir einen kurzen Abstecher in die Vergangenheit. Helmut schreibt vor über 10 Jahren als Postdoc an der ETH als Erster einen Antrag zum Thema «Visual Interestingness». Damals war dies noch zu neu und wurde nicht bewilligt. Helmut gibt nicht auf und verfolgt das Thema trotzdem. Einige Jahre später wird ein weiterer Antrag abgelehnt, diesmal weil die Idee nicht mehr neu genug ist. Parallel zum DFF-Projekt mit Wibke reicht er erneut beim SNF ein. 2021 zahlt sich seine Hartnäckigkeit aus und der Antrag wird angenommen. Wibke vermittelt Helmut auch gleich eine Kollegin von der Universität St. Gallen, die im Bereich visuelle Kommunikation forscht und ihn fortan als Postdoc unterstützt. Helmut ist begeistert: «Ich habe nun ein buntes Team mit Expertise aus den Bereichen Visuelle Kommunikation, Kunst und Technik und wir profitieren von den unterschiedlichen Perspektiven». Das SNF-Projekt Visual Interestingness läuft bis Ende 2025.
Webcambilder aus dem Kunst- und KI-Projekt “Watching the World” von Kurt Caviezel, Helmut Grabner und Fitim Abdullahu. Die Ausstellung wird mithilfe Künstlicher Intelligenz (KI) kuratiert. Aktuelle Aufnahmen: «Watching the World»..
Learnings aus der Lehre
Wibke und Helmut erzählen, dass bei ihren Forschungsprojekten die Zusammenarbeit super klappt. Bei der Lehre hängt hingegen viel von Vorgaben ab – die Departemente School of Engineering und Angewandte Linguistik sind unterschiedlich organisiert, was zu administrativen Schwierigkeiten führen kann. Zum Beispiel, wenn Stundenpläne kollidieren oder Systeme nur departementsintern genutzt werden können. Nichtsdestotrotz finden die beiden Wege, Computer Vision und Visuelle Kommunikation zusammenzubringen. Sie etablieren beispielsweise gegenseitige Gastreferate in ihren Vorlesungen.
Zukunftsvisionen
Für die Zukunft werden Ideen wie überdepartementale Workshops oder eine Summer School diskutiert. «Data Scientists können vom Data Storytelling, wie er im Datenjournalismus praktiziert wird, lernen. Und wer Medien und Kommunikation studiert, kann von den Kompetenzen der Data Scientists profitieren», sagt Wibke. Die Zusammenarbeit stärkt somit die Kompetenzen der Studierenden und fördert das gegenseitige Lernen voneinander – didaktisch und inhaltlich. Über das Datalab entstanden ausserdem weitere gemeinsame Aktivitäten in der Lehre. Im Frühjahrsemester 2023 fand zum zweiten Mal ein gemeinsames Seminar zu «Visualisation and Data Science Storytelling» statt. Nächstes Jahr kommt ein drittes Departement dazu, und zwar Life Sciences and Facility Management mit dem Studiengang Applied Digital Life Sciences.
Weiterführende Informationen
- SNF Projekt: Visual Interestingness — All images are equal but some images are more equal than others
- DFF Projekt: To be liked or not to be liked – what makes a photo interesting?
- Watching the World — The encyclopedia of the now, together with Kurt Caviezel and Fitim Abdullahu
- ZHAW News: Die Gegenwart als Kunstwerk: «Watching the World» zeigt die Vielfalt der Welt im permanenten Live-Zustand