Wie kann die digitale Transformation
zum Erfolgsprojekt im
Gesundheitsbereich werden?Sarah Spiekermann
im Interview mit Jens Baas

Die Autoren

Dr. med. Jens Baas

Jens Baas ist seit 2012 Vorsitzender des Vorstands der Techniker Krankenkasse (TK). Vor seiner Zeit als Vorstandsvorsitzender war er bei der Unternehmensberatung Boston Consulting Group tätig, zuletzt als Partner und Geschäftsführer. Sein Studium der Humanmedizin absolvierte Jens Baas an der Universität Heidelberg und der University of Minnesota (USA). Er arbeitete anschließend als Arzt in den chirurgischen Universitätskliniken Heidelberg und Münster.

Prof. Dr. Sarah Spiekermann

Sarah Spiekermann leitet seit 2009 das Institut für Wirtschaftsinformatik & Gesellschaft an der Wirtschaftsuniversität Wien (WU Wien). Sie ist eine anerkannte Wissenschaftlerin, Autorin, Referentin und Beraterin für digitale Ethik. Sie veröffentlichte mehrere Bücher, darunter „Value-based Engineering – a guide to build ethical technology for humanity“ (DeGruyter 2023), „Digitale Ethik – Ein Wertesystem für das 21. Jahrhundert“ (Droemer 2019) und „Ethical IT Innovation: A Value-based System Design Approach“ (Taylor & Francis 2015), sowie über 120 Artikel in führenden akademischen Zeitschriften wie „Communications of the ACM“, „IEEE Transactions“ oder „Science, Technology and Values“. Im Jahr 2016 war Sarah Spiekermann Mitbegründerin des „Sustainable Computing Lab“. In 2022 wurde von der ISO Organisation der erste Modellprozess für ethisches Systemdesign veröffentlicht, ein technischer Standard, dessen Entwicklung von Frau Spiekermann mit initiiert und von 2016–2021 mit geleitet worden ist (ISO/IEC/IEEE 24 748-7000). Dieser spielt heute bei der Einführung ethischer KI und der Verfolgung eines Digitalen Humanismus eine bedeutende Rolle.

Sarah, unter deiner Leitung wurde jetzt der erste weltweite Standard zum Aufbau einer ethischen Technik entwickelt, der mittlerweile auch ein ISO STANDARD geworden ist1. Worum geht es da?

1www.iso.org/obp/ui/en/#iso:std:iso-iec-ieee:24748: 7000:ed-1:v1:en

Das Institute of Electrical and Electronics Engineers ist die größte Organisation von Ingenieuren und Technikern weltweit. Entscheidend ist, dass das IEEE nicht nur ein Berufsverband ist, sondern auch weltweit gültige Standards und Normen herausgibt. Das IEEE will nicht nur den technischen Fortschritt befördern, sondern auch den Fortschritt der Menschheit. Deshalb haben wir in seinem Auftrag mit über 100 Expert:innen eine ethische Grundlage für die Weiterentwicklung der digitalen Technik entwickelt.

… was du in deinen Büchern „Digitale Ethik“ und „Value-based Engineering“ auch beschrieben hast (Spiekermann 2023). Was sind die wichtigsten Botschaften?

Value-based Engineering (VBE) ist ein Konzept, das die Technikentwicklung vom Menschen her denkt. IT-Systeme müssen nicht nur benutzerfreundlich und getestet sein, sondern auch dem Fortschritt der Menschheit dienen. Es geht uns darum, den Ingenieuren und Technikern die sozialen und menschlichen Herausforderungen bewusst zu machen, die sich bei ihrer Arbeit stellen. Aber natürlich wollen wir auch gewährleisten, das unglaubliche Potenzial der digitalen Technik im Interesse der Menschen zu erschließen. Mit dem Standard geben wir Investoren, insbesondere auch im Bereich KI, die Möglichkeit, ihre Investitionen in technische Produkte besser und gesetzeskonformer auszurichten.

„Wild West ist nun vorbei“ schreibt dazu die Süddeutsche Zeitung (Kreye 2021). Was heißt das?

Das ist in dem von dir erwähnten Beitrag gut beschrieben: „Will man den Standard auf einen Gedanken reduzieren, geht es darum, gleich zu Beginn der Entwicklung digitaler Produkte dafür zu sorgen, dass es später keine Probleme gibt. Bisher lief es so, dass Konzerne und Startups digitale Produkte in Höchstgeschwindigkeit auf den Markt bringen. Facebook hatte das in seinen ersten Jahren mit seinem Motto ‚Move fast and break things‘ (Handle schnell und mach dabei etwas kaputt), auf den Punkt gebracht. So funktioniert die Digitalwirtschaft in großen Teilen immer noch. Probleme müssen dann die Zivilgesellschaft oder die Politik lösen.“

Im Jahr 2023 ist mit ChatGPT das Thema Künstliche Intelligenz (KI) zum ersten Mal in der breiten Bevölkerung richtig angekommen. Wie bewertest du den öffentlichen Hype um das Thema?

Das Auftauchen von ChatGPT im öffentlichen Raum war ein Wahrheitsmoment. Wahrheitsmomente sind philosophisch definiert als Momente, in denen sich das Bewusstsein und die Einordnung von Realitäten, auch von Vergangenheit und Zukunft plötzlich fundamental verschiebt. Viele Techniker oder Science-Fiction-Romane haben immer schon vorhergesehen, dass es mal so eine Künstliche Intelligenz geben wird, mit der wir uns unterhalten können und das Gefühl haben, dass es sich dabei um einen Menschen oder um ein Lebewesen handelt. Das aber real zu erfahren, das war für mich, viele Kolleg:innen und natürlich für die breite Öffentlichkeit ein Wahrheitsmoment auf verschiedenen Ebenen. Es stellen sich dabei einerseits ganz praktische Fragen, z.B. wie sich Organisationen und Geschäftsprozesse verändern werden. Die Softwareentwicklung wurde durch Generative KI schon revolutioniert, die heute schon bei vielen Entwicklungsarbeiten von Software unterstützt. Vor allem fragt man sich aber, wie man sich ethisch zur künftigen Entwicklung der KI stellt. Wie verschieben sich Werte, wie verschieben sich Lebensformen? Wie verändern wir uns als Menschen?

Das ist auch meine Wahrnehmung. Durch ChatGPT ist KI zum ersten Mal in der breiten Öffentlichkeit Gesprächsthema gewesen. Es gab ein großes Bedürfnis, sich zu dieser neuen Technik eine Meinung zu bilden.

Wir haben uns in den letzten 20, 30 Jahren daran gewöhnt, neue Technologien wie selbstverständlich in unseren Alltag zu integrieren, so wie wir irgendwann angefangen haben, bei uns in Europa Avocados zu essen, die wir vielleicht früher auch nicht zur Verfügung hatten. Das Einzige, worüber wir uns wenig Gedanken machen in der breiten Bevölkerung ist, dass das auch gefährlich sein kann. Wir machen Witze darüber, wann ChatGPT anfängt zu halluzinieren oder Mist zu erzählen. Dahinter steckt aber eine ethische Grundsatzfrage: Diese Technologien bringen fundamental das Thema und den Wert der Wahrheit auf den Tisch.

Transformer Technologien wie ChatGPT haben keinen Zugang zur Wahrheit.

Generell gilt: Transformer Technologien wie ChatGPT haben keinen Zugang zur Wahrheit. Sie können nicht wahr denken, sie können nur rechnen und sie können nur Wahrscheinlichkeits-Tokens, also Satzkomponenten hintereinanderschachteln. Sie haben keinen Zugang zu Bedeutung. Dadurch verändert die Technik unser Verständnis von und auch unsere Erwartung an Wahrheit möglicherweise so stark, dass wir im Chaos landen.

Der Fokus der Debatte ist nach meiner Wahrnehmung aber eher auf praktische Fragen gerichtet.

Das ist so. Da geht es z.B. um Copyright-Fragen, also dass KIs Dokumente aufgreifen, die unter Umständen Copyright geschützt sind. Das ist das Thema Privacy, die Verzerrung von Persönlichkeiten und Falschinformationen oder auch Nutzung von personenbezogenen Daten. Also im Management und in den Medien tendiert man dazu, solche offensichtlich und bereits bekannten Wertphänomene und Herausforderungen zu diskutieren, die auch wichtig sind und die eine Rolle spielen. Aber die wirklich großen Veränderungen und Verschiebungen von solchen Techniken von so einer Technologie liegt noch mal bei Dimensionen, die wir noch gar nicht kennen.

Kannst du da mal ein Beispiel geben, was da auf uns zukommt?

Fast jeder, der ChatGPT benutzt hat, hat die Erfahrung gemacht, dass das System nicht immer richtiger antwortet. Wie geht der Nutzer damit um? Er entscheidet sich vielleicht dafür, es trotzdem zu nutzen und findet es okay, dass das System hin und wieder mal was Falsches erzählt. Das ist eine Art Kosten-Nutzen-Abwägung, und man fängt an damit zu leben, dass es halt schon mal falsch ist. Unsere Haltung und unser Verhältnis zur Wahrheit wird verändert. Und das verändert unsere Gesellschaft.

Konkret: Wenn eine Krankenkasse auf ihrer Webseite über bestimmte Produkte informiert oder im Call Center Mitarbeitende schult, dann wird heute viel Wert auf Wahrheit und Richtigkeit gelegt. Mitarbeitende dürfen keine falschen Informationen geben. Aber mit dem Einsatz von ChatGP und Transformer Technologien könnte man viel Geld sparen um den Preis, dass eine kleine Anzahl von Informationen falsch ist. Dann sind vielleicht nur ein Prozent der Kunden betroffen, und das ist dann ein Kollateralschaden.

Unsere Kunden müssen sich darauf verlassen können, dass Informationen, die sie von uns erhalten in jedem Fall richtig sind. Deswegen setzten wir diese Technologie derzeit auch nur intern und noch nicht am Endkunden ein.

Deutsche Unternehmen sind da eher vorsichtig. In den USA wird KI in vielen kritischen Bereichen von Schulen bis Gerichtsprozessen eingesetzt, zum Teil mit noch höheren Fehlerraten und enormen Kollateralschäden. Führt das zu einem Umdenken? Verzichten Unternehmen auf Investitionen in die neue Technologie? Da muss das Management großen Mut haben zu sagen, wir verzichten wegen „marginaler“ Kollateralschäden auf den Einsatz von KI.

Ist auch die Frage, ob das eine kluge Entscheidung wäre. Wie jede Technik muss sie richtig eingesetzt werden.

Das ist genau der Punkt. Es gibt nicht nur schwarz oder weiß. Man muss genau hinschauen, in welchem Bereich kann ich diese Technologie einsetzen und auch wie? Was möchte ich erlauben und was nicht? Wenn ein Unternehmen die KI beispielsweise nutzt, um in einem bekannten Datensatz Information herauszusuchen und zusammenzufassen, ist daran nichts auszusetzen. Das ist ein Weg, wie man generative KI im Unternehmen einsetzen kann, die die Wahrheit sagt. Wir arbeiten an Lösungen, wie man die Technologie Werte-bewahrend nutzen kann.

Man muss auch die Frage stellen, was ist denn überhaupt Wahrheit? Ein Kernproblem von allen Informationssystemen ist, dass sie sich nur auf vorhandene Daten aus der Vergangenheit beziehen können. Die Zukunft ist aber keine lineare Weiterentwicklung der Vergangenheit. Das gilt auch für den menschlichen Körper und medizinische Prognosen. Auch das Recht hat sich nur weiterentwickeln können, weil Menschen Probleme neu denken konnten. Und so entwickelte sich das Recht, während KIs das eben nicht können, weil sie nur Muster der Vergangenheit reproduzieren, die mit gewissen, meistens hohen Wahrscheinlichkeiten auftauchen.

Die Zukunft ist keine lineare Weiterentwicklung der Vergangenheit.

Die Ideen der KI-Enthusiasten gehen aber noch weiter …

Ja, sie träumen davon, dass Künstliche Intelligenzen auf Basis von historischen Daten in die Zukunft denken können und ganz außergewöhnliche Ideen haben, auf die der Mensch nicht kommt. Das Stichwort in der Szene ist „Emergent Properties“, also emergente Eigenschaften. Das muss man sich eher als Metapher, denn als technisches Konzept vorstellen. Wie das Wasser Eigenschaften hat, die sich nicht aus der chemischen Formel H2O ableiten lassen, also z.B. Bäche, Flüsse und Ozeane bilden kann, so gehen die Verfechter dieses Konzeptes davon aus, dass die KIs sich emergent entwickeln und Fähigkeiten bekommen werden, die sich aus der Technik selbst nicht erklären lassen. Das ist eher mystisch als wissenschaftlich. Das wage ich jetzt zu bezweifeln.

Ich stimme dir ja zu, dass es das Beste wäre, wenn uns die KIs auf spannende Ideen brächten und uns Dinge zeigen könnten, über die wir noch nie nachgedacht haben. Da gibt es viel Potenzial. Die Problematik ist, wie die Menschen damit umgehen. Viele halten die KI dem Menschen überlegen und vertrauen zu sehr in die Technik. Bei Mustererkennung kann das richtig sein, wir dürfen das aber nicht grundsätzlich unterstellen.
Ein weit verbreiteter Irrglaube ist auch, dass die Technik neutral ist. Das kann sie nicht sein, wenn die Daten, mit denen sie gefüttert wurde, nicht neutral sind.

Jeder Bias in den Ausgangsdaten wird durch die Technik reproduziert und so verstärkt.

Außerdem: Studien haben gezeigt, dass Menschen in der Regel die Vorschläge von der KI häufig ungeprüft annehmen und das nicht nur aus gutem Glauben, sondern eben auch aufgrund von unternehmerischem Druck und Kontextverhältnissen. Dass sie sich sonst rechtfertigen müssen, warum sie denn die KI-Entscheidung nicht angenommen haben. Diese Schnittstelle zwischen Mensch und Maschine, zwischen analog und digital, das ist das große neue Forschungs- und Experimentierfeld.

Das ist ein Thema, das uns in der Medizin stark beschäftigt, weil wir eine digitale Zweitmeinung als Entscheidungsunterstützung grundsätzlich begrüßen. Letztendlich muss aber der Arzt die Entscheidung treffen und die Verantwortung übernehmen. Die von dir genannten Probleme sind bei Therapieentscheidungen grundlegend. Auf welcher Basis schafft es der Arzt, sich gegen die KI durchzusetzen und eine vom Vorschlag der KI abweichende Entscheidung zu treffen. Ist die Empfehlung der KI richtig für diesen Patienten oder nicht? Also eine ganz neue Herausforderung für die Behandlerseite, aber auch für Patient:innen.

Zu einem anderen Thema: Wie bewertest du den Vorschlag von prominenten Tech-Unternehmern und Wissenschaftlern, ein Moratorium für die Weiterentwicklung von KI zu setzen. Sollten wir eine sechsmonatige Pause einlegen, weil die Entwicklung zu rasant voranschreitet?

Also ich fand es interessant, dass ein Institut aus Oxford so eine Initiative startet, von der eigentlich jeder weiß, dass sie irrational ist. Die Branche fängt das Rennen um die nächste Nutzerschnittstelle gerade an. Ich habe das nicht ernst genommen und gleichzeitig fand ich es einen sehr guten und wichtigen Aufruf. Unterschrieben habe ich es nicht. Nicht, weil mir die Inhalte nicht gefallen, sondern weil ich dem Think Tank und den Personen, die hier dahinterstehen, nicht vertraue. Dort werden transhumanistische Ideen beforscht, also die Vorstellung, dass Künstliche Intelligenzen uns Menschen alle ersetzt und wir Menschen uns upgraden müssen.

Also ein Werbegag, bei dem man sich etwas unehrlich als Moralapostel aufführt?

Leider nicht nur. Die Personen, die dahinterstecken, glauben wirklich, dass wir Menschen auch wie Computer funktionieren. Das nennt man Computeranthropologie. Also die glauben, wir sind wirklich Data Processing Machines. Das ist wissenschaftlich aber nicht haltbar.

Warum brauchen wir eine ISO-zertifizierte Ethik für die IT?

Ethik fängt damit an, dass so etwas wie die systematische Manipulation am Katalysator bei Volkswagen nicht noch mal vorkommt. Wenn wir eine nachhaltige und gute Technik wollen, brauchen wir eine Unternehmenskultur, die das auch ermöglicht und fördert. Dazu gehört, dass Entwickler Zeit in Sicherheit, Datenschutz, Transparenz der Systeme, ordentliche Datenqualität usw. stecken müssen und dürfen. Aber ganz wichtig ist, dass man sich bei jedem System, das man entwickelt, die Frage stellt, welche Auswirkungen es auf die Menschen, die davon betroffen sind, die Natur, die Umwelt und die Communities hat. Und das muss man analysieren. Und dann muss man sich fragen, wo könnten hier Werte angegriffen werden oder auch Tugenden, menschliche Verhaltensweisen, die wir eigentlich schätzen, untergraben werden?

Ein Beispiel: Die Möglichkeit als Mensch, physische Freundschaften zu leben, ist ein Wert, der uns wichtig ist. Wenn Softwareentwickler das aufgrund ihrer Konfiguration systematisch untergraben, dann verhalten sie sich ethisch falsch.

An der Stelle muss man dazu sagen, dass man sich in der Entwicklung von IT-Systemen heute oft einfach keine Gedanken dazu macht. Es ist nicht so, dass die Ingenieure bewusst unsere Werte angreifen und untergraben. Die Entwicklungsteams arbeiten einfach Product-Roadmaps ab. Diese Roadmaps sind getrieben aus ökonomischen Gesichtspunkten heraus: Produktivität, Effizienzgewinn, Umsatzsteigerung, aber eben nicht gebaut mit dem Ziel menschlicher Wertschöpfung.

Ich spreche dabei von individueller und sozialer Wertschöpfung, die es zu steigern, zu fördern und zu schützen gilt. Und da müssen wir hin, damit wir ethische Technik bauen können. Und das wird auch fundamental Geschäftsmodelle und die Art und Weise unseres Wirtschaftens verändern.

Social Media soll unsere sozialen Aktivitäten fördern.

Welches Resumee ziehen wir am Ende unseres Gesprächs?

Eine positive Botschaft: Keine Angst vor neuen Technologien. Das Leben ist zu vielfältig, um es zweidimensional in Codes erfassen zu können. Es ist unberechenbar. Das macht unsere Menschenwürde aus. Letztlich sind die gesamte Kunst und die gesamte Kultur, die Musik, die Architektur, alles, was uns ausmacht, unberechenbar. Das Leben ist schön, und wir brauchen keine Angst vor der Zukunft zu haben, wir können und müssen sie gestalten.

Dieser Beitrag basiert auf einem Gespräch im Rahmen des Podcast TechVisite – Zukunft Digitale Gesundheit (siehe www.tk.de/presse/themen/digitale-gesundheit/kuenstliche-intelligenz/kuenstliche-intelligenz-podcast-techvisite-2162518?tkcm=aaus Folge 6). Der Text wurde redigiert von Dr. Andreas Meusch.

Literatur

IEEE Institute of Electrical and Electronics Engineers (2021) Standard Model Process for Addressing Ethical Concerns during System Design, in IEEE Std 7000-2021, 1–82. DOI: 10.1109/IEEESTD.2021.9536679

Kreye A (2021) Wild West ist nun vorbei. Süddeutsche Zeitung vom 15.09.2021

Spiekermann S (2023) Value-Based Engineering. A Guide to Building Ethical Technology for Humanity. DOI: 10.1515/9783110793383