Die Maschine ist schuld

Aufgaben, Kompetenzen, Verantwortung oder kurz AKV: Es gehört zum bewährten Einmaleins der Organisationswissenschaften und des Projektmanagements, dass diese drei Dinge in Übereinstimmung sein sollten. Man wendet das AKV in aller Regel auf einzelne Personen und auf ihre Aufgaben innerhalb einer Organisation an, allenfalls auch auf Einheiten der Organisation. Doch wie steht es um das AKV von Algorithmen, Bots und Robotern?

Mehr Aufgaben und mehr Kompetenzen für Nicht-Menschen

In vielen Apps oder Geschäftsprozessen ist eine Form der künstlichen Intelligenz (KI) enthalten, die mehr oder weniger folgenschwere Entscheide trifft. Rechnungen werden automatisiert überprüft, Infrastrukturschäden mit neuronalen Netzwerken entdeckt, Call-Center mit Bots entlastet oder Texte mit Deepl übersetzt. Digitale Helfer übernehmen zunehmend Aufgaben in der Geschäftswelt, KMU nicht ausgenommen. Die Mitar­beiterin, die ihr Mail an die italienischen Geschäftspartner mit Deepl übersetzen lässt, überträgt damit diese Aufgabe sowie diese Kompetenz an einen Nicht-Menschen. Dieses Beispiel ist natürlich noch eher harmlos. Doch je nach Branche rücken diese Situationen immer näher an die zentralen Geschäftsprozesse. Bekannt ist etwa, dass in der Radiologie Röntgenbilder mithilfe von maschinellem Lernen interpretiert werden. Das tönt einerseits spannend, anderseits ist auch hier die Frage, wie viel Kompetenz nun dieser Maschine gegeben werden darf. Denn die weitere Frage ist eben die: Wer trägt die Verantwortung, wenn etwas Wichtiges übersehen wurde?

Zum Hangar statt zum Terminal

Die Ethnologin Madeleine Elish hat dazu auf ihrem Blog eine anschauliche Geschichte erzählt, die sie selbst tatsächlich so erlebt hatte. Sie hatte in Miami eine Konferenz besucht und wollte zum Flughafen, um heimzufliegen. Wie es in Miami weit verbreitet ist, bestellte sie mit der App von Lyft (ein Konkurrent von Uber) eine Fahrt, um zum Flughafen zu gelangen. Sie tippte «Flughafen Miami» ein und wählte die erste Adresse aus, die ihr die Lyft-App darauf anzeigte. Bald kam der Fahrer, packte das Gepäck in den Kofferraum und fuhr mit ihr los. Die Konferenz war lang und intensiv, daher war sie auf dem Weg kurz eingeschlafen. Als sie später wieder erwachte, realisierte sie, dass sie zwar in der Nähe eines Rollfeldes waren, doch von einem Passagierterminal war keine Spur zu sehen. Der Fahrer konnte kaum Englisch, doch gab er auf Rückfrage von ihr zu verstehen, dass er schon glaube, an den richtigen Ort hinzufahren. Als der Fahrer dann sagte: «Hier sind wir», waren die beiden nicht vor dem Passagierterminal, sondern auf der falschen Seite des Flughafens vor einem menschenleeren Hangar. Die Lyft-App zeigte an: «Ziel erreicht.» Nach einem Blick auf Google Maps aber war Frau Elish mehr als beunruhigt, sie würde ihren Flug verpassen. Sie gab nun dem Fahrer Anweisungen, wo er hinfahren sollte, und zwanzig Minuten später erreichten sie das Terminal. Die Geschichte ging gut aus: Sie erwischte ihren Flug knapp. Aber mit wie vielen Sternen sollte sie die Qualität dieser Fahrt bewerten? Und angenommen, Frau Elish hätte ihren Flug verpasst: Wessen Schuld wäre das?

Wer ist schuld?

Ich stelle genau diese Frage oft meinen Studierenden. Die mögliche Auswahl ist wie folgt: Erstens, Frau Elish ist selbst schuld, denn schliesslich hat sie in der App nicht die Adresse ausgewählt, wo sie tatsächlich hinwollte. Sie hat falsch bestellt. Als zweite Möglichkeit ist der Fahrer schuld, denn er hätte erkennen müssen, dass eine Frau mit Koffer abends um sieben höchstwahrscheinlich zum Pas­sagierterminal und nicht zu einer Flugzeugwerkstatt fahren möchte. Im Zweifel hätte er doch wenigstens nachfragen müssen. Drittens, die Programmierer der App sind schuld, denn die Eingabe «Flughafen Miami» müsste genügen, um die Adresse des Passagierterminals vorzuschlagen. Alles andere ist gegen die Intuition und damit ein Programmierfehler. Vierte Variante, das Management von Lyft: Sie sind dafür verantwortlich, dass ihr Produkt im Zusammenspiel funktioniert, und dass beispielsweise die Fahrer so instruiert sind, dass diese nicht blind nach ihrer App fahren, sondern dass diese auch mit ihren Kunden interagieren, um derartige Missverständnisse zu vermeiden. Die Antworten der Studierenden fallen sehr unterschiedlich aus. Jede dieser vier Antworten wird jeweils von einer bestimmten Anzahl gewählt, und oft auch mit einiger Überzeugung begründet und verteidigt. Tatsächlich ist es eine Frage der Perspektive, wer welche Verantwortung trägt. Nach eingehender Diskussion erkennt man, dass alle ihren Teil zum Gelingen einer solchen Taxifahrt beisteuern. Doch die App als «Schuldige» zu bezeichnen, ist schwierig. Wie soll eine App Verantwortung tragen. Und doch ist es letztlich diese App gewesen, welche die Irrfahrt ausgelöst hatte.

Haftungsschwämme

Apps, Algorithmen oder KI werden künftig mehr und mehr Aufgaben übernehmen. Doch die Verantwortung für das Gelingen einer Leistung bleibt bei Menschen hängen. Im angelsächsischen Raum wurde für dieses Phänomen der Begriff «liability sponge» oder zu Deutsch «Haftungsschwamm» eingeführt. Wenn eine Maschine einen Fehler macht, dann muss jener Mensch, der dem Unglück gerade am nächsten steht, die Verantwortung dafür «aufsaugen», so jedenfalls die Beobachtung auch innerhalb von Unter­nehmen. In der Rechtswissenschaft wird intensiv diskutiert, wie weit die Kausalhaftung bei den aufstrebenden KIs gehen soll. Kausalhaftung heisst, dass man auch ohne eigene Schuld haftbar wird. Wenn eine Hündin in ein Bein beisst, dann muss nicht die Hündin, sondern der Hundehalter für den Schaden aufkommen. Dies auch dann, wenn bei ihm keine Widerrechtlichkeit und damit keine Schuld zu erkennen ist. Denkbar ist damit, ähnlich der Tierhalterhaftung eine «Maschinenhalterhaftung» einzuführen. Oder man könnte die Produkthaftpflicht auf Algorithmen und KIs ausweiten. Dabei stellt sich allerdings die berechtigte Frage, ob es sich bei den Algorithmen von Deepl, Lyft und Co. nicht eher um Dienstleistungen handelt, und weniger um Produkte. In der EU sind Vorschläge für Gesetzes­revisionen in diesem Bereich schon recht weit fortgeschritten. In der Schweiz dagegen wartet man damit noch eher zu.

Furcht vor Schuldübernahme als Innovationsbremse

Für die Unternehmerin und den Unternehmer ist nebst der juristischen Haftungsfrage mindestens so relevant, was die Digitalisierung für das AKV innerhalb des Unternehmens bedeutet. Müssen tatsächlich jene Mitarbeitende für Fehler von Maschinen geradestehen, die ihr gerade am nächsten sind? Wenn dem so ist, bedeutet dies für die Mitarbeitenden, dass sie Verantwortung für allfälliges Technologieversagen übernehmen müssen; also ein potenzieller Verlust. Aus der Verhaltensökonomie weiss man aber: Potenzielle Verluste wiegen für Menschen viel schwerer als potenzielle Gewinne. Im Zweifel scheuen Mitarbeitende Risiken, was einer Unternehmung schadet. Man übergibt ungern Aufgaben an Maschin-en ab, wenn die Verantwortung für Fehler an einem selbst hängen bleibt. Das könnte ein Hemmnis für Prozessinnovationen sein. Daher sollte das AKV auch für die Maschinen gut überlegt sein.