Perspectives on: Trust in Human-AI Collaboration
Shownotes
In dieser dieser Folge von "ISM Perspectives on…" sprechen wir mit der Forscherin Mari Trompke vom Center for Leadership & People Management (LMU) und wissenschaftliche Mitarbeiterin an der _ISM _über Vertrauen als zentrales Element der Zusammenarbeit zwischen Mensch und KI im medizinischen Feld. Neben ihrem eigenen Forschungsprojekt werden dabei konkrete Anwendungsfelder im Alltag von Ärztinnen sowie kritische Phänomene wie Automation Bias und Algorithm Aversion diskutiert. Was geschieht, wenn Ärztinnen unter Zeitdruck zwischen eigener Intuition und KI-Empfehlung abwägen müssen? Und warum bleibt die Verantwortung im Falle von Fehlentscheidungen meist beim Menschen hängen? Um all diese Fragen und die Suche nach der richtigen Balance bei der Human-AI Collaboration im Gesundheitswesen soll es dieser Episode gehen.
Quellen zur Episode:
- Bayor, R., Huang, Y., De, A. A., Kong, H. J., Seong, D., Sharafoddini, A. & Liu, F. (2025). Patient-clinician Trust in Artificial Intelligence-enabled Clinical Decision Support Systems: A Systematic Review. Journal of Medical Internet Research, 27, e72191.
- Choudhury, A. (2022). Toward an Ecologically Valid Conceptual Framework for the Use of Artificial Intelligence in Clinical Settings: Need for Systems Thinking, Accountability, Decision-making, Trust, and Patient Safety Considerations in Safeguarding the Technology and Clinicians. JMIR Human Factors, 9, e35421. https://doi.org/10.2196/35421
- Darvish, M., Holst, J.-H. & Bick, M. (2024). Explainable AI in Healthcare: Factors Influencing Medical Practitioners' Trust Calibration in Collaborative Tasks. Proceedings of the 57th Hawaii International Conference on System Sciences (HICSS-57). https://doi.org/10.24251/HICSS.2024.402
- Hamric, A. B., Borchers, C. T. & Epstein, E. G. (2012). Development and Testing of an Instrument to Measure Moral Distress. AJOB Primary Research, 3(2), 1–9. https://doi.org/10.1080/21507716.2011.652337
- Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.
- Kempt, H. & Nagel, S. K. (2022). Relative Explainability and Double Standards in Medical Decision-making: Should Medical AI Be Subjected to Higher Standards in Medical Decision-making than Doctors? Ethics and Information Technology, 24(20). https://doi.org/10.1007/s10676-022-09646-x
- Lawton, T., Morgan, P., Porter, Z., Hickey, S., Cunningham, A., Hughes, N., Iacovides, I., Jia, Y., Sharma, V. & Habli, I. (2024). Clinicians Risk Becoming 'Liability Sinks' for Artificial Intelligence. Future Healthcare Journal, 11(1), 100007. https://doi.org/10.1016/j.fhj.2024.100007
- Laxar, D., Eitenberger, M., Maleczek, M., Kaider, A., Hammerle, F. P. & Kimberger, O. (2023). The Influence of Explainable vs Non-explainable Clinical Decision Support Systems on Rapid Triage Decisions: A Mixed Methods Study. BMC Medicine, 21(359). https://doi.org/10.1186/s12916-023-03068-2
- Lazarus, R. S. & Folkman, S. (1984). Stress, Appraisal, and Coping. Springer.
- Lee, J. D. & See, K. A. (2004). Trust in Automation: Designing for Appropriate Reliance. Human Factors, 46(1), 50–80. https://doi.org/10.1518/hfes.46.1.50_30392
- Mayer, R. C., Davis, J. H. & Schoorman, F. D. (1995). An Integrative Model of Organizational Trust. Academy of Management Review, 20(3), 709–734. https://doi.org/10.2307/258792
- Medical Device Coordination Group. (2019). MDCG 2019-11: Guidance on Qualification and Classification of Software in Regulation (EU) 2017/745 – MDR and Regulation (EU) 2017/746 – IVDR. European Commission.
- Morley, G., Ives, J., Bradbury-Jones, C. & Irvine, F. (2017). What Is 'Moral Distress'? A Narrative Synthesis of the Literature. Nursing Ethics, 26(3). https://doi.org/10.1177/0969733017724354
- Naiseh, M., Cemiloglu, D., Al-Thani, D., Jiang, N. & Ali, R. (2021). Explainable Recommendations and Calibrated Trust: Two Systematic User Errors. Computer, 54(10), 28–37. https://doi.org/10.1109/MC.2021.3076131
- Panigutti, C., Beretta, A., Fadda, D., Giannotti, F., Pedreschi, D., Perotti, A. & Rinzivillo, S. (2023). Co-Design of Human-centered, Explainable AI for Clinical Decision Support Systems. ACM Transactions on Interactive Intelligent Systems, 13(4), 1–35. https://doi.org/10.1145/3587271
- Pilon, M. & Brouard, F. (2023). Conceptualizing Accountability as an Integrated System of Relationships, Governance, and Information. Financial Accountability & Management, 39(2), 421–446.
- Rezaeian, O., Asan, O. & Bayrak, A. E. (2025). The Impact of AI Explanations on Clinicians' Trust and Diagnostic Accuracy in Breast Cancer. Applied Ergonomics, 129, 104577. https://doi.org/10.1016/j.apergo.2025.104577
- Tun, H. M., Rahman, H. A., Naing, L. & Malik, O. A. (2025). Trust in Artificial Intelligence-based Clinical Decision Support Systems Among Health Care Workers: Systematic Review. Journal of Medical Internet Research, 27, e69678. https://doi.org/10.2196/69678
- Whitney, C., Preis, H., Vargas, A. R., et al. (2025). Anticipatory Moral Distress in Machine Learning-based Clinical Decision Support Tool Development: A Qualitative Analysis. SSM – Qualitative Research in Health, 7(1), 100540. https://doi.org/10.1016/j.ssmqr.2025.100540
Website der International School of Management (ISM) / Website zum Fernstudium der ISM
Transkript anzeigen
00:00:01: Hallo und herzlich willkommen zu einer neuen Folge von ISM Perspectives On.
00:00:20: Mein Name ist Julian Tröntle, ich bin Redakteur im Fernstudium am ISM Campus Stuttgart und mein Gast heute ist Marie Trompe.
00:00:28: Sie ist aktuell Doktorandin am Center for Leadership and People Management an der LMU und zugleich wissenschaftliche Mitarbeiterin am ISM Campus München.
00:00:38: Studiert hat sie zuvor an der University of California, Santa Barbara und an der ISM in den Feldern Psychological Science, Brain Science & Management.
00:00:47: Ihr aktuelles Forschungsprojekt ist als Kooperation zwischen der LMu und der ISm angelegt.
00:00:54: Sie untersucht auch in Form der Mensch-KI-Kollaboration im Krankenhauskontext mit Schwerpunkten auf Governance, Vertrauen moralischen Belastungen und angemessenen Vertrauen im Rahmen klinischer Entscheidungsunterstützungssysteme.
00:01:08: Klingt recht abstrakt und komplex.
00:01:10: erst mal – ich versuche es mal etwas herunterzubrechen – letztlich untersucht sie in ihrer Forschung die Potenziale und Defizite Collaboration und wie diese Form der Kollaboration zwischen Ärzte, Innen- und Technologie für alle Beteiligte nicht zuletzt auch für die Patientinnen sinnvollen Klinikalltag integriert werden können.
00:01:32: Ja und über diese sehr spannenden Fragestellungen das spannende Forschungsprojekt wollen wir heute mit ihr sprechen und ich freue mich sehr dass sie sich die Zeit genommen hat.
00:01:40: herzlich willkommen hier im Podcast Marie Tromke.
00:01:41: Hallo!
00:01:43: Ich freue mich über die Einladung.
00:01:45: Ja ein zentrales Konstrukt um das ist dir in deiner aktuellen Forschung zur KI im medizinischen Kontext geht, ist ja das des Vertrauens.
00:01:54: Es liegt irgendwie auf der Hand, warum gerade Vertrauen in diesem Feld in Interaktion mit Ärzten eine sehr besondere Rolle spielt?
00:02:02: Das geht für die Patientinnen immerhin um höchst private Fragen, die den eigenen Körper und die eigene Gesundheit betreffen.
00:02:10: Ich habe in Vorbereitung auf unser Gespräch aber auch abseits dieses konkreten situativen Kontexts im Krankenhaus viel über als Phänomen nachgedacht, besonders über das richtige Maß an Vertrauen gegenüber der eigenen Umwelt.
00:02:23: Wie vertrauen ist notwendig?
00:02:25: Wie viel ist gefährlich?
00:02:26: Mir scheint, dass es könnte man in einer gesunden Mitte zwischen diesen beiden Polen fast so ein Fundament für ein gelingendes Leben bezeichnen.
00:02:35: Deshalb lassen wir uns mal ganz kurz auf dieses Konstrukt Vertrauen blicken!
00:02:39: Wie definierst du Vertrauen im Rahmen deiner Forschung und wie lässt sich das richtige Maß an Vertrauen überhaupt
00:02:45: operationalisieren?!
00:02:47: Also wenn wir über Vertrauen sprechen, lohnt es sich auch erst mal kurz zu schauen dass es da verschiedene Sichtweisen mit Definitionen gibt.
00:02:55: Die erste die für uns relevant ist und wo wir wahrscheinlich so im Alltag am meisten mitzutun haben ist eine psychologische Definition.
00:03:03: Da ist Vertrauen eher die Bereitschaft sich gegenüber den Handlungen von der anderen Partei verletzlich zu machen weil man einfach erwartet das die auch ne bestimmte handlung ausfüllen ohne dass man jetzt laufen permanenter Leben stehen muss und die bei jedem kleinen Schritt kontrolliert.
00:03:18: Und da spricht man aber meistens von einer zwischenmenschlichen Beziehung, von einem zwischenmännlichen Vertrauen.
00:03:25: Für den Kontext, den ich mir anschaue – also im KI-Kontext in der Klinik ist er die Übertragung von der Definition auf so eine Menschmaschinenbeziehung entscheidender.
00:03:36: Da gilt die Definition, dass Vertrauen eine Einstellung ist gegenüber einem Agenten Erinnern aber einer unsicheren und letztlichen Situation zu erreichen.
00:03:46: Also es geht nicht mehr nur um Vertrauen zwischen zwei Menschen, sondern auch einem Agenten.
00:03:51: in dem Fall jetzt eine NKI unterstützt Entscheidungshilfe.
00:03:54: Du hast jetzt in deiner Antwort schon ja einige Schlaglichte auf das Forschungsprojekt geworfen.
00:03:59: Vielleicht kannst du uns zu Beginn des Gesprächs einmal kurz in kondensierter Form einführen in dein Projekt?
00:04:05: Was ist die konkrete Fragestellung und welches Design verwendest du, um dich dieser Frageställungen zu nähern?
00:04:12: Du hast es vorhin auch schon angesprochen, das ist sehr kurz eingeleitet und auch gleich gesagt klingt doch ein bisschen abstrakt.
00:04:17: Und genau da wollte ich auch nämlich ansetzen – und zwar dass man gerade Governance so einen Schlagwort und eher verbindet man damit irgendwelche abstrakten Policy-Dokumente.
00:04:28: Ich würde gerne aber einen Schritt weitergehen und Governance eher als das an der konkreten Entscheidungsschnittstelle anzugucken was das für Klinikerinnen bedeutet.
00:04:40: Da operationalisiere ich zwei zentrale Governance-Dimensionen, nämlich Transparenz.
00:04:46: Also jetzt im Fall von KI mit die KI Entscheidung erklärt bekomme ich confidencewerte.
00:04:51: also das System liegt zu sechzig Prozent richtig und wird mir zum Beispiel gesagt woher die Daten kommen.
00:04:58: Und zweite Governance Dimensionen die ich mir anschaue ist Accountability, also Verantwortungstrusschreibung.
00:05:04: Wer trägt letztendlich die Verantwortung für die Entscheidung?
00:05:09: meine Entscheidung nachverfolgt und auch Oversight-Strukturen.
00:05:12: Also gibt es bestimmte Gremien, die sich das im Nachhinein angucken?
00:05:16: Genau!
00:05:17: Und ich gucke mir diese zwei Sachen an in dem Experiment einer Simulation von einem, das nennt sich CDSS, also dem Clinical Decision Support System.
00:05:26: Man kann sich das so ein bisschen vorstellen wie eher Entsetivity im Klinik Kontext arbeiten natürlich mit Vitalwerten, Laborwerten und geben dann Empfehlungen zur Behandlung oder zu Diagnostik.
00:05:39: Und ich schaue mir dann an wie diese verschiedenen Governments Dimensionen, je nachdem wie die ausgeprägt sind.
00:05:45: Wie sie sich auf Moral Distress und Trust auswirken und letztendlich auch die Appropriate Reliance.
00:05:53: Jetzt sind ganz viele Begriffe gefallen, auf die wir im Laufe des Gesprächs auf jeden Fall noch einzelner und dezidiert eingehen werden.
00:06:00: Vielleicht vorab nochmal einen Schritt zurück.
00:06:02: Wie etabliert ist denn diese Form der Human AI Interaction heute bereits im Alltag von medizinischem Personal?
00:06:09: Welche Anwendungsfelder gibt es da und liegt überhaupt Evidenz vor, dass der Einbezug von KI auch zu besseren Entscheidungen, also zu besserem therapeutischen Entscheidungen seitens der Ärztinnen führt.
00:06:20: Das Thema wird auf jeden Fall immer relevanter.
00:06:23: die FDA hat seit den Steigerungen von damals fünfzig zugelassene KI-Medizinprodukte bestgestellt.
00:06:34: Und heute oder zum letzten Messungszeitpunkt, im Jahr zwanzig waren es schon tausend zweihundertfünfzig.
00:06:39: Also da ist definitiv ein deutlicher Anstieg zu erkennen und der Schwerpunkt liegt bei diesem System aber immer noch so auf redikativen Modellen vor allem auch das was eigentlich im logischen ist und was man jetzt vielleicht auch schon aus dem Alter kennt in der Radiologie und generell in der bildgebenden Diagnostik.
00:06:57: Im Vorgespräch hast du auch angemerkt, dass der Faktor Zeit eine wesentlichen Einfluss auf Entscheidungssituation hat, in denen der Aspekt Vertrauen relevant wird.
00:07:07: Welche Hypothesen waren in dem Zusammenhang wesentlich für deinen Forschungsvorhaben?
00:07:11: Also wie weit ist der Faktor Zeit da eingeflossen?
00:07:15: Ich gucke mir bei meinem Experiment versucht es ein bisschen nachzusimulieren weil wenn man an Ärzte und Ärztin im Krankenhaus denkt, kann man sich auch vorstellen, dass die jetzt nicht ewig Zeit haben, sich jeden einzelnen Patienten anzugucken.
00:07:28: Deswegen habe ich das so.
00:07:29: als realistische Rahmenbedingung nehme ich das mit rein.
00:07:32: Wichtig dabei ist zu erkennen, dass Zeit auch immer ein Alphastrophat wie wir Informationen verarbeiten.
00:07:38: also da es das theoretische Gerüst dahinter die Dual Process Theorie von Kanoman.
00:07:43: Er sagt nämlich unter Zeitdruck was wir dann in dem Krankenhaus haben Dominiert man System I, dass so die schnelle heuristische denken.
00:07:50: Also wo wir Heuristiken verwenden sind mentalen Abkürzungen und das dominiert gegenüber von dem System II.
00:07:57: Das ist das langsame und eher konkrete Gedanken Und für diesen Kontext von CDSS ist es auch gut abgesichert.
00:08:05: Da wird nämlich gezeigt, dass einmal Workload Aufgaben Komplexität und vor allem auch Zeit Restriktion Als eine zentrale Mediatoren von der Automation bei ist später noch drauf.
00:08:17: Eine Art von Overtrust, dass das extreme Auswirkungen hat auf die Anfälligkeit davon, dass wir einfach einem KI-System blind vertrauen, egal ob die Entscheidung in dem Fall richtig oder falsch ist.
00:08:29: Genau diese Automation Bias ist eben genau das nämlich, dass man die Information oder die Empfehlung, die die KI ausspuckt und reflektiert anwendet, richtig?
00:08:40: Genau, also das ist eine Tendenz einfach automatisierte Empfehlung unkritisch zu folgen.
00:08:45: Und da gibt es aber, muss man auch nochmal unterscheiden von der Automation Bias, gibt's auch noch mal zwei Fehler-Typen.
00:08:51: Das ist einmal die Decommission Error Also das klassische wenn eine falsche Empfehlungen einfach aktiv übernommen wird ohne die zu reflektieren und dazu sprechen.
00:09:00: und dann gibt es auch noch den Ummission Error und Der bedeutet dass so die eigentliche eigentliche korrekte Wahrnehmung unterdrückt wird weil das System schweigt.
00:09:09: Also um es ein bisschen konkreter zu machen, wenn zum Beispiel der Radiologie-Ki-Assistent einen kleinen Tumor übersieht und ich mich dann als Ärztin darauf verlasse dass ja schon Alarm käme.
00:09:20: Wenn was wäre, dann übersehe ich das weil ich einfach nicht mehr so genau hinschaue und das wär auch Automation Bias.
00:09:27: Ja und dieser Automation bias kann – wir haben gerade schon gesagt die KI ist nun mal nicht unfehlbar im stimmsten Fallen auch zur ärztlichen Fehnentscheidung führen.
00:09:36: Und das kann dann wiederum unter Umständen auch zu einer prinzipiellen Ablehnung der Technologie führen, der sogenannte Algorithm-Aversion.
00:09:44: Wie äußert sich denn eine solche Algorithmeversion in der medizinischen Praxis?
00:09:49: Dritt sie ausschließlich auf Seiten der betroffenen PatientInnen auf die dann quasi von einem ja, einer Fehlentscheidung oder dem Fehlempfehlung der KI betroffen sind?
00:09:58: oder kann es auch beim medizinischem Personal zu so einer Aversion kommen?
00:10:04: Bei Patientenseitig ist die Version bereits gut belegt.
00:10:09: Im klinischen Kontext, also was Ärztinnen und Ärzte angeht, da ist in Befundlage ein bisschen differenzierter.
00:10:14: Es gab mal einen renovisiertes Experiment wo man sich Radiologen und nicht spezialisierte Ärzten, wo man sie verglichen hat.
00:10:22: Und da mussten Radiologin auch KI-Empfehlungen haben die vorgelegt bekommen und die haben Empfehlung als niedriger bewertet wenn die von der KI standen und nicht spezialisierte Ärzte haben das nicht gemacht.
00:10:34: Und da ist es spannender, dass die Genauigkeit aber trotzdem von beiden Gruppen sich verschlechtert hat, sobald die Empfehlung der KI inkorrekt war und die Folgen davon man sowas mehrfach erlebt, ist das wir trotzdem noch, also wir auch Ärztinnen und Ärzten eingeschlossen Menschen Fehler erverzeihen.
00:10:53: Also wenn jetzt die Empfehlungen von anderen Radiologen kamen wurde er so gesagt, ja okay vielen ist menschlich das passiert und man hat der person danach immer noch.
00:11:04: Fast zum gleichen maß vertraut oder zum gleichen maß bei einer k i sind so viel dritter.
00:11:11: Viel schwerwiegender also.
00:11:12: das hat einen vertrauenden langfristig geschwächt und kann natürlich dann.
00:11:17: Langfristig auch algorithm version gehen.
00:11:20: die andere seite von automation bias
00:11:23: liegt es auch daran dass man letztlich bei ... menschlichen Empfehlungen, wenn die zu einer Fehlentscheidung führen.
00:11:31: Ja man letztlich auch keine Wahl hat!
00:11:34: Es gibt ja keine Human Aversion in dem Sinne... Man muss wieder auf Menschen vertrauen können, sonst kommt mir irgendwie nicht klar aber... Die Ablehnung der Technik ist aktuell immer noch ein gangbarer Weg für medizinisches Personal?
00:11:46: Würde ich schon sagen und gerade dass sowas wie Transparenzen eine große Rolle spielt.
00:11:50: Eine KI ist ja immer noch zum Großteil für uns ne Black Box.
00:11:55: Und wir können nicht verstehen wie sie teilweise auf Empfehlungen kommt und lässt es auch teilweise nicht zu.
00:12:01: Also selbst wenn man Nachfrag nachforscht, kommt man nicht zur.
00:12:05: der einen Code-Zeile die uns dann die Empfehlung gegeben hat ist bei menschlichen Ratschlägen total anders.
00:12:12: da kann ich ja reingehen und nachfragen Wie sind Sie zu der Diagnose X gekommen?
00:12:17: Und bekommt da dann ja auch eine differenzierte Antwort und kann da viel mehr entscheiden.
00:12:22: okay vertraue ich der Person weil seine Begründung für mich plausibel war oder eher in Zukunft nicht.
00:12:29: Bleiben wir mal kurz beim medizinischen Personal und stellen uns vor, ein KI-Assistent kommt auf Basis seiner wie du gesagt hast in der Regel nicht im Detail nachvollziehbaren Erkenntnis dass für Patientin XY akut einen spezifischer Eingriff notwendig ist.
00:12:46: Der Arzt oder die Ärztin würde aber auf Basiss seines oder ihres Erfahrungswissens zunächst eigentlich lieber eine andere Therapie anderen Ansatz wählen.
00:12:55: Er oder sie müssen sich also über die Empfehlung der KI hinwegsetzen, um der eigenen Intuition folgen zu können.
00:13:02: Welche psychologischen Effekte wirken denn in solchen Momenten und wie gehen ÄrztInnen in der Regel damit um?
00:13:09: Eine generelle Regel jetzt auszusprechen.
00:13:11: Ich glaube das wäre schwer.
00:13:12: es kommt auf jeden Fall nochmal zurückbezugt zu dem System Eins.
00:13:15: was ist System Zwei.
00:13:17: Je nachdem wie viele kognisive Kapazitäten ich gerade habe wenn ich ermüdet bin Wenn ich grade der Zeitdruck enorm hoch ist wieder eher zu Automation-Bias, dass ich einfach folge.
00:13:29: Was aber auch ein riesen psychologisches Problem ist mit psychologischer Belastung in dem Kontext ist Moral Distress.
00:13:38: Das ist eine psychische Belastungen die entsteht wenn man die ethische korrekte Handlung eigentlich erkennt Aber durch im Kontext jetzt von Krankenhäusern und Kliniken Durch institutionelle oder organisationale Hindernisse daran gehindert wird umzusetzen.
00:13:54: Wenn Moral Distress länger besteht, kann das zu Emotional Exhausten und dann letztendlich auch zur Burnout führen.
00:14:03: Weil es für mich ein langer Strain ist, eine chronische Belastung die dann letztlich meine Arbeitsbelastung so weit erhöht dass ich eben ins Burnout kippen kann.
00:14:13: Man kann solches hinwegsetzen über die algorithmische Empfehlung ja durchaus wie gesagt zur fehlentscheidung führen.
00:14:19: Es kann aber auch umgekehrt auf vorkommen, dass die KI-Empfehlung sich als... ...die falsche entpuppt.
00:14:24: du sagst das bei der Attribuierung der Schuld aber stets das medizinische Personal in die Verantwortung gezogen wird.
00:14:30: man spricht im Zusammenhang auch von davon, dass ÄrztInnen als LiabilitySings also als Haftungssenken sozusagen fungieren.
00:14:39: Das erscheint intuitiv natürlich erstmal unfair.
00:14:42: warum Erfolgt die Attribuierung der Verantwortung in der Regel denn auf den Menschen und nicht auf die Technologie bzw.
00:14:48: deren Entwicklerinnen?
00:14:49: Weil aktuell ist die Lage noch so, dass Hersteller Krankenhäuser auch noch Aufsichtsbehörden gegen die Haftung eigentlich weitgehend abgesichert sind.
00:14:57: Also da erfließt dann die Verantwortung entlang der Akteurskette und landet dann ganz unten bei dem letzten menschlichen Entscheidungsinstanz.
00:15:07: und das ist einfach aktuell noch die Arztin.
00:15:11: Und das ist, muss ich auch sagen, geschieht ganz unabhängig davon, ob die Person die Empfehlung von dem System überhaupt als sinnvoll überprüfen konnte.
00:15:20: Also auch wieder Stichwort Blackbox, auch wenn die Person nicht reingucken konnte wie die Empfehlungen entstanden sind, ist sie trotzdem die letzte Person in der Entscheidungsinstanz und die Verantwortung bei ihr hängen.
00:15:33: Das ist sowohl doppelseitig, wenn ein KI-Alarm folgt der Arzt oder die Ärztin wegen einer mangelnden kritischen Prüfung.
00:15:44: Aber auch wenn er Alarm ignoriert und was schief geht, haftet er trotzdem oder sie wegen Fahrlässigkeit.
00:15:51: Und das ist einfach eine extrem strukturelle Falle, bei der Arbeit als ÄrztInnen und Arzt.
00:15:58: Man kann so gesehen dem nicht entkommen.
00:16:01: Diese einseitige Verantwortungsattribuierung führt zu deiner These eben zum erheblichen moralischen Stress, das hast du gerade schon gesagt.
00:16:08: Für das medizinische Personal und langfristig könnte sich es auch in ansteigenden Burnoutquoten äußern.
00:16:13: Du plädierst daher für eine Art Neujustierung der Verantwortung bei der medizinischen Kollaboration richtig?
00:16:19: Zwischen Mensch- und KI sozusagen.
00:16:22: Wie könnte eine solche NeuJustierung denn konkret aussehen?
00:16:26: Genau, was ich in meinem Experiment mir anschaue ist gerade noch sehr hypothetisch.
00:16:31: Also ich schaue mir einmal Accountability an und da setze ich dann die Robanten in verschiedene Experimentalgruppen also eine ein.
00:16:40: das waren wie es jetzt auch ist die letzte Entscheidungsistanz damit die Verantwortung hat.
00:16:45: Die andere Gruppe wäre aber dass man die Verantwortung nicht trägt beziehungsweise auch nicht alleine was momentan zukünftig senken ist und wie gesagt jetzt noch nicht der Fall ist.
00:16:55: Es wäre aber für mich auf jeden Fall ein Wunschziel, dass dieses Liability-Sync verschwindet oder zumindest verringert wird.
00:17:03: Ich muss aber sagen, dass das auch aktuell von der Rechtslage her bewegt sich das auch schon meiner Meinung nach in eine gute Richtung und zwar der EU AI Act des seit Jahrzehnte und vierzehn Krafts.
00:17:15: Der Stuft wenig überrascht, weil wer bei PE unterstützt die Entscheidungsunterstützung im Klinik Kontext teilweise uns mit Leben und Tod behandeln.
00:17:24: Stufe der als Hochrisikokai ein.
00:17:27: Das heißt, Hersteller müssen technische Dokumentationen, Risikomanagement, Logging und nachweisbare menschliche Aufsicht immer sicherstellen.
00:17:37: Und das zweite meiner Meinung nach Positivbewegung ist die neue EU-Produkthaftrichtungslinie.
00:17:44: Die hat die Umsetzungsfrist bis Dezember zwölf sechszehnzig also dieses Jahr und da soll dann KI-Explizit als Produkt behandelt werden.
00:17:55: Also vorher war das immer noch so eine Grauzone, in der wir uns da bewegt haben und da wird es dann aber explicit als produkt behandelt und das heißt auch dass dem Hersteller eine verschuldensunabhängige Haftung zugewiesen wird.
00:18:10: Und zwar auch immer für den ganzen Produktlebenszug.
00:18:12: Gerade bei KI entwickelt sich ja ständig weiter Lernt dazu trotzdem auch durch das ganze neue Wissen, dass nicht die KI wahrscheinlich in der Klinik dann aneignet trotzdem noch der Hersteller dafür hafend.
00:18:23: Was einfach, wenn wir jetzt wieder aus Liability-Sync zu bekommen einen gewissen Teil von Schuld dem Arzt oder die Ärztin abgenommen wird?
00:18:33: Jetzt ist das was du beschrieben hast vor allem die rechtliche administrative Dimensionen, die du adressiert hast um da auch herzuwerden vielleicht auch diese Liabilities Sync abzumildern auf Seiten der Ärzte innen.
00:18:48: Meine Frage wäre Mensch, also der Patient überhaupt fähig auf sowas wie... Also eine Schuldzuweisung auf so was abstraktes.
00:18:59: Wie eine Technologie zu attribuieren oder braucht es immer einen menschlichen Sündenbock?
00:19:04: Das ist ne sehr schwierige Frage.
00:19:07: ich glaube aktuell braucht es noch ein menschlichem Sünden-Bock, menschliche nicht im Sinne von einer Einzelperson.
00:19:13: davon würde ich mich nämlich gerne entfernen, weil bei diesem ganzen Konstrukt von Hersteller vom KI Programmierer, Krankenhaus, Gremien und am Ende dann Arzt im Ärztin.
00:19:24: Es sind ja immer viele Leute daran erteiligt.
00:19:27: deswegen würde ich mir einfach aus Bauchgefühl herwünschen dass sich auch eben diese Verantwortung verteilt das Ärzte und Ärzten immer noch angehalten sind kritisch zu denken.
00:19:36: da gibt es auch mehr Implementationen.
00:19:38: das zum Beispiel sich die KI-Empfehlung erst nach paar Sekunden freischaltet, dass man wirklich noch mal zum Stoppen gezwungen wird um nochmal zu reflektieren.
00:19:49: Dass so Sachen mehr implementiert werden aber auch das wir weg von dieser Blackbox kommen.
00:19:54: also das vorher war es so wenn's eine Fehlentscheidung gab und die dann auch für Schaden gesorgt hat und der Patient dann am Ende vor Gericht gegangen ist musste er nachweisen in welcher Zeile vom Code er der Fehler entstanden ist.
00:20:06: Das ist ja oft nicht möglich und dass wir da einfach transparenter werden und sich die Verantwortung weg von den Ärztinnen und Ärzten hinzu Hersteller bewegt, dass sie nicht einfach ihre Systeme rausgeben.
00:20:18: Und nur dann absichern okay das ist ein System zum Punkt X und alles was danach passiert liegt nicht mehr in unserer
00:20:24: Verantwortung.".
00:20:27: Oder vielleicht wäre es zumindest schon mal Einschritte in die richtige Richtung, dass eben nicht mehr die individuelle Fehlentscheidung des Arztes dann letztlich dieser Liability Sync darstellt, sondern vielleicht die Institution Klinik in der Art Zusammenschluss.
00:20:45: Vielleicht auch mit diesen KI Anbietern gesehen wird und also quasi die Instituation als ja Liability-Sync fungieren könnte?
00:20:52: Das wäre auf schon mal nennen.
00:20:53: Das war auf jeden
00:20:54: Fall ein Trotschritt auch, dass die KI nicht einfach sehr oft gesagt auch die Ärztinnen und Ärzte losgelassen wird, sondern das Institutionen, die mit diesem System anarbeiten... auch Schulungen und Trainingsanbieten, aber auch Strukturen implementieren.
00:21:10: Das Feedback... Und vielleicht, wenn wir jetzt wieder in einem Automation bei uns, vor allem mit version denken, dass diese Probleme angesprochen werden können und das da mit Technologieakzeptanz dagegen vorgegangen wird, dass man einfach die Ärztinnen und Ärzte, gerade auch ältere schon Eid eingesestene Dass die unterstützt werden, dass sie mit den Systemen auch zurechtkommen und das sie dann letztendlich auch.
00:21:36: Der Ziel ist ja Effizienz, dass es auch umgesetzt werden kann.
00:21:43: Jetzt hast du gesagt, du bist noch relativ am Anfang.
00:21:46: was sind denn für dich die nächsten Schritte?
00:21:49: Und wann kann mit einer Veröffentlichung von ersten Ergebnissen gerechnet
00:21:53: werden?
00:21:53: Ich bin immer noch in der Phase von meiner... ...Vidiat- und Simulationsvalidierung dadurch keinen medizinischen Hintergrund habe und mich aber mit dem Fall Sepsis beschäftige, weil mich das einfach interessiert hat.
00:22:09: Da beim Anfang sagt wo es am meisten und dann schon benutzt wie das Radiologie oder Dermatologie da sind die KI-Systeme auch schon relativ gut.
00:22:18: also da sprechen wir von acht, neun, neinzig Prozent Richtigkeit was Sepses angeht allerdings ein paar Prozent Stufen Liedriger eher so von seventy bis eighty Prozent
00:22:33: Selbst ist ganz kurz auch für nicht medizinisch geschulte höheren.
00:22:38: Das habe ich eben auch ausgewählt, wir haben ja auch am Anfang über Zeit gesprochen weil es da doch sehr zeitkritisch ist und dann ist auf.
00:22:45: die Chance für KI da zu unterstützen ist sehr groß.
00:22:48: allerdings sind wie gesagt die KI-Systeme noch nicht so realiabel dass man sich blind darauf vertrauen könnte.
00:22:54: deswegen brauchen wir da Appropriate Reliance und Calibrated Trust um diese Effizienz von den Systemen auch wirklich richtig nutzen zu können.
00:23:03: Genau, also was konkrete Daten angeht haben wir und habe ich aktuell noch keine.
00:23:08: Wir sind immer noch wie gesagt bei der Validierung und fangen dann mit der Rekrutierung an.
00:23:13: Da ist zeitlich relativ schwer abzuschätzen würde ich sagen aber mein Plan wäre dass wir mit der Erhebung Ende Sommer Anfang Herbst Und mein zeitliche Plan ist dann im Rahmen der Promotion, das Experiment fertigzustellen und dann je nachdem.
00:23:30: es gibt so viel Spannendes dort aber vielleicht ergeben sich ja auch neue Forschungslücken mit den Ergebnissen.
00:23:39: Es war sehr spannend und ich glaube auch ein reichhaltiges Feld wo sicher neue Forschungslücken noch auftun werden.
00:23:45: Marie Trompke war das... Doktorandin am Center for Leadership and People Management an der LMU in München.
00:23:50: Ich sprach mit ihr über das Thema Verantwortung bei Formen der Human AI Collaboration im medizinischen Feld.
00:23:57: Vielen Dank für die spannenden Einblick
00:24:00: in den Forschung!
00:24:03: Die nächste Ausgabe von ISM Perspektives On gibt es voraussichtlich im Juni.
00:24:06: Auch darin wird es um KI gehen, nämlich um die Frage wie diese die Arbeit von Übersetzerinnen und Dolmetscherinnen transformiert.
00:24:14: Schaut gerne regelmäßig auf unseren Social Media Kanälen vorbei, um nichts zu verpassen!
00:24:18: Und wenn euch die Folge gefallen hat lasst uns gerne auch eine gute Bewertung da oder empfehlt sie weiter an FreundInnen, KommilitonInnen oder in der Familie.
00:24:26: Ich freue mich über Feedback und Anregungen und sage bis zum nächsten Mal und vielen Dank fürs Zuhören.
00:24:35: Alle im Interview genannten Quellen findest du in den Shownotes zur Folge.
00:24:39: Der
00:24:39: Podcast ISM Perspektives On wird präsentiert von der International School of Management.
00:24:45: Besuche unsere Website ism.de für alle Infos zu den angebotenen Bachelor- und Masterstudiengängen aus dem Bereich der Wirtschaftswissenschaften.
Neuer Kommentar