Knowing About KnowingAn Illusion of Human Competence Can Hinder Appropriate Reliance on AI Systems

Stell dir vor, du sitzt vor einer schwierigen Logikaufgabe. Du triffst eine Wahl, fühlst dich halbwegs sicher und dann zeigt dir eine KI ihre Empfehlung. Vertraust du ihr oder bleibst du bei dir? Genau hier setzt Metakognition an: das Wissen darüber, wie gut das eigene Wissen ist. Und hier stolpert auch der Dunning-Kruger-Effekt hinein — Menschen mit schwächerer Leistung neigen dazu, sich zu überschätzen, während gute Leute oft realistischer oder sogar zu bescheiden sind. In Teams aus Mensch und KI kann diese Fehleinschätzung den Ausschlag geben. Wir lassen gute KI-Ratschläge liegen oder halten an schlechten eigenen Entscheidungen fest. Das Ziel, so haben es He, Kuiper und Gadiraju auf den Punkt gebracht, ist komplementäre Teamleistung — also gemeinsam besser sein als jede Seite allein — und die hängt von kalibriertem Vertrauen ab: zu wissen, wann die Maschine recht hat und wann man selbst. Wie testet man so etwas ohne graue Theorie? Die drei haben sich für ein zweistufiges Entscheidungsparadigma entschieden, das auf dem anspruchsvollen Reclor-Datensatz für logisches Schlussfolgern basiert. Erst entscheiden die Teilnehmenden allein, dann sehen sie den Ratschlag der KI und bekommen je nach Bedingung auch eine Erklärung. In der zweiten Stufe dürfen sie ihre Antwort ändern. Die KI ist dabei bewusst nicht unfehlbar: In jedem Block mit sechs Ratschlägen liegen vier richtig und zwei falsch, also etwa 66,7 Prozent Genauigkeit. Das zwingt zur Abwägung. Insgesamt nahmen nach strengen Aufmerksamkeitschecks zweihundertneunundvierzig Personen teil, rekrutiert über Prolific, verteilt annähernd gleich auf vier Bedingungen. Im Schnitt benötigten sie rund 32 Minuten. Der menschliche Ausgangspunkt lag bei etwa 56,9 Prozent Genauigkeit; die KI lag, wie gesagt, höher. Aber die Musik spielt bei der Frage: Wie gehen die Menschen mit dem KI-Signal um? Zwei Interventionen standen im Raum. Erstens: Erklärungen. Hier setzten He, Kuiper und Gadiraju auf „logic units“ — Textpassagen in Kontext und Antwortoptionen, die ein LogiFormer-Modell als besonders einflussreich markiert. Technisch steckt dahinter die Selbstaufmerksamkeit des Modells: Für jede Logikeinheit summieren sie die eingehende Aufmerksamkeit — man kann sich das wie das Aufaddieren aller Spalten in der Self-Attention-Matrix vorstellen — und wählen die Top 5 mit dem höchsten Gewicht. Diese fünf Passagen werden den Nutzerinnen und Nutzern visuell hervorgehoben, als Fenster in die vermeintliche Begründung der KI. Zweitens: ein Tutorial. Das ist keine trockene Belehrung, sondern ein kurzes Training mit Feedback und kontrastiven Erklärungen: Warum war meine Wahl falsch, warum ist die richtige Antwort richtig und wo irrt auch die KI? Die Idee ist simpel und stark: Wer seine eigene Fehleinschätzung erkennt und die Fehlbarkeit der KI sieht, kalibriert sich besser. Damit aus Bauchgefühl Daten werden, haben die Forschenden sauber gemessen. Metakognitive Kalibrierung fassen sie über zwei Größen: den Grad der Fehlkalibrierung, also die Differenz zwischen geschätzter und tatsächlicher Zahl korrekter Antworten in Absolutwerten, und die Richtung der Selbsteinschätzung, also geschätzt minus tatsächlich. Reliance, also die Frage, wie sehr man sich auf die KI stützt, spiegelt sich in der Agreement Fraction — wie oft endet man auf derselben Antwort wie die KI — und der Switch Fraction — wie oft man bei anfänglicher Nicht-Übereinstimmung zur KI-Antwort wechselt. Zwei relative Maße, RAIR und RSR, fassen positive KI-Reliance und positive Selbst-Reliance zusammen. Und weil Vertrauen nicht nur Verhalten, sondern auch Gefühl ist, kommt noch „Trust in Automation“ dazu, samt einer Skala für generelle Vertrauensneigung. Jetzt zum Kern: Was sagt Dunning-Kruger in dieser Teamarbeit wirklich voraus? Eine Menge. Als He, Kuiper und Gadiraju die Leute nach ihrer Selbsteinschätzung aus der ersten Runde gruppierten, zeigte sich ein klares Muster. Die Überschätzerinnen und Überschätzer verließen sich weniger auf die KI und schnitten schlechter ab. Die Under-Gruppe, also jene, die sich unterschätzten, erreichte bei der Gesamtgenauigkeit im Schnitt 0,72, die akkurat Eingeschätzten 0,61 und die Over-Gruppe nur 0,45. Wenn es darum ging, bei anfänglicher Nicht-Übereinstimmung noch umzuschwenken, lag die Switch Fraction bei den Unterschätzenden bei 0,50, bei den Akkuraten bei 0,53 und bei den Überschätzenden nur bei 0,32. Besonders deutlich wurde das Bild, wenn man genau die Fälle anschaut, in denen die erste Intuition der Teilnehmenden von der KI abwich: Die Genauigkeit mit anfänglicher Nicht-Übereinstimmung lag in der Under-Gruppe bei 0,65, in der Over-Gruppe bei mageren 0,28. Und RAIR, also relative positive KI-Reliance, fiel von 0,65 in der Under-Gruppe auf 0,27 bei den Überschätzenden. Kurze Pause zum Verdauen: Wer sich überschätzt, wechselt seltener zur richtigen KI-Antwort, gerade dort, wo es am meisten zählt — in Konfliktsituationen — und verschenkt damit Teamleistung. Kann man diese Kalibrierung trainieren? Das Tutorial liefert eine klare Antwort: ja, aber mit Nuancen. Über alle Teilnehmenden hinweg sank der Grad der Fehlkalibrierung von 1,67 in der ersten Runde auf 1,14 in der zweiten; ein Wilcoxon-Test zeigte einen p-Wert unter 0,001. Getrennt betrachtet, verbesserten sich sowohl die Unterschätzerinnen und Unterschätzer — mit einem p-Wert von 0,002 — als auch die Überschätzerinnen und Überschätzer — mit einem p-Wert von 0,012. Das Training traf also genau den Nerv: Menschen bekamen ein realistischeres Bild ihrer eigenen Leistung. Doch Kalibrierung ist nicht automatisch gleichbedeutend mit besseren Entscheidungen in der zweiten Runde. Für die Over-Gruppe gab es deutliche Signale für passendere Reliance — mehr sinnvolles Umschwenken zur KI und bessere Ergebnisse in den heiklen Fällen mit Nicht-Übereinstimmung. Für die Under-Gruppe war das Bild gemischter: Manchmal kippte ihre anfängliche Vorsicht in Algorithmus-Aversion oder eine neue, unglückliche Selbstüberschätzung, die die Leistung sogar drückte. Ein starkes Indiz für die Wirkkette liefert die Korrelationsanalyse. Bei den Überschätzenden erklärte die Verbesserung der Selbsteinschätzung knapp 59,3 Prozent der Zuwächse in der Genauigkeit; bei den Fällen mit anfänglicher Nicht-Übereinstimmung waren es 55,5 Prozent. Auch das Reliance-Verhalten besserte sich in dem Maß, in dem die eigene Kalibrierung präziser wurde: Für RAIR erklärten die Veränderungen 32,0 Prozent der Varianz, für RSR zwölf Komma neun Prozent. Heißt übersetzt: Wer seine Fehleinschätzung ablegt, nutzt die Stärken der KI effektiver und genau deshalb steigt die Teamleistung. Bei den Unterschätzenden erzählte die Statistik eine andere Geschichte: Verbesserte Kalibrierung ging teils mit sinkender Genauigkeit einher; etwa 26,2 Prozent der Rückgänge ließen sich so erklären. Das ist unbequem, aber wichtig: Dieselbe Maßnahme, die Überschätzenden hilft, kann für Unterschätzende Nebenwirkungen haben. Und die Erklärungen? Die elegant markierten logischen Spannen, die Top 5, die das Modell am stärksten „beachtet“? Sie haben in dieser Form nicht den Unterschied gemacht. Weder auf die Kalibrierung noch auf die Reliance-Maße zeigten sich robuste, signifikante Effekte, und auch im Zusammenspiel mit dem Tutorial war kein Verstärkereffekt zu sehen. Anders gesagt: Das Fenster in die Aufmerksamkeitsgewichte von LogiFormer hat die metakognitive Schulung nicht ersetzt. Warum? Hier lohnt es sich, sich klarzumachen, was diese Erklärungen eigentlich sagen. Sie zeigen, welche Textteile das Modell als einflussreich markiert — das drückt, formelhaft, „die Auswahl der k Logikeinheiten E mit den höchsten Spaltensummen der Self-Attention“ aus. Das ist eine strukturelle Begründung, keine pädagogische. Das Tutorial dagegen ist explizit lehrend und kontrastiv: Es zeigt, wo du falsch lagst, warum die korrekte Antwort trägt und wo auch die KI stolpern kann. Diese Mischung scheint den Hebel an der richtigen Stelle anzusetzen. Spannend ist, was sich bei Vertrauen tut und was nicht. Subjektives Vertrauen in die KI veränderte sich durch das Tutorial praktisch nicht: der Mittelwert ging von zwei Komma neun neun sechs auf drei Komma null eins sechs; statistisch ist das ein glattes „nichts passiert“. Allerdings korreliert die generelle Vertrauensneigung einer Person mit ihrem berichteten Vertrauen in die konkrete KI, und zwar leicht positiv. Heißt: Wer grundsätzlich eher vertraut, berichtet auch hier etwas mehr Vertrauen. Aber mit dem eigentlichen Reliance-Verhalten hing diese Neigung nicht zuverlässig zusammen. Das unterstreicht eine wichtige Trennung: Was ich fühle, ist nicht automatisch, was ich tue, wenn ich vor der Entscheidung sitze. Bevor wir zu weit spekulieren, ein Blick auf den Rahmen. Die Forschenden haben sauber gearbeitet: Zwei-mal-zwei-Design mit und ohne Tutorial, mit und ohne Erklärungen; zwei Aufgabenblöcke mit jeweils sechs Fragen, dazwischen ein vier Aufgaben starkes Tutorial, erzwungene Wartezeit von 30 Sekunden zwischen Seiten, um Hast zu dämpfen; und Qualitätskontrollen, damit die Daten tragen. Gemessen wurde nicht nur, ob das Endergebnis stimmte, sondern auch, ob Menschen gerade dann zur KI wechselten, wenn sie zunächst anderer Meinung waren — die Genauigkeit mit anfänglicher Nicht-Übereinstimmung ist genau dafür da. Und sie haben Grenzen klar benannt: Logik-Einheiten-Erklärungen sind nicht zwangsläufig pädagogisch wirksam, das Tutorial kann bei Unterschätzenden unerwünschte Effekte haben und man weiß noch zu wenig darüber, wie gut sich die Ergebnisse auf andere Aufgabenarten übertragen. Was bleibt als Summe? Erstens: Der Dunning-Kruger-Effekt ist in Mensch-KI-Teams nicht nur eine amüsante Anekdote, sondern ein leistungsrelevanter Faktor. Überschätzung geht mit Unter-Reliance einher, besonders in den Momenten, in denen man aus gutem Grund zur KI hätte wechseln sollen. Zweitens: Metakognitive Kalibrierung ist trainierbar. Ein kurzes, gut gemachtes Tutorial mit Feedback und kontrastiven Hinweisen senkt die Fehlkalibrierung deutlich — von 1,67 auf 1,14 — und hilft vor allem denen, die sich zuvor überschätzt haben, ihr Reliance-Verhalten sinnvoll anzupassen. Drittens: Nicht jede Erklärung ist eine Schulung. Erklärungen, die Aufmerksamkeitsgewichte visualisieren, mögen technisch elegant sein, aber ohne didaktische Führung bleibt der Sprung zur besseren Entscheidung aus. Und viertens, vielleicht das Praktischste: Wer Mensch-KI-Systeme baut, sollte Reliance nicht dem Bauch überlassen. Kalibrierte Selbstwahrnehmung ist der Dreh- und Angelpunkt. Trainings, die die eigene Leistung realistisch spiegeln und die Fehlbarkeit der KI offenlegen, sind ein wirksamer Hebel, solange sie Menschen nicht vom Regen in die Traufe schubsen, also Unterschätzende zu neuen Fehlkalibrierungen verleiten. Die Studienlage von He, Kuiper und Gadiraju ist dafür ein belastbarer Anker: klare Effekte bei der Kalibrierung, klare Zugewinne für Überschätzer, aber auch klare Grenzen. Zum Schluss ein kurzer Blick nach vorn, mit dem nötigen Augenmaß. Personalisierte Tutorials, zugeschnitten auf Over- und Under-Profil, könnten Nebenwirkungen abmildern und Effekte verstärken. Und statt Erklärungen über Modellaufmerksamkeit könnten kontrastive, auf die Denkfehler der Menschen zielende Erklärungen den Transfer ins Verhalten besser schaffen. Was diese Arbeit zeigt, ist weniger Magie als Handwerk: Gute Teamarbeit zwischen Mensch und KI beginnt mit ehrlicher Selbstkenntnis. Und die lässt sich lehren. Wir müssen es nur sorgfältig tun.