Understanding and the Black Box Problem in Artificial Intelligence

Titelangaben

Crook, Barnaby:
Understanding and the Black Box Problem in Artificial Intelligence.
Bayreuth , 2025 . - XVI, 281 S.
( Dissertation, 2025 , Universität Bayreuth, Kulturwissenschaftliche Fakultät)

Volltext

	Format: PDF Name: Crook_Barnaby_Understanding.pdf Version: Veröffentlichte Version Verfügbar mit der Lizenz Deutsches Urheberrechtsgesetz. Das Dokument darf zum eigenen Gebrauch kostenfrei genutzt werden. Darüber hinaus bedürfen die Vervielfältigung, Bearbeitung, Verbreitung und jede Art der Verwertung der schriftlichen Zustimmung des jeweiligen Rechteinhabers.
	Download (6MB)

Abstract

Artificial intelligence (AI) systems developed with automated machine learning procedures are used throughout industry, science, and society. However, the opacity of these systems threatens to undermine the satisfaction of critical desiderata including safety, trust, and fairness. This worry is known as the black box problem (BBP). In this dissertation, I develop a novel conceptual framework for analysing the BBP and, through five interrelated papers, address three key research questions about its nature and our prospects for solving it. First, I consider the central epistemic construct of understanding, arguing that an abilities-based view is best-suited to the requirements of BBP analysis. Conceptualising understanding as abilities, I claim, appropriately balances theoretical justification with practical utility and can help coordinate interdisciplinary efforts in explainable AI (XAI). Second, I address the potential of XAI, a research field which attempts to render AI systems comprehensible to human stakeholders. I focus on mechanistic interpretability, an approach which employs functional decomposition to characterise the internal structure of AI systems. Mechanistic interpretability can deliver detailed explanations, but at significant costs in time and labour. Additionally, I present a framework for evaluating explainability approaches, using it to show how performance-explainability trade-offs can be effectively analysed. Third, I address the solubility of the BBP in particular contexts. In neuroscience, I argue against critics that artificial neural network models, in conjunction with XAI, can enhance our understanding of the brain. In psychiatry, I argue that even if the opacity of AI systems is overcome, data-driven approaches are unlikely to deliver transformative improvements to patient outcomes. Overall, this dissertation demonstrates how an abilities-based view of understanding and a considered assessment of XAI’s potential can be combined to yield new insights into the BBP and inform its resolution across diverse contexts.

Abstract in weiterer Sprache

Künstliche Intelligenz (KI)-Systeme, die mit Verfahren des maschinellen Lernens entwickelt werden, finden breite Anwendung in Industrie, Wissenschaft und Gesellschaft. Die Intransparenz dieser Systeme droht jedoch, die Erfüllung grundlegender Desiderate wie Sicherheit, Vertrauen und Fairness zu untergraben. Dieses Problem ist als das „Black-Box-Problem“ (BBP) bekannt. In dieser Dissertation entwickle ich ein neuartiges konzeptionelles Framework zur Analyse des BBP: Durch fünf miteinander verbundene wissenschaftliche Artikel behandele ich drei zentrale Forschungsfragen zu seiner Natur und unseren Aussichten, es zu lösen. Zunächst betrachte ich den zentralen epistemischen Begriff des Verstehens und argumentiere, dass eine auf Fähigkeiten basierende Auffassung von Verstehen den Anforderungen der Analyse des BBP am besten gerecht wird. Das Konzeptualisieren von Verstehen als Fähigkeiten, so behaupte ich, ermöglicht eine angemessene Balance zwischen theoretischer Fundierung und praktischer Anwendbarkeit und kann die interdisziplinäre Zusammenarbeit im Bereich erklärbarer KI (XAI) fördern. Zweitens befasse ich mich mit dem Potenzial von XAI, einem Forschungsfeld, das darauf abzielt, KI-Systeme für menschliche Akteure nachvollziehbar zu machen. Mein Schwerpunkt liegt auf der Mechanistic Interpretability, einem Ansatz, der funktionale Zerlegung nutzt, um die interne Struktur von KI-Systemen zu beschreiben. Mechanistic Interpretability kann detaillierte Erklärungen liefern, erfordert jedoch erheblichen Zeit- und Arbeitsaufwand. Darüber hinaus stelle ich ein Framework zur Bewertung von Erklärbarkeitsansätzen vor und zeige, wie man es nutzen kann, um den vermeintlichen Konflikt zwischen Leistung und Erklärbarkeit effektiv zu analysieren. Drittens untersuche ich die Lösbarkeit des BBP in spezifischen Kontexten. In der Neurowissenschaft argumentiere ich gegen Kritiker, dass künstliche neuronale Netzwerkmodelle in Verbindung mit XAI unser Verständnis des Gehirns fördern können. Bezüglich der Psychiatrie hingegen argumentiere ich, dass datenbasierte Ansätze selbst dann, wenn die Intransparenz von KI-Systemen überwunden wird, wahrscheinlich keine transformativen Verbesserungen der Behandlungsergebnisse liefern werden. Insgesamt zeigt diese Dissertation, wie eine auf Fähigkeiten basierende Perspektive des Verstehens und eine fundierte Bewertung des Potenzials von XAI kombiniert werden können, um neue Erkenntnisse über das BBP zu gewinnen und dessen Lösung in unterschiedlichen Kontexten zu fördern.