in the repository
URN to cite this document: urn:nbn:de:bvb:703-epub-8992-1
Title data
Crook, Barnaby:
Understanding and the Black Box Problem in Artificial Intelligence.
Bayreuth
,
2025
. - XVI, 281 P.
(
Doctoral thesis,
2025
, University of Bayreuth, Faculty of Cultural Studies)
![[thumbnail of Crook_Barnaby_Understanding.pdf]](https://epub.uni-bayreuth.de/style/images/fileicons/application_pdf.png) |
|
||||||||
|
Download (6MB)
|
Project information
| Project title: |
Project's official title Project's id Explainable Intelligent Systems (EIS) 98 830 Explainable Intelligent Systems (EIS) 98 509 |
|---|---|
| Project financing: |
VolkswagenStiftung |
Abstract
Artificial intelligence (AI) systems developed with automated machine learning procedures are used throughout industry, science, and society. However, the opacity of these systems threatens to undermine the satisfaction of critical desiderata including safety, trust, and fairness. This worry is known as the black box problem (BBP). In this dissertation, I develop a novel conceptual framework for analysing the BBP and, through five interrelated papers, address three key research questions about its nature and our prospects for solving it. First, I consider the central epistemic construct of understanding, arguing that an abilities-based view is best-suited to the requirements of BBP analysis. Conceptualising understanding as abilities, I claim, appropriately balances theoretical justification with practical utility and can help coordinate interdisciplinary efforts in explainable AI (XAI). Second, I address the potential of XAI, a research field which attempts to render AI systems comprehensible to human stakeholders. I focus on mechanistic interpretability, an approach which employs functional decomposition to characterise the internal structure of AI systems. Mechanistic interpretability can deliver detailed explanations, but at significant costs in time and labour. Additionally, I present a framework for evaluating explainability approaches, using it to show how performance-explainability trade-offs can be effectively analysed. Third, I address the solubility of the BBP in particular contexts. In neuroscience, I argue against critics that artificial neural network models, in conjunction with XAI, can enhance our understanding of the brain. In psychiatry, I argue that even if the opacity of AI systems is overcome, data-driven approaches are unlikely to deliver transformative improvements to patient outcomes. Overall, this dissertation demonstrates how an abilities-based view of understanding and a considered assessment of XAI’s potential can be combined to yield new insights into the BBP and inform its resolution across diverse contexts.
Abstract in another language
Künstliche Intelligenz (KI)-Systeme, die mit Verfahren des maschinellen Lernens entwickelt werden, finden breite Anwendung in Industrie, Wissenschaft und Gesellschaft. Die Intransparenz dieser Systeme droht jedoch, die Erfüllung grundlegender Desiderate wie Sicherheit, Vertrauen und Fairness zu untergraben. Dieses Problem ist als das „Black-Box-Problem“ (BBP) bekannt. In dieser Dissertation entwickle ich ein neuartiges konzeptionelles Framework zur Analyse des BBP: Durch fünf miteinander verbundene wissenschaftliche Artikel behandele ich drei zentrale Forschungsfragen zu seiner Natur und unseren Aussichten, es zu lösen. Zunächst betrachte ich den zentralen epistemischen Begriff des Verstehens und argumentiere, dass eine auf Fähigkeiten basierende Auffassung von Verstehen den Anforderungen der Analyse des BBP am besten gerecht wird. Das Konzeptualisieren von Verstehen als Fähigkeiten, so behaupte ich, ermöglicht eine angemessene Balance zwischen theoretischer Fundierung und praktischer Anwendbarkeit und kann die interdisziplinäre Zusammenarbeit im Bereich erklärbarer KI (XAI) fördern. Zweitens befasse ich mich mit dem Potenzial von XAI, einem Forschungsfeld, das darauf abzielt, KI-Systeme für menschliche Akteure nachvollziehbar zu machen. Mein Schwerpunkt liegt auf der Mechanistic Interpretability, einem Ansatz, der funktionale Zerlegung nutzt, um die interne Struktur von KI-Systemen zu beschreiben. Mechanistic Interpretability kann detaillierte Erklärungen liefern, erfordert jedoch erheblichen Zeit- und Arbeitsaufwand. Darüber hinaus stelle ich ein Framework zur Bewertung von Erklärbarkeitsansätzen vor und zeige, wie man es nutzen kann, um den vermeintlichen Konflikt zwischen Leistung und Erklärbarkeit effektiv zu analysieren. Drittens untersuche ich die Lösbarkeit des BBP in spezifischen Kontexten. In der Neurowissenschaft argumentiere ich gegen Kritiker, dass künstliche neuronale Netzwerkmodelle in Verbindung mit XAI unser Verständnis des Gehirns fördern können. Bezüglich der Psychiatrie hingegen argumentiere ich, dass datenbasierte Ansätze selbst dann, wenn die Intransparenz von KI-Systemen überwunden wird, wahrscheinlich keine transformativen Verbesserungen der Behandlungsergebnisse liefern werden. Insgesamt zeigt diese Dissertation, wie eine auf Fähigkeiten basierende Perspektive des Verstehens und eine fundierte Bewertung des Potenzials von XAI kombiniert werden können, um neue Erkenntnisse über das BBP zu gewinnen und dessen Lösung in unterschiedlichen Kontexten zu fördern.
Further data
| Item Type: | Doctoral thesis (No information) |
|---|---|
| Additional notes (visible to public): | Chapter 4 of this thesis is an IEEE paper. The following is a condition for reprinting the paper in the thesis: In placing the thesis on the author's university website, please display the following message in a prominent place on the website: In reference to IEEE copyrighted material which is used with permission in this thesis, the IEEE does not endorse any products or services of the University of Bayreuth. Internal or personal use of this material is permitted. If interested in reprinting/republishing IEEE copyrighted material for advertising or promotional purposes or for creating new collective works for resale or redistribution, please go to http://www.ieee.org/publications_standards/publications/rights/rights_link.html to learn how to obtain a License from RightsLink. |
| Keywords: | artificial intelligence; understanding; explainability; black box problem; explainable AI; mechanistic interpretability; trade-offs; philosophy of science |
| DDC Subjects: | 000 Computer Science, information, general works > 004 Computer science 100 Philosophy and psychology > 100 Philosophy |
| Institutions of the University: | Faculties > Faculty of Cultural Studies > Department of Philosophy > Chair Philosophy, Computer Science and Artificial Intelligence > Chair Philosophy, Computer Science and Artificial Intelligence - Univ.-Prof. Dr. Lena Kästner Graduate Schools > University of Bayreuth Graduate School Faculties Faculties > Faculty of Cultural Studies Faculties > Faculty of Cultural Studies > Department of Philosophy Faculties > Faculty of Cultural Studies > Department of Philosophy > Chair Philosophy, Computer Science and Artificial Intelligence Graduate Schools |
| Language: | English |
| Originates at UBT: | Yes |
| URN: | urn:nbn:de:bvb:703-epub-8992-1 |
| Date Deposited: | 30 Mar 2026 11:10 |
| Last Modified: | 30 Mar 2026 11:11 |
| URI: | https://epub.uni-bayreuth.de/id/eprint/8992 |
Download Statistics