| 研究生: |
拾可仁 SCHILLING, Raphael |
|---|---|
| 論文名稱: |
論歐盟人工智慧法案第14條人類監督之實質判準-以醫學影像診斷為核心 Substantive Criteria for Human Oversight under Article 14 of the EU Artificial Intelligence Act: A Focus on Medical Imaging Diagnosis |
| 指導教授: |
葉婉如
YEH, Wan-Ju |
| 學位類別: |
碩士 Master |
| 系所名稱: |
社會科學院 - 法律學系 Department of Law |
| 論文出版年: | 2026 |
| 畢業學年度: | 114 |
| 語文別: | 中文 |
| 論文頁數: | 156 |
| 中文關鍵詞: | 歐盟人工智慧法案 、EU AI Act第14條 、人類監督 、GDPR第22條 、自動化決策 、醫學影像診斷 、自動化偏誤 、實質支配力(Maßgeblichkeit) 、分級監督 、高風險AI系統 、醫療責任 、布魯塞爾效應 、人工智慧基本法 、一般資料保護規則 |
| 外文關鍵詞: | EU AI Act, Art. 14 EU AI Act, human oversight, GDPR Art. 22, automated decision-making, medical imaging diagnosis, automation bias, determinative human involvement (Maßgeblichkeit), graded oversight, high-risk AI system, medical liability, AI Basic Act, GDPR, Brussels Effect |
| 相關次數: | 點閱:4 下載:0 |
| 分享至: |
| 查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報 |
按歐盟人工智慧法案(KI-VO)第14條之規定,高風險人工智慧系統於使用期間須受「人類監督(即課予提供者與部署者確保為此項實質有效監督之義務)」,惟就何謂「有效」未設具體判準。此一規範之不確定性於醫學影像診斷場域尤為明顯。若要求判讀醫師就每一人工智慧輸出均為全面複查,將耗盡導入此項科技之效率紅利。而若容任監督退化為形式簽核,則KI-VO第14條所欲確保之人類實質介入將遭架空,規範所欲防杜之自動化偏誤(Automation Bias)亦隨之而生。監督之實質標準因而懸而未決,本研究旨在填補此一空白。
本研究採法釋義學(Rechtsdogmatik)與規範性論證為方法,主張KI-VO第14條之人類監督不應理解為密度均等之單一義務,而應依個案風險分級認定。為具體化此一分級,本研究借鑑歐盟一般資料保護規則(DS-GVO)第22條下歷經學說推敲、並經歐洲法院 SCHUFA Holding 判決(C-634/21)肯認之實質支配力(Maßgeblichkeit)概念。其借鑑非採類推適用,而以兩條款於「防止人類主體性遭自動化決定架空」此一保護目的之功能性交集為限度,以避免體系破毀。
據此,本研究提出以「人工智慧輸出之確定性」與「決定後果之不可逆性」為兩軸之分級判準。其核心命題具反直覺性:人工智慧越可靠,人類於決定中之主體地位越易遭掏空,監督密度不減反增。為免此一命題於系統全然不可靠而決定不可逆之情境下產生規範漏洞,本研究進而將判準區分為「主體性風險」與「錯誤風險」雙軌,分別對應人類過度依賴與系統輸出錯誤兩種獨立風險,並取其較嚴(監督密度應高)者為實際監督要求。
此一判準復經三重檢驗。就臨床而言,以三項近期醫學影像研究檢驗其可操作性,並顯示於自主診斷情境下,監督重心自判讀醫師移轉於流程設計與上市後監督。就比較法言,歷德國、奧地利、列支敦士登、瑞士、美國、英國六法域之考察,見「有意義之人為介入」已成跨法域之共同要求。就技術標準言,其與醫療器材軟體標準 IEC 62304 之結構相容性亦經驗證。至若確定性資料取得不均、部署者規模有別、跨機構臨床路徑之監督密度協調三項實務困難,本研究亦分別陳明因應之道。
Article 14 of the EU Artificial Intelligence Act (AI Act) requires high-risk AI systems to be subject, during their use, to effective oversight by natural persons and places corresponding obligations on providers and deployers. It does not, however, provide a concrete standard for determining when such oversight is effective. The difficulty is particularly clear in medical imaging diagnosis. If physicians were required to re-examine every AI output in full, much of the efficiency gained from using AI would be lost. If oversight were reduced instead to formal approval of the AI result, meaningful human involvement could disappear and automation bias could surreptitiously take hold. This study therefore asks how intensive human oversight under Article 14 must be in a particular case. Using legal dogmatics (Rechtsdogmatik) and normative argumentation, it argues that oversight should not be treated as an obligation of uniform intensity but should vary according to risk. To give that approach concrete content, the study draws on the concept of decisive influence (Maßgeblichkeit) developed under Article 22 GDPR and considered by the Court of Justice of the European Union in SCHUFA Holding (C-634/21). This is not an application by analogy. The concept is used only within the functional intersection of the two provisions, where both are concerned with the danger that automated decision-making may leave the human decision-maker with no more than a formal role, so as not to rupture the systematic coherence of the legal order. The proposed criterion rests on two factors: the certainty of the AI output and the irreversibility of the consequences of the decision. A highly reliable AI system does not necessarily call for less human oversight. It may call for more, because repeated reliance on reliable outputs may gradually weaken the physician's independent judgment. Yet the opposite problem must also be addressed: an unreliable system may create serious risks where an incorrect output has irreversible consequences. The criterion therefore distinguishes between subjectivity risk and error risk and applies the stricter of the two. It is tested against recent studies on autonomous diagnosis of diabetic retinopathy, automation bias in mammography, and human-machine divergence in routine chest X-ray reading. These studies also show that, where diagnosis becomes autonomous, oversight may shift from the individual reading physician to process design, referral mechanisms, monitoring, and post-market surveillance. A comparison of Germany, Austria, Liechtenstein, Switzerland, the United States, and the United Kingdom further shows that meaningful human intervention has emerged as a common requirement across all six jurisdictions, although its legal form differs. The criterion is also examined against IEC 62304 and found to be structurally compatible with its risk-based approach to medical device software. Finally, the study addresses three practical difficulties concerning access to certainty data, differences in deployer scale, and the coordination of oversight across multi-institutional clinical pathways.
I 專書、註釋書與專書論文
Alexy, Robert, Die Gewichtsformel, in: Jickeli/Kreutz/Reuter (Hrsg.), Gedächtnisschrift für Jürgen Sonnenschein, Berlin/Boston: De Gruyter, 2003, S. 771(792), DOI: 10.1515/9783110907926.771.
Gola, Peter / Heckmann, Dirk (Hrsg.), Datenschutz-Grundverordnung Bundesdatenschutzgesetz: DS-GVO/BDSG, Kommentar, 3. Aufl., C.H. Beck, München, 2022 (ISBN 978-3-406-78266-4)
Klatt, Matthias / Schmidt, Johannes, Abwägung unter Unsicherheit, in: Klatt (Hrsg.), Prinzipientheorie und Theorie der Abwägung, Tübingen: Mohr Siebeck, 2013, S. 105(112).
Kühling, Jürgen / Buchner, Benedikt (Hrsg.), Datenschutz-Grundverordnung/BDSG: DS-GVO/BDSG, Kommentar, 4. Aufl., C.H. Beck, München, 2024 (ISBN 978-3-406-80263-8)
Voßkuhle, Andreas / Eifert, Martin / Möllers, Christoph (Hrsg.), Grundlagen des Verwaltungsrechts, Band I: Methodische Grundlagen, Maßstäbe und Aufgaben des Verwaltungsrechts, 3. Aufl., C.H. Beck, München, 2022 (ISBN 978-3-406-75447-0; Begründer Hoffmann-Riem/Schmidt-Aßmann/Voßkuhle)
II 期刊論文
Alexy, Robert, Formal principles: Some replies to critics , International Journal of Constitutional Law (ICON) 12 (2014), 511(524).
Alexy, Robert, Menschenwürde und Verhältnismäßigkeit, Archiv des öffentlichen Rechts (AöR) 140 (2015), 497(513).
Eder, Christian / Storr, Stefan, Die Behördenzuständigkeit zur Vollziehung der KI-VO in Österreich, Zeitschrift für öffentliches Recht (ZöR) 80 (2025), 9(35).
Engel, Christoph, Gewichtsformel – wörtlich genommen. Ein empirischer Test mit der Hilfe eines Sprachmodells, MPI Collective Goods Discussion Paper No. 2024/10, März 2024.
Friedrichsen, Viktoria, „Maßgeblichkeit" als Merkmal der automatisierten Entscheidung nach Art. 22 DS-GVO, Zeitschrift für Datenschutz (ZD) 2026, 22(27).
Hachmeister, Der Einsatz KI-basierter In-Vitro-Diagnostika im Labor – zwischen Innovation und rechtlicher Regulierung unter der IVDR und der KI-VO, Medizinprodukterecht (MPR) 1/2026, 1(11).
Hacker, Philipp, AI in EU Law: Training, Hallucinations, Memorization, and the Core Regulatory Architecture, SSRN Preprint, 6 March 2026, DOI: 10.2139/ssrn.6356599.
Hall, Ken, Developing Medical Device Software to IEC 62304, Medical Device & Diagnostic Industry (MD&DI), June 2010.
Katzenmeier, Christian, Der Rechtsrahmen für KI in der Gesundheitsversorgung, Neue Juristische Wochenschrift (NJW) 2025, 3673(3682).
Klatt, Matthias / Meister, Moritz, Der Grundsatz der Verhältnismäßigkeit, Juristische Schulung (JuS) 2014, 193(199).
Leveson, Nancy G. / Turner, Clark S., An Investigation of the Therac-25 Accidents, IEEE Computer 26 (7), July 1993, pp. 18–41, DOI: 10.1109/MC.1993.274940.
Leveson, Nancy G., The Therac-25: 30 Years Later, Computer 50 (11), November 2017, pp. 8–11, DOI: 10.1109/MC.2017.4041349.
Meckenstock, Cordula / Gilch, Johannes, AI Assurance strategisch denken – Verantwortung steuern, Governance sichtbar machen, ESG 2026, 3(8).
Nissenbaum, Helen, Accountability in a Computerized Society, Science and Engineering Ethics 2 (1), 1996, pp. 25–42, DOI: 10.1007/BF02639315.
Parasuraman, Raja / Manzey, Dietrich H., Complacency and Bias in Human Use of Automation: An Attentional Integration, Human Factors 52 (3) (2010), 381–410, DOI: 10.1177/0018720810376055.
Rose, Barbara Wade, Fatal Dose – Radiation Deaths linked to AECL Computer Errors, Saturday Night Magazine, June 1994.
o.V., Maßgeblichkeit des Scorings für die Entscheidung im Rahmen von Art. 22 Abs. 1 DS-GVO (Anm.), Recht der Datenverarbeitung (RDV) 4/2025, 206(209).
III 科學研究
Dratsch, Thomas / Chen, Xue / Rezazade Mehrizi, Mohammad / Kloeckner, Roman / Mähringer-Kunz, Aline / Püsken, Michael / Baeßler, Bettina / Sauer, Stephanie / Maintz, David / Pinto dos Santos, Daniel, Automation Bias in Mammography: The Impact of Artificial Intelligence BI-RADS Suggestions on Reader Performance, Radiology 307 (4) (2023), e222176, DOI: 10.1148/radiol.222176
Hunfeld, Elisabeth / Tayar, Allam / Paul, Sebastian / Poschkamp, Broder / Großjohann, Rico / Morawiec-Kisiel, Eva / Bohl, Beathe / Pfeil, Johanna M. / Busch, Martin / Dähmcke, Merlin / Brauckmann, Tara / Eilts, Sonja / Bründer, Marie-Christine / Grundel, Milena / Grundel, Bastian / Tost, Frank / Kuhn, Jana / Reindel, Jörg / Augstein, Petra / Kerner, Wolfgang / Stahl, Andreas, Real-world performance of the AI diagnostic system IDx-DR in the diagnosis of diabetic retinopathy and its main confounders, Scientific Reports 16 (2026), 4349, DOI: 10.1038/s41598-026-36970-9
Kromrey, Marie-Luise / Steiner, Laura / Schön, Felix / Gamain, Julie / Roller, Christian / Malsch, Carolin, Navigating the Spectrum: Assessing the Concordance of ML-Based AI Findings with Radiology in Chest X-Rays in Clinical Settings, Healthcare 12 (22) (2024), 2225, DOI: 10.3390/healthcare12222225
Niehoff, Julius Henning / Kalaitzidis, Jana / Kroeger, Jan Robert / Schoenbeck, Denise / Borggrefe, Jan / Michael, Arwed Elias, Evaluation of the clinical performance of an AI-based application for the automated analysis of chest X-rays, Scientific Reports 13 (2023), 3680, DOI: 10.1038/s41598-023-30521-2
Landis, J. Richard / Koch, Gary G., The Measurement of Observer Agreement for Categorical Data, Biometrics 33 (1) (1977), 159–174, DOI: 10.2307/2529310.
IV 官方文件&軟法:歐盟、德國、奧地利、瑞士、列支敦士登
European Data Protection Board (EDSA), Guidelines on Automated Individual Decision-Making and Profiling for the purposes of Regulation 2016/679, WP251rev.01, 6 February 2018.
Medical Device Coordination Group (MDCG) 2019-11, Guidance on Qualification and Classification of Software in Regulation (EU) 2017/745 (MDR) and Regulation (EU) 2017/746 (IVDR), October 2019.
IEC 62304:2006+A1:2015, Medical device software – Software life cycle processes, International Electrotechnical Commission, Geneva.
Bundesministerium für Digitales und Staatsmodernisierung, Gesetz zur Durchführung der KI-Verordnung (Referentenentwurf und Gesetzentwurf der Bundesregierung).
Bundeskanzleramt Österreich, Digitalaustria, Künstliche Intelligenz.
Wirtschaftskammer Österreich (WKO), AI-Act – Die KI-Verordnung der EU.
Österreichische Datenschutzbehörde (DSB), Künstliche Intelligenz & Datenschutz.
Rechnungshof Österreich, Vertrauenswürdige KI in der Bundesverwaltung: Ethische Standards stärken, Bericht „Künstliche Intelligenz in der Bundesverwaltung", veröffentlicht 20. Juni 2025.
Schweizerischer Bundesrat,KI-Regulierung: Bundesrat will Konvention des Europarats ratifizieren, Medienmitteilung vom 12. Februar 2025.
Bundesamt für Justiz (BJ), Künstliche Intelligenz.
Bundesamt für Kommunikation (BAKOM), Künstliche Intelligenz.
Verein für Menschenrechte in Liechtenstein (VMR), Künstliche Intelligenz – Monitoringbericht 2025.
V 官方文件&軟法:美國、英國
U.S. Food and Drug Administration (FDA), FDA Releases Artificial Intelligence/Machine Learning Action Plan, Press Announcement, 12 January 2021.
U.S. Food and Drug Administration (FDA), Artificial Intelligence in Software as a Medical Device.
U.S. Food and Drug Administration (FDA), Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations, Draft Guidance.
U.S. Food and Drug Administration (FDA), Marketing Submission Recommendations for a Predetermined Change Control Plan for Artificial Intelligence/Machine Learning (AI/ML) -Enabled Device Software Functions, Draft Guidance, April 2023; Final Guidance, December 2024.
U.S. Food and Drug Administration (FDA) / Health Canada / Medicines and Healthcare products Regulatory Agency (MHRA), Good Machine Learning Practice for Medical Device Development: Guiding Principles, October 2021.
MHRA / FDA / Health Canada, Predetermined Change Control Plans for Machine Learning-Enabled Medical Devices: Guiding Principles, October 2023.
Medicines and Healthcare products Regulatory Agency (MHRA), Software and AI as a Medical Device Change Programme Roadmap, veröffentlicht October 2023, zuletzt aktualisiert February 2025.
UK-Department of Health and Social Care, The regulation of artificial intelligence as a medical device: government response to the Regulatory Horizons Council, veröffentlicht 10 March 2025.
VI 德國醫師公會聲明
Bundesärztekammer / Wissenschaftlicher Beirat, Stellungnahme „Künstliche Intelligenz in der Medizin", Deutsches Ärzteblatt 122 (2025), Heft 4, A 210 ff., DOI: 10.3238/arztebl.2025.Stellungnahme_KI_Medizin.
Bundesärztekammer, Thesenpapier „Künstliche Intelligenz in der Gesundheitsversorgung", März 2025; Pressemitteilung vom 22. März 2025.
Bundesärztekammer, Von ärztlicher Kunst mit Künstlicher Intelligenz), 27. Mai 2025.
VII 網路資源
Artificial Intelligence Act, Overview of all AI Act National Implementation Plans, artificialintelligenceact.eu, zuletzt aktualisiert 19 May 2025.
AlgorithmWatch CH, KI-Regulierung: Was tut die Schweiz? 6. November 2025, zuletzt aktualisiert 8. Juli 2026
BioSlice Blog, MHRA sets out its AI regulatory strategy.
Digital Liechtenstein, EU-AI-Act setzt den Rahmen für Künstliche Intelligenz in Liechtenstein, Vaduz, 1. Juli 2024.
Digital Liechtenstein, Update KI-Regulierung in Europa, im EWR und in der Schweiz, Vaduz, 1. Juli 2024.
Handelskammer Schweiz-Österreich-Liechtenstein (Selina Schalko), KI Kompakt: KI-Kompetenzpflicht für Unternehmen – Warum die Meisten trotzdem nicht vorbereitet sind, 13. April 2026.
Universität St. Gallen, KI-Konferenz 2026: Regulierung Künstlicher Intelligenz in der Schweiz), 27. März 2026.