北京市人工智能醫療器械生產質量管理規范檢查指南 （2024版）

      人工智能醫療器械是指基于“醫療器械數據”，采用人工智能技術實現其預期醫療用途的醫療器械，包括第二類、第三類人工智能獨立軟件和含有人工智能軟件組件的醫療器械（包括體外診斷醫療器械）。

　　本指南結合人工智能醫療器械特點，依據《醫療器械生產質量管理規范》《醫療器械生產質量管理規范附錄獨立軟件》《醫療器械生產質量管理規范獨立軟件現場檢查指導原則》等文件，明確了對人工智能醫療器械的生產質量管理體系要求。旨在幫助北京市醫療器械生產監管人員增強對人工智能醫療器械產品生產監管的認知，指導和規范全市醫療器械生產監管人員對人工智能醫療器械注冊人、受托生產企業（以下簡稱“生產企業”）的監督檢查工作。同時，為相關生產企業開展生產管理活動提供參考和依據。

　　本指南中引用的國家相關法律、法規、規章、標準、檢查指南等版本發生變化時，要以當時執行的最新版為準。隨著法規、強制性標準體系的不斷完善以及科技能力、認知水平的不斷發展，必要時，北京市藥品監督管理局將重新研究修訂，以確保本指南持續符合要求。

　　一、機構和人員

　　人工智能醫療器械具有對數據和算法依賴性高的特點，數據處理和算法相關的機構和人員是關鍵性要素，生產企業應定義相關人員角色、明確職責和資質要求，可參照IEEE Std 2801-2022醫學人工智能數據集質量管理推薦標準。

　　（一）數據處理人員：生產企業應確立一名數據管理代表全面負責數據處理相關工作。數據處理人員一般包括首席研究員、數據管理員、采集人員、初級標注人員、審核人員、仲裁人員等，標注過程中處理同一例數據時，初級標注、審核、仲裁人員之間不可相互兼任；應明確人員的職責、任職資質、選拔、培訓、考核要求，如職稱、工作年限、工作經驗等；應有任命、培訓（如培訓材料、培訓方案）及考核記錄（如方法、頻次、指標、通過準則、一致性）等；對于生產企業外部聘用人員的還應記錄聘用、主要執業機構、培訓等信息，明確其資質是否滿足崗位要求。

　　（二）算法相關人員：生產企業應建立具有算法研發能力且穩定的算法團隊，確立一名團隊負責人全面負責算法相關工作。算法團隊人員一般包括：算法研究人員、算法工程人員、算法測試人員、算法部署人員，上述人員中同一算法測試人員不可與其他角色兼任。若采用外部委托研發或者直接使用開源項目進行算法的研發，則必須有算法測試人員和部署人員，并對算法相關的質量負責。

　　二、廠房與設施

　　人工智能醫療器械的數據集是進行開發的要素，對采用自建數據集的產品，數據預處理、清洗、標注等操作的場所為真實場所或模擬場所，真實的場所應明確環境條件（如空間、照明、溫度、濕度、氣壓等），如有特殊要求應保持相關記錄，采用模擬場所情形可根據產品實際情況調整模擬程度，需詳述調整理由并予以記錄；對采用公開數據集、第三方數據集，則需對數據集開發方所能提供范圍內的場地信息進行記錄。

　　三、設備

　　生產企業應結合自身產品的實際情況，在產品生存周期過程提供充分、適宜、有效的軟硬件設備、開發測試工具、網絡資源以及病毒防護、數據備份與恢復等保障措施。

　　（一）數據集構建所用設備

　　1.數據采集設備管理應明確兼容性和采集特征等要求，設備的兼容性記錄應包括采集設備的名稱、規格型號、制造商、性能指標，若無需考慮兼容性要求應詳述理由并予以記錄。采集特征需明確采集設備的采集方式（如常規成像、增強成像）、采集協議（如MRI成像序列）、采集參數（如CT加載電壓、加載電流、加載時間、層厚）、采集精度（如分辨率、采樣率）。數據采集若使用歷史數據，需列明采集設備及采集特征要求，并開展數據采集質量評估工作。

　　2.企業應配備執行數據集相關任務需要的資源，如訪問、讀取數據、預覽、檢索等任務需要的軟件、硬件、網絡配置。測試集應配備封閉管理需要的軟件、硬件、網絡配置，明確管理要求。

　　3.數據標注應明確標注軟件（包含自動標注軟件）的要求，明確標注軟件的名稱、規格型號、完整版本、制造商、運行環境、軟件確認等要求并予以記錄。

　　4.若需使用特定的外部設備獲取附加的信息（如病理結果、檢驗結果、數據模態轉化、多模態配準、體積測量、三維打印等），設備的規格型號、計量信息（如需計量）等應確認要求并予以記錄。

　　5.數據整理所用軟件工具（含腳本）均需明確名稱、規格型號、完整版本、制造商、運行環境，并進行軟件確認。

　　（二）算法研發所用設備

　　1.應明確定義并記錄進行算法訓練、算法測試、算法部署所用到服務器算力的典型配置（如GPU型號和數量、CPU型號和數量、內存大小、網絡帶寬等）。

　　2.應明確定義并記錄算法訓練所用的操作系統、開發環境（如編程語言及版本、集成開發環境及版本、web服務及版本、支持軟件及版本等）、算法架構（如基礎計算包、GPU指令集、集成開發環境插件等）。

　　3.應明確定義并記錄算法測試所用的操作系統、開發環境、算法框架、基礎服務等，若與其他外部設備進行配合或作為軟件組件集成到其他醫療器械中，明確說明外部設備和器械的規格型號。

　　4.應明確定義并記錄算法部署運行的操作系統、開發環境、算法框架、基礎服務、虛擬機、應用容器引擎等。

　　四、設計開發

　　生產企業應結合質量管理體系要求，建立人工智能醫療器械生存周期過程，開展與軟件安全性級別相匹配的產品質量保證工作，確定需求分析、數據收集、算法設計、驗證與確認、部署運行、更新控制等活動要求，將風險管理、可追溯分析（需包含算法和數據）貫穿于生存周期全程，形成記錄。

　　（一）需求分析

　　1.需求分析應當以用戶需求與風險為導向，結合產品的預期用途、使用場景、核心功能，綜合分析法律、法規、規章、標準、用戶、產品、功能、性能、接口、用戶界面、網絡安全、警示提示等需求，明確風險管理、可追溯性分析、數據收集、算法性能、使用限制、現成軟件（現成算法）的驗證與確認等活動要求，形成相應文件。

　　2.數據收集應當確保數據來源的合規性、充分性和多樣性，數據分布的科學性和合理性，數據質控的充分性、有效性和準確性。

　　3.算法性能需結合醫療實際和產品定位，明確假陰性與假陽性、重復性與再現性、魯棒性/健壯性、實時性等性能指標的適用性及其要求，并兼顧不同性能指標的制約關系。

　　4.使用限制需考慮產品禁用、慎用等場景，準確表述產品使用場景，提供必要警示提示信息。

　　（二）數據收集

　　1.數據采集

　　數據采集應當明確采集設備、采集過程、數據脫敏等質控要求，并建立數據采集操作規范。若使用歷史數據，應當結合樣本規模、采集難度等影響因素合理選擇數據采集方式，明確數據篩選標準并對采集的數據進行質量評估。

　　采集的數據應進行數據脫敏以保護患者隱私，數據脫敏需明確脫敏的類型（靜態、動態）、規則、方法以及脫敏內容的確定依據。如使用歷史數據，企業接收的數據應為脫敏后的數據，不得有敏感數據流入企業。

　　2.數據整理

　　數據整理應基于原始數據庫明確數據清洗、數據預處理的質控要求。數據清洗應當明確清洗的規則、方法、結果，數據預處理應當明確處理的方法（如濾波、增強、重采樣、尺寸裁剪、均一化等）、結果。數據經整理后形成基礎數據庫，需明確樣本類型、樣本量、樣本分布等信息。

　　3.數據標注

　　數據標注應當明確標注資源管理、標注過程質控、標注質量評估等要求，并建立數據標注操作規范。標注過程質控包括人員職責（如人員資質、人員數量、職責分工）、標注規則（如臨床指南、專家共識、專家評議、文獻分析）、標注流程（如標注對象、標注形式、標注輪次、標注步驟、結果審核）、分歧處理（如仲裁人員、仲裁方式）、可追溯性（如數據、操作）等要求。數據經標注后形成標注數據庫，樣本類型可分為數據塊（如圖像區域、數據片段）、單一數據（由多個數據塊組成）、數據序列（由多個單一數據組成）。標注數據庫的樣本量、樣本分布等要求及風險考量與基礎數據庫相同。

　　數據標注若使用自動標注軟件，結果不得直接使用，應由標注人員審核后方可使用。

　　4.數據集構建

　　基于標注數據庫構建訓練集、調優集（若有）、測試集，應當明確訓練集、調優集、測試集的劃分方法、劃分依據、數據分配比例。訓練集原則上需保證樣本分布具有均衡性，測試集、調優集原則上需保證樣本分布符合真實情況，訓練集、調優集、測試集的樣本應兩兩無交集并通過查重予以驗證。

　　數據擴增（若有）應當明確擴增的對象、范圍、方式（離線、在線）、方法（如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網絡等）、倍數，在線擴增亦需予以記錄，擴增需考慮數據偏倚的影響及風險。原則上不得對測試集進行數據擴增，對抗測試除外。

　　數據經擴增后應當形成擴增數據庫，需列表對比擴增數據庫與標注數據庫在樣本量、樣本分布（注明擴增倍數）等差異，以證實擴增數據庫樣本量的充分性以及樣本分布的合理性。

　　（三）算法設計

　　1.算法選擇

　　算法選擇應當提供所用算法的名稱、類型（如有監督學習、無監督學習，基于模型、基于數據，白盒、黑盒）、結構（如層數、參數規模）、輸入輸出數據類型、流程圖、算法編程框架、運行環境等基本信息，并明確算法選用依據，包括選用的理由和基本原則。若組合使用集成學習、遷移學習、強化學習等，需提供算法基本信息以及算法選用依據。

　　2.算法訓練

　　算法訓練應當基于訓練集、調優集進行訓練和調優，考慮評估指標、訓練方式、訓練目標、調優方式、訓練數據量—評估指標曲線等要求。

　　3.算法性能評估

　　算法性能評估應當基于測試集對算法設計結果進行評估，綜合評估假陰性與假陽性、重復性與再現性、魯棒性/健壯性、實時性等適用性，以證實算法性能滿足算法設計目標，并作為軟件驗證、軟件確認的基礎。若使用第三方數據庫開展算法性能評估，應當提供第三方數據庫的基本信息（如名稱、創建者、數據總量等）和使用情況（如測試數據樣本量、評估指標、評估結果等）。

　　對于黑盒算法，應開展算法性能影響因素分析，并提供算法性能影響因素分析報告，明確影響算法性能的主要因素及其影響程度，以及產品使用限制和必要警示提示信息。

　　（四）驗證與確認

　　1.軟件驗證

　　軟件驗證應當基于軟件需求予以開展，保證軟件的安全有效性，并作為軟件確認的基礎。

　　2.軟件確認

　　軟件確認測試應當基于用戶需求，由預期用戶在真實或模擬使用場景下予以開展，涵蓋現成軟件、網絡安全的測試要求，確定缺陷管理、風險管理、可追溯性分析、評審等活動要求，形成用戶測試記錄、測試報告以及評審記錄并經批準，適時更新并經批準。可追溯性分析此時應當分析用戶測試與用戶需求、用戶測試與風險管理的關系。同時，開展算法性能比較分析，若各類測試場景（含臨床評價）算法性能變異度較大，詳述原因并基于分析結果明確產品使用限制和必要警示提示信息。最后，結合算法訓練、算法性能評估、臨床評價等結果開展算法性能綜合評價，針對訓練樣本量和測試樣本量過少、測試結果明顯低于算法設計目標、算法性能變異度過大等情況，對產品的適用范圍、使用場景、核心功能進行必要限制。

　　基于測評數據庫開展的，除滿足數據庫通用要求（如數據管理、網絡安全與數據安全、可擴展性）外，還應滿足權威性、科學性、規范性、多樣性、封閉性和動態性要求。不應使用公開數據庫作為測評數據庫。

　　（五）部署運行

　　算法發布和更新時應在相關文件列明算法關鍵模塊的功能、接口、版本、存儲形式（如pt、pth、bin、onnx、pb、keras、ckpt、pkl等）；主要功能組件模塊及相互依賴和接口關系；軟件的前后端部署方式；對基礎軟件和硬件的依賴和兼容性要求等。

　　（六）更新控制

　　人工智能醫療器械若發生算法更新、軟件更新，均應當按照質量管理體系的要求，開展與算法更新、軟件更新的類型、內容和程度相適宜的驗證與確認活動，將風險管理、可追溯分析貫穿于更新全程，形成記錄。此外，算法更新、軟件更新均需考慮引入回滾機制，以保證醫療業務的連續性，特別是對風險較高的軟件。

　　軟件版本控制應當基于合規性要求確定軟件版本命名規則，涵蓋自研軟件、現成軟件、算法（算法驅動型更新或數據驅動型更新）網絡安全的全部軟件更新類型，明確并區分重大軟件更新和輕微軟件更新，并符合軟件版本命名規則的要求。

　　對數據集進行用途（如訓練、調優、測試、驗證等）的變更，應按照數據集管理體系的要求進行確認形成記錄。高控制等級的數據集停用后數據可流入低控制等級的數據集，不允許低控制等級的數據集向高控制等級流動（測試集數據可變更為訓練和調優使用，不可將訓練集、調優集的數據變更為測試使用）。數據集數據的變更，應按照建立數據集過程相同的質量體系進行管理，并記錄更新內容和版本變更。

　　（七）網絡與數據安全

　　人工智能醫療器械全生命周期過程中應當考慮網絡安全與數據安全問題，對網絡與數據安全過程的控制要求形成文件，包括數據轉移要求，數據整理、數據集構建、算法訓練等內部活動開展過程中的數據污染防護措施，以及數據標注、軟件確認等涉及外部活動開展過程中的數據污染防護措施及數據接口要求。

　　各數據庫（集）均需進行數據備份，明確備份的方法、頻次、數據恢復方法。

　　數據庫和數據集訪問應明確授權訪問管理要求，形成文件及記錄。

　　人工智能醫療器械軟件應明確算法的軟件安全性級別（輕微、中等、嚴重）并詳述判定理由。應形成算法風險管理資料，明確過擬合與欠擬合、假陰性與假陽性、數據污染與數據偏倚（如數據擴增引入的偏倚）、中外差異等風險的控制措施。

　　（八）可追溯性分析

　　可追溯性分析應當建立控制程序，涵蓋軟件、現成軟件、算法及數據、網絡安全的控制要求，形成軟件及算法的可追溯性分析報告。使用可追溯性分析工具保證軟件開發、軟件更新過程滿足可追溯性要求，并貫穿于軟件生存周期全過程。提供算法可追溯性分析報告等相關文件及記錄，即追溯算法需求、算法設計、算法實現、算法驗證與確認、風險管理、數據集的管理。若無單獨文檔可提供軟件可追溯性分析報告，并注明算法可追溯性分析所在位置。

　　五、采購

　　生產企業應確保采購物品符合法律法規的相關規定和國家強制性標準的相關要求，包括數據來源及以開源方式獲得的軟件等。

　　數據來源應當提供數據來源的合規性聲明，列明數據來源機構名稱、所在地域、數據收集量、倫理批件（或科研合作協議）編號等信息。

　　產品部署運行所需的軟硬件，應當記錄采購信息，其中以開源方式獲得的軟件組件、基礎包、基礎軟件、集成環境等，應列明來源、下載地址、版本、開源協議等信息。

　　六、銷售和售后服務

　　人工智能醫療器械軟件在產品設計具有持續學習/自適應學習能力的，需要在軟件部署階段確認自學習功能已關閉，并提供記錄。

　　七、不良事件監測、分析和改進

　　上市后需要持續開展算法泛化能力研究的，需要結合用戶投訴、不良事件和召回等情況識別前期未預見的風險，并采取有效的風險控制措施將風險降至可接受水平。此外，根據產品更新需求，經評估后實施更新活動，開展與之相適宜的驗證與確認活動，保證算法泛化能力持續滿足用戶需求。

　　附件：1.設計開發檢查要點舉例說明

　　2.人工智能醫療器械常用術語

　　3.參考文獻

　　附件1

　　設計開發檢查要點舉例說明

　　1.算法策劃

　　算法開發策劃階段，應對算法需求、數據收集、算法設計、驗證與確認、算法更新、風險管理、可追溯性分析等過程進行算法生命周期策劃，輸出《算法開發計劃書》。

　　2.算法需求

　　算法需求分析以用戶需求與風險為導向，結合產品的預期用途、使用場景、核心功能，綜合分析法律、法規、規章、標準、用戶、產品、功能、性能、接口、用戶界面、網絡安全、警示提示等需求，重點考慮數據收集、算法性能、使用限制等要求。輸出《算法需求規范》。

　　3.數據收集

　　3.1 數據入選、排除標準

　　在《算法需求規范》中明確算法數據入選、排除標準。

　　3.2 數據來源及質控

　　數據收集應確保數據來源的合規性，數據質控的充分性、有效性、準確性。

　　3.3數據采集

　　數據采集需考慮采集設備、采集過程、數據脫敏等質控要求，并建立《數據采集操作規范》。

　　3.4數據整理

　　脫敏數據匯總形成原始數據庫，不同模態的數據在原始數據庫中需加以區分。數據整理基于原始數據庫考慮數據清洗、數據預處理的質控要求。輸出《數據整理規范》，同時《數據整理規范》中需明確樣本類型、樣本量、樣品分布等信息，數據經整理后形成基礎數據庫。

　　3.5 數據標注

　　3.5.1 數據標注前應建立《數據標注操作規范》，明確標注資源管理、標注過程質控、標注質量評估等要求。數據經標注后形成標注數據庫。

　　3.5.2 數據標注可使用自動標注軟件，但自動標注結果不得直接使用，應由標注人員審核后方可使用；同時，自動標注軟件亦需明確名稱、型號規格、完整版本、制造商、運行環境等信息，并進行軟件確認。

　　3.6 數據集構建

　　3.6.1 基于標注數據庫構建訓練集、調優集、測試集，明確訓練集、調優集、測試集的劃分方法、劃分依據、數據分配比例，輸出《數據集構建標準》。

　　3.6.2 訓練集應當保證樣本分布具有均衡性，測試集、調優集應當保證樣本分布符合臨床實際情況，訓練集、調優集、測試集的樣本應當兩兩無交集并通過查重予以驗證。

　　3.6.3 為解決樣本分布不滿足預期的問題，可對訓練集、調優集小樣本量數據進行擴增，原則上不得對測試集進行數據擴增，對抗測試除外。數據擴增需明確擴增的對象、方式（離線、在線）、方法（如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網絡等）、倍數，擴增倍數過大應考慮數據偏倚的影響及風險。若采用生成對抗網絡進行數據擴增，需明確算法基本信息以及算法選用依據。

　　3.6.4 數據經擴增后形成擴增數據庫，需列表對比擴增數據庫與標注數據庫在樣本量、樣本分布（注明擴增倍數）等差異，以證實擴增數據庫樣本量的充分性以及樣本分布的合理性。

　　3.7 數據庫管理

　　3.7.1數據庫管理應遵循真實性、完整性、可用性、合規性、可追溯性、臨床代表性、時效性、安全性、準確性9大原則。

　　3.7.2應定期對邏輯數據庫的數據以及文件數據進行備份，備份文件保存在不同機架的機器磁盤上以提高備份的安全性。

　　3.7.3在整個數據轉移過程中，應當明確數據轉移方法、數據防污染措施以及數據銷毀方式。

　　4.算法設計

　　人工智能算法設計主要考慮算法選擇、算法目標設定分析、算法訓練、算法性能評估等要求，形成《算法設計說明書》。對于黑盒算法，算法設計應開展算法性能影響因素分析，同時與現有醫學知識建立關聯，以提升算法可解釋性。

　　5.驗證與確認

　　算法訓練過程中，需要明確算法訓練環境，應當對算法進行性能評估，以確保選擇的算法準確、有效。算法驗證階段，明確算法性能評估環境，應完成算法性能指標評估、壓力測試、對抗測試，黑盒需要算法性能影響因素分析，輸出《算法性能評估報告》。

　　同時，開展算法性能比較分析，詳述各類測試場景（含臨床評價）算法性能變異度較大的原因，基于分析結果明確產品使用限制和必要警示提示信息，輸出《算法性能比較分析報告》。

　　最后，結合算法訓練、算法性能評估、臨床評價等結果開展算法性能綜合評價，針對訓練樣本量和測試樣本量過少、測試結果明顯低于算法設計目標、算法性能變異度過大等情況，對產品的適用范圍、使用場景、核心功能進行必要限制。輸出《算法性能綜合評價報告》。

　　6.算法風險管理

　　人工智能醫療器械的軟件安全性級別可基于產品的預期用途、使用場景、核心功能進行綜合判定，并開展風險管理活動，采取有效的風險控制措施將風險降至可接受水平，并貫穿于人工智能醫療器械全生命周期過程。

　　人工智能醫療器械的主要風險從算法角度包括過擬合和欠擬合。從用途角度，輔助決策主要包括假陰性和假陽性，其中假陰性即漏診，可能導致后續診療活動延誤，特別是要考慮快速進展疾病的診療活動延誤風險，而假陽性即誤診，可能導致后續不必要的診療活動；非輔助決策從算法設計目標能否得以實現角度，亦可參考輔助決策分為假陰性和假陽性。應輸出《風險管理報告》，明確過擬合與欠擬合、假陰性與假陽性、數據擴增與數據偏倚等風險的控制措施。

　　7.算法可追溯性分析

　　醫療器械全生命周期管理中，應實現算法的可追溯性，并形成算法可追溯性分析報告等相關文件及記錄，即追溯算法需求、算法設計、算法實現、算法驗證與確認、風險管理、數據集的管理。

　　在數據收集過程中，數據采集、數據整理、數據標注、數據集構建過程中形成《數據脫敏交接記錄》《數據清洗記錄》《數據標注記錄》《數據審核記錄》《數據仲裁記錄》《數據集構建記錄》，以上記錄均由操作人員簽字確認。

　　數據集管理過程中，每一例數據都可追溯到唯一識別號、脫敏人員、清洗人員、標注人員、審核人員、仲裁人員、入庫人員，保證了數據收集各環節的數據和操作人員的可追溯。

　　8.算法更新控制

　　人工智能醫療器械若發生算法更新、軟件更新，均應當按照質量管理體系的要求，開展與算法更新、軟件更新的類型、內容和程度相適宜的驗證與確認活動，將風險管理、可追溯分析貫穿于更新全程，形成記錄以供體系核查。

　　對于算法更新，無論算法驅動型更新還是數據驅動型更新，均應開展算法性能評估、臨床評價等驗證與確認活動，以保證算法更新的安全有效性。對于軟件更新，具體要求詳見醫療器械軟件指導原則、醫療器械獨立軟件生產質量現場檢查指導原則。

　　人工智能醫療器械所含的每個人工智能算法，均應獨立開展需求分析、數據收集、算法設計、驗證與確認、更新控制等活動，同時考慮人工智能算法組合的整體評價要求，以保證產品的安全有效性。

　　
附件2

　　人工智能醫療器械常用術語

　　人工智能 artificial intelligence（AI）：表現出與人類智能（如推理和學習）相關的各種功能的功能單元的能力。

　　人工智能醫療器械 artificial intelligence medical device（AIMD）：采用AI技術實現其預期用途的醫療器械。

　　注1：如采用機器學習、模式識別、規則推理等技術實現其醫療用途的獨立軟件。

　　注2：如采用內嵌AI算法、AI芯片實現其醫療用途的醫療器械。

　　機器學習 machine learning：功能單元通過獲取新知識或技能，或通過整理已有的知識或技能來改進其性能的過程。

　　注：也可稱為自動學習。

　　深度學習 deep learning ：通過訓練具有多個隱層的神經網絡來獲得輸入輸出間映射關系的機器學習方法。

　　訓練 training：基于機器學習算法，利用訓練數據，建立或改進機器學習模型參數的過程。

　　監督學習 supervised learning：一種學習策略，獲得的知識的正確性通過來自外部知識源的反饋加以測試的學習策略。

　　注：也可稱為監督式學習。

　　無監督學習 unsupervised learning：一種學習策略，它在于觀察并分析不同的實體以及確定某些子集能分組到一定的類別里，而無需在獲得的知識上通過來自外部知識源的反饋，以實現任何正確性測試。

　　注1：一旦形成概念，就對它給出名稱，該名稱就可以用于其他概念的后續學習了；

　　注2：也可稱為無師（式）學習。

　　強化學習 reinforcement learning：一種學習策略，它強調從環境狀態到動作映射的過程，目標是使動作從環境中獲得的累積獎賞值最大。

　　集成學習 ensemble learning：通過結合多個學習器來解決問題的一種機器學習范式。

　　注：其常見形式是利用一個基學習算法從訓練集產生多個基學習器，然后通過投票等機制將基學習器進行結合。

　　遷移學習 transfer learning

　　利用一個學習領域A上有關學習問題T(A)的知識，改進學習領域B上相關學習問題T(B)的學習算法的性能。

　　過擬合 overfitting：學習器對訓練樣本過度學習，導致訓練樣本中不具有普遍性的模式被學習器當作一般規律，降低了泛化性能；典型表現是訓練集上的性能越高，測試集上的性能越低。

　　欠擬合 underfitting：學習器對訓練樣本學習不充分，導致訓練樣本中包含的重要模式沒有被學習器獲取，降低了泛化性能；典型表現是訓練集上的性能可以繼續提高，測試集上的性能同時得以提高。

　　人工智能醫療器械生存周期模型 AIMD lifecycle model：人工智能醫療器械從起始到退役的整個演進過程的框架。

　　注1：包括：需求分析，設計與開發，驗證與確認，部署，運維與監控，再評價直至停運。

　　注2：在人工智能醫療器械生存周期中，某些活動可出現在不同的過程中，個別過程可重復出現。例如為了修復系統的隱錯和更新系統，需要反復實施開發過程和部署過程。

　　數據 data：信息的可再解釋的形式化表示，以適用于通信、解釋或處理。

　　注：可以通過人工或自動手段處理數據。

　　個人敏感數據 personal sensitive data： 一旦泄露、非法提供或濫用可能危害人身和財產安全，極易導致個人名譽、身心健康受到損害或歧視性待遇等的個人信息。

　　注：個人敏感信息包括身份證件號碼、個人生物識別信息、銀行賬號、通信記錄和內容、財產信息、征信信息、行蹤軌跡、住宿信息、健康生理信息、交易信息、14歲以下（含）兒童的個人信息等。

　　健康數據 health data：與身體或心理健康相關的個人敏感數據。

　　注：由于目前全球規定了不同的隱私合規性法律和法規。例如，在歐洲，可能需要采取的要求和參考變更為“個人數據”和“敏感數據”，在美國，健康數據可能會變更為“受保護的健康信息（PHI）”，這需要不同國家或地區的制造商進一步考慮中國當地的法律或法規。

　　數據集 data set：具有一定主題，可以標識并可以被計算機化處理的數據集合。

　　訓練集 training set：用于訓練人工智能算法的數據集，其外部知識源可用于算法參數的計算。

　　調優集 tuning set：用于優化人工智能算法的數據集，其外部知識源可用于算法超參數的選擇。

　　注：為避免與醫療器械領域所用術語“確認”進行區分，這里不使用通用人工智能領域的validation set，二者含義一致。

　　測試集 testing set：

　　用于測試人工智能算法性能的數據集，其外部知識源可用于對算法的評估。

　　參考標準 reference standard：篩查、診斷和治療過程或基于標注過程建立的基準。

　　注：參考標準可包含疾病、生理狀態或生理異常以及位置和程度等信息標簽。

　　金標準 gold standard：篩查、診斷和治療可依據的最佳參考標準。

　　數據清洗 data cleaning：檢測和修正數據集合中錯誤數據項的預處理過程。

　　數據采集 data acquisition：數據由生成裝置按照數據采集規范生成，以數字化格式存儲并傳輸到目標系統的過程。

　　數據脫敏 data masking：通過去標識化或匿名化，實現對個人敏感信息的可靠保護。

　　數據標注 data annotation：對數據進行分析，添加外部知識的過程。

　　仲裁 arbitration：多名標注人員對同一原始數據的標注結果不一致時用于決定最終結果的過程。

　　軟件質量 software quality：在規定條件下使用時，軟件產品滿足明確或隱含要求的能力。

　　軟件質量保證 software quality assurance：

　　a)為使某項目或產品遵循已建立的技術需求提供足夠的置信度，而必須采取的有計劃的和有系統的全部動作的模式。

　　b)設計以估算產品開發或制造過程的一組活動。

　　可靠性 reliability：在規定時間間隔內和規定條件下，系統或部件執行所要求功能的能力。

　　完整性 integrity：保護數據準確性和完備性的性質。

　　一致性 consistency：在數據集的各階段、部分之間，一致、標準化、無矛盾的程度。

　　重復性 repeatability： 由同一操作員按相同的方法、使用相同的測試或測量設施、在短時間間隔內對同一測試/測量對象進行測試/測量，所獲得的獨立測試/測量結果間的一致程度。

　　再現性 reproducibility：由不同的操作員按相同的方法，使用不同的測試或測量設施，對同一測試/測量對象進行觀測以獲得獨立測試/測量結果，所獲得的獨立測試/測量結果間的一致程度。

　　可達性 accessibility：組成軟件的各部分便于選擇使用或維護的程度。

　　可得性 availability：

　　a）軟件（系統或部件）在投入使用時可操作或可訪問的程度或能實現其制定系統功能的概率；

　　b）系統正常工作時間和總的運行時間之比；

　　c）在運行時，某一配置項實現指定功能的能力。

　　保密性 confidentiality：數據對未授權的個人、實體或過程不可用或不泄露的特性。

　　網絡安全 cybersecurity：通過采取必要措施，防范對數據、模型等攻擊、侵入、干擾、破壞和非法使用以及意外事故，使設備處于穩定可靠運行的狀態，以及保障數據、模型等的完整性、保密性、可得性的能力。

　　安全性 safety：免除于不可接受的風險。

　　魯棒性/穩健性：在存在無效輸入或急迫的環境條件下，系統或部件其功能正確的程度。

　　泛化能力 generalizability：機器學習算法對陌生樣本的適應能力。

　　可追溯性 traceability：系統對其決策過程及輸出進行記錄的特性。

　　公平性 fairness：系統做出不涉及喜好和偏袒決策的性質。

　　可解釋性 explainability：以人能理解的方式，對系統決策因素進行說明的能力。

　　黑盒測試 black-box testing：忽略系統或部件的內部機制只集中于響應所選擇的輸入和執行條件產生的輸出的一種測試。

　　白盒測試 glass-box testing：側重于系統或部件內部機制的測試。類型包括分支測試、路徑測試、語句測試等。

　　對抗[措施] countermeasure：為減小脆弱性而采用的行動、裝置、過程、技術或其他措施。

　　對抗樣本 adversarial sample：基于原始數據上添加擾動達到混淆系統判別目的新樣本。

　　對抗測試 adversarial test：使用對抗性樣本開展的測試，或采用不同目標樣本分布的特選數據作為壓力數據集進行的測試。

　　陽性樣本 positive sample：由參考標準確定為帶有某一種或幾種特定特征的樣本。

　　陰性樣本 negative sample：除陽性樣本以外的樣本。

　　真陽性 true positive(TP)：被算法判為陽性的陽性樣本。

　　假陽性 false positive(FP)：被算法判為陽性的陰性樣本。

　　真陰性 true negative(TN)：被算法判為陰性的陰性樣本。

　　假陰性 false negative(FN)：被算法判為陰性的陽性樣本。

　　目標區域 target region：在影像評價中，根據參考標準從原始數據中劃分出的若干個包含特定類別目標的最小數據子集（子集元素為像素，體素等）。

　　分割區域 segmentation region：在影像評價中，從原始數據中劃分出的若干個包含特定類別目標的最小數據子集（子集元素為像素，體素等）。

　　病變定位 lesion localization：算法檢出病變位置正確標識出參考標準確定的病變位置。

　　非病變定位 non-lesion localization：算法檢出病變位置未能正確標識出參考標準確定的病變所在位置。

　　病變定位率 lesion localization rate：病變定位數量占由參考標準確定的全體病變數量的比例。

　　非病變定位率 non-lesion localization rate：非病變定位數量占全體病例數量的比例，非病變定位率可以大于1。

　　假陽性率 false positive rate：假陽性病例數量（陰性病例中包含非病變定位）占全部陰性病例數量的比例。

　　靈敏度 sensitivity

　　召回率（查全率）recall:真陽性樣本占全體陽性樣本的比例。

　　特異度 specificity:真陰性樣本占全體陰性樣本的比例。

　　漏檢率 miss rate:1減去靈敏度。

　　精確度（查準率） precision

　　陽性預測值 positive prediction value：真陽性樣本占被算法判為陽性樣本的比例。

　　陰性預測值 negative prediction value：真陰性樣本占被算法判為陰性樣本的比例。

　　準確率 accuracy：算法判斷正確的樣本占全體樣本的比例。

　　F1度量 F1-measure：召回率和精確度的調和平均數。

　　約登指數 Youden index：靈敏度與特異度之和減去1。

　　受試者操作特征曲線 receiver operating characteristics curve（ROC curve）：以假陽性率為橫坐標、真陽性率為縱坐標，根據算法在不同閾值設定下對于給定的測試集得到的一系列結果繪制的曲線。

　　曲線下面積 area under curve(AUC):曲線下與坐標軸圍成的積分面積。

　　自由響應受試者操作特征曲線 free-response receiver operating characteristics curve(fROC)：以非病變定位率為橫坐標、病變定位率為縱坐標，根據算法在不同閾值設定下對于給定的測試集得到的一系列結果繪制的曲線。

　　候選自由受試者操作特征曲線 alternative free receiver operating characteristics curve(AFROC curve)：以假陽性率為橫坐標、病變定位率為縱坐標，根據算法在不同閾值設定下對于給定的測試集得到的一系列結果繪制的曲線。

　　精確度-召回率曲線 precision-recall curve(P-R)：以召回率為橫坐標、精確度為縱坐標，根據算法在不同閾值設定下對于給定的測試集得到的一系列結果繪制的曲線。

　　平均精確度 average precision(AP)：精確度-召回率曲線下與坐標軸圍成的積分面積。

　　平均精確度均值 mean average precision(MAP)：在多目標檢測問題上，算法對于各類目標的平均精確度的平均值。

　　交并比 intersection over union(IoU)：分割區域與目標區域的交集占分割區域與目標區域并集的比例

　　注：也可稱為Jaccard系數。

　　Dice系數 Dice coefficient：分割區域與目標區域的交集占分割區域與目標區域平均值的比例。

　　中心點距離 central distance：分割區域中心與目標區域中心的距離，該指標反映兩個集合的接近程度。

　　混淆矩陣 confusion matrix：一種矩陣，它按一組規則記錄試探性實例的正確分類和不正確分類的個數。

　　注1：通常矩陣的列代表人工智能的分類結果，而矩陣的行代表參考標準的分類結果；

　　注2：也可稱為含混矩陣。

　　Kappa系數 Kappa coefficient：一種用于評價結果一致性的指標。

　　信噪比 signal-to-noise ratio(SNR)：信號平均功率水平與噪聲平均功率水平的比值。

　　峰值信噪比 peak signal-to-noise ratio：:信號最大可能功率與噪聲平均功率水平的比值。

　　結構相似性 structural similarity：是一種衡量兩幅圖像相似度的指標。

　　余弦相似度 cosine similarity：通過測量兩個向量的夾角的余弦值來度量它們之間的相似性。

　　困惑度 perplexity：度量概率分布或概率模型的預測結果與樣本的契合程度，困惑度越低則契合越準確。

　　字錯率 word error rate：將識別出來的字需要進行修改的字數與總字數的比值。

　　交叉熵 cross-entropy：一種度量兩個概率分布之間差異的指標。

　　互信息 mutual information：對兩個隨機變量間相互依賴性的量度。

　　服務可用性 service availability：服務客戶發起服務請求后，服務可訪問的時間占總服務時間的比例。

　　注：服務可用性的計算是在一系列預定義的時間段中，服務可用時間之和占預定義時間段之和的比例，可排除允許的服務不可用時間。

　　附件3

　　參考文獻

　　[1]醫療器械生產質量管理規范附錄獨立軟件

　　[2]醫療器械生產質量管理規范獨立軟件現場檢查指導原則

　　[3]人工智能醫療器械注冊審查指導原則

　　[4]醫療器械軟件注冊審查指導原則（2022年修訂版）

　　[5]醫療器械網絡安全注冊審查指導原則（2022年修訂版）[6]YY/T 1833.1-2022人工智能醫療器械 質量要求和評價 第1部分：術語

　　[7]YY/T 1833.2-2022人工智能醫療器械 質量要求和評價 第2部分：數據集通用要求

　　[8]YY/T 1833.3-2022人工智能醫療器械 質量要求和評價 第3部分：數據標注通用要求

　　[9]YY/T 1833.4-2023 人工智能醫療器械 質量要求和評價 第4部分：可追溯性

　　[10]YY/T XXXX.X-XXXX《人工智能醫療器械 質量要求和評價 第5部分：預訓練模型》征求意見稿

　　[11]GB/T 42061—2022 醫療器械 質量管理體系 用于法規的要求[S]

　　[12]GB/T 42062—2022 醫療器械 風險管理對醫療器械的應用[S]

　　[13]YY/T 0664-2020 醫療器械軟件 軟件生存周期過程[S]

　　[14]IEEE Std 2801-2022 Recommended Practice for the

　　Quality Management of Datasets for Medical Artificial Intelligence醫學人工智能數據集質量管理推薦標準