關于公開征求《糖尿病視網膜病變眼底圖像輔助診斷軟件注冊審查指導原則（征求意見稿）》意見的通知

各有關單位：

                                      2021年11月15日

【附件】

糖尿病視網膜病變眼底圖像輔助診斷軟件注冊審查指導原則

（征求意見稿）

本指導原則旨在指導注冊申請人進行糖尿病視網膜病變眼底圖像輔助診斷軟件的注冊申報，同時也為醫療器械監督管理部門對注冊申報資料的審評提供技術參考。
本指導原則系對糖尿病視網膜病變眼底圖像輔助診斷軟件的一般要求，申請人應依據具體產品的特性對注冊申報資料的內容進行充實和細化。申請人還應依據具體產品的特性確定其中的具體內容是否適用，若不適用，需詳細闡述其理由及相應的科學依據。
本指導原則是供醫療器械注冊申請人和審查人員的指導性文件，但不包括注冊審批所涉及的行政事項，亦不作為法規強制執行，如果有能夠滿足相關法規要求的其它方法，也可以采用，但是需要提供詳細的研究資料和驗證資料。應在遵循相關法規的前提下使用本指導原則。
一、適用范圍
本指導原則適用于糖尿病視網膜病變眼底圖像輔助診斷軟件的注冊。產品管理類別為三類，分類編碼為21-04-02。產品通常由客戶端和服務器端（云服務器或本地服務器）組成，深度學習算法通常運行在服務器端。若作為軟件組件集成于其他醫療器械（如眼底相機）中，可以參考本指導原則的要求。
本產品的核心功能是采用深度學習等人工智能算法對由眼底相機（指采用照相技術用于眼底攝影成像的常規眼底照相機，不包括激光、熒光等特殊方式的眼底相機）拍攝的彩色眼底照片進行分析，臨床通常用于輔助醫生發現II期及II期以上糖尿病視網膜病變（簡稱“糖網”，英文縮寫DR），并給出進一步就醫檢查的建議。I期和II期的分界線決定著患者需要轉診到專業眼科機構進行診療，還是留在基層醫療機構定期復查。不能僅憑算法診斷結果進行臨床決策，需要由醫生對圖像拍攝質量和診斷結果進行綜合判斷，確認簽字后報告生效，必要時需重新拍攝分析和/或修改結果。
產品的核心功能通常是對單張眼底照片進行糖網二分類，可能會進一步對患者雙眼多張照片分析結果進行簡單邏輯運算后給出綜合結論。產品可能還包含圖像質量判定、糖網分期等輔助功能，采用深度學習算法或傳統模式識別算法實現。不同產品支持的拍攝方式（散瞳或免散瞳）、拍攝范圍（體現視場角，并明確多張拼接，眼底后極部包括黃斑區和視盤區的單張照片，分別以黃斑區和視盤區為中心的2張眼底照片等情形）、相機種類/型號等有所區別。
本指導原則不適用于核心功能不是糖網輔助診斷的產品，如黃斑病、青光眼輔助診斷軟件。本指導原則不包括臨床評價的要求。
二、審查要點
（一）監管信息
1. 獨立軟件
產品名稱應符合通用名稱命名規范要求，通常體現輸入數據（彩色眼底照片）、目標疾病（糖尿病視網膜病變）、預期用途（輔助診斷）等特征詞。若主要功能僅為糖網輔助診斷，產品名稱建議采用：糖尿病視網膜病變眼底圖像輔助診斷軟件。
按照2017版《醫療器械分類目錄》和《人工智能醫用軟件產品分類界定指導原則》，該類產品管理類別為三類，分類編碼為21-04-02。
型號規格應給出產品的型號和軟件發布版本。
結構組成應明確軟件交付方式（如光盤/U盤安裝、網絡下載），結合網絡部署情況給出軟件功能模塊，應體現出包括深度學習功能的所有模塊。
適用范圍應體現出使用場所、適用人群（如成人糖尿病患者）、目標用戶（如執業醫師）、處理對象（包括眼底照片的拍攝方式、拍攝范圍、張數）、臨床用途（如圖像質量判定、轉診建議）、所支持眼底相機要求（內容較多的可在產品技術要求中體現）、主要使用限制（通常應體現不能僅憑軟件結果給出臨床決策）。
2. 軟件組件
糖網輔助診斷功能作為軟件組件集成于其他醫療器械（如眼底相機）中，通常無需在注冊證載明信息中體現。產品名稱、分類編碼、型號規格、結構組成與所集成醫療器械保持一致，產品管理類別應為第三類。在適用范圍和產品技術要求中體現糖網輔助功能的相關信息，軟件功能名稱可參照獨立軟件要求。
（二）綜述資料
1. 器械及操作原理描述
按照《人工智能醫療器械注冊審查指導原則》在算法研究報告中提供算法基本信息，結合本產品特點應注意和細化的要求詳見下文算法研究資料的算法基本信息。
2. 產品的適用范圍、適用人群、禁忌證
按照國家藥監局發布的注冊申報資料要求提供產品的適用范圍、預期使用環境、適用人群、禁忌證，需與申報產品的性能、功能相符，并需與臨床評價資料結論一致。
（三）產品技術要求
1. 規格信息
應給出軟件發布版本和版本命名規則。軟件版本命名規則原則上應涵蓋算法驅動型更新和數據驅動型更新，明確并區分重大軟件更新和輕微軟件更新，其中重大軟件更新列舉常見典型情況。
應給出可支持的眼底相機的技術要求、拍攝要求、型號，應有算法研究資料的結果做支持。相機技術要求至少應包括執行標準（如YY 0634《眼科儀器眼底照相機》）、圖像類型（如彩色眼底照片，并明確不適用的圖像類型，如熒光造影等）、圖像像素。拍攝要求至少應明確拍攝方式（散瞳與否）、拍攝范圍（如包括黃斑區和視盤區的單張眼底圖），還可包括對焦方式（手動、自動）、固視要求。眼底相機型號應給出制造商和型號，且應為國內上市的產品。
附錄的要求參考軟件指導原則，其中：附錄A體系結構圖，應明確各功能模塊的節點位置（如客戶端、云端），明確人工智能核心算法運行位置；附錄B界面關系，應體現出診斷分析界面和報告界面的細節，明確算法自動生成的標注、診斷結果哪些可以修改，報告界面應有醫生簽字處。
2. 性能指標
應制定軟件的所有臨床功能，如糖網二分類、糖網分期、圖像質量判定。糖網二分類或分期應給出依據的文獻，若是自定規則，應詳細描述依據、原因和方法等。圖像質量判定中應明確不合格的圖像類型并說明是否進行后續分析。枚舉軟件在各種情形下可生成的所有診斷結果、轉診建議、圖像質量判定的措辭等。
若含有基于測評數據庫測試的性能指標，其要求參考《人工智能醫療器械注冊審查指導原則》。
運行效率，明確所定義效率包括了哪些環節（如上傳、處理、返回、顯示）。
運行環境，運行在不同計算機系統的產品模塊（如客戶端和云端）應分別描述其運行環境。
（四）軟件研究資料
申請人應依據《醫療器械軟件技術審查指導原則》、《醫療器械網絡安全技術審查指導原則》、《移動醫療器械注冊技術審查指導原則》、《人工智能醫療器械注冊審查指導原則》等指導原則，提交相應注冊申報資料。
該類產品的軟件安全性級別不低于為B級，提交的軟件研究資料應分為軟件研究資料、網絡安全研究資料、算法研究資料三部分。
關于運行環境兼容性，依據《醫療器械軟件注冊審查指導原則》：每個互不兼容的運行環境（含云計算）需作為一個檢測單元分別檢測；進行兼容性驗證，對于B/S架構的軟件，還應提供所有聲稱可兼容的客戶端瀏覽器的兼容性測試報告。
網絡安全方面除遵循《醫療器械網絡安全注冊技術審查指導原則》之外，由于深度學習算法的特殊性，還需要遵循《人工智能醫療器械注冊審查指導原則》中關于網絡安全和數據安全過程控制的要求。
（五）算法研究資料
應基于《人工智能醫療器械審查指導原則》第四章生存周期過程、第五章技術考量、第六章算法研究資料的所有相關要求提供算法研究報告或算法更新研究報告，以及人機交互研究資料，認為不適用的應詳述理由。在核心功能糖網二分類之外包括其他相關子功能的應分別提供資料，在能清晰區分的前提下，相同內容宜合并，有接口關系的算法/功能應統籌提供資料。根據本產品特點需要細化之處如下。
1. 算法基本信息
（1）糖網分類算法的輸入應明確支持的拍攝方式、拍攝范圍、相機型號，輸出應分別明確算法的輸出和自動生成的診斷結論；
（2）圖像質量判定算法應明確可識別的不良質量類型或程度，給出判定規則的依據，明確對于不同質量的圖像后續是否均進行分析，結果是否有其他使用限制。
（3）部署在云服務器的應說明服務器的物理位置；
（4）軟件組件應描述與產品其他組成部分的功能接口和用戶接口。
2. 算法需求規范
產品設計應充分考慮我國糖網相關診療指南、方案，跟蹤最新版本，如《我國糖尿病視網膜病變臨床診療指南（2014）》、《我國糖尿病視網膜病變篩查的圖像采集及閱片指南（2017）》、《糖尿病視網膜病變分級診療服務技術方案（2017）》等。
明確產品的使用場景、使用者、適用人群，如允許操作者不同于報告簽署人，應分別描述。
明確圖像質量控制的方式，即達到什么要求的圖像可供算法分析，尤其應描述算法在圖像質量不佳情形下的處理方法（如：不進行分析，或在給出分析結果時明確提示圖像質量不佳的負面影響）。明確圖像質控過程中使用者和算法（若有）的職責。
明確算法訓練數據集要求，明確預期采集各糖網分期樣本、陰性樣本、相似/相關的疾病/癥狀樣本的數量和分布要求，明確相機型號/種類、拍攝方式（散瞳、免散瞳）、拍攝范圍、分辨率的要求，以及人群分布（性別、年齡、地域、基礎疾病等）、醫院級別、醫院數量等要求。應納入一定量相似/相關的疾病/癥狀樣本，即與糖網癥狀類似或具有相關性疾病患者的圖像。
明確算法性能設計目標，應給出核心功能糖網二分類的敏感性、特異性，明確設定依據，應能夠滿足預期臨床使用需求，其他輔助功能參考《人工智能醫療器械注冊審查指導原則》的建議設定性能設計目標。
3. 數據質控
（ 1 ）數據采集
應明確不同眼底相機的拍攝方式、拍攝范圍、采集過程的不同要求，詳述采集過程的人員管理、流程管理、質量評估要求。若使用歷史數據，至少應明確采集設備和采集特征，對其他要求開展差異分析，追溯數據的生成過程，論證采集和標注過程的科學性、規范性。
（ 2 ）數據整理
明確經數據清洗棄用數據的原因和數量。數據預處理環節應采用典型圖片和流程圖說明處理過程和每一步處理的結果。原始數據庫的預處理過程若與產品中算法運行的預處理過程存在差異，應通過比較來說明。
（ 3 ）數據標注
建議列表給出標注、審核、仲裁人員的基本信息，如科室/專業、職稱、工作年限、所在機構、培訓考核情況、工作量，若有外國人員則需明確其資質要求。宜采用流程圖介紹單張圖片的標注、審核、仲裁過程。若標注較復雜宜采用典型圖片加流程圖說明每一步的標注內容以及特殊情況處理，簡述全部圖片標注的管理過程、時間周期，特別是標注周期內的質量評估。若用于不同功能做標注的數據集與數據量有所區別，應明確具體情況。
（ 4 ）數據集構建
對于標注前的基礎數據庫，標注后劃分的訓練集、調優集、測試集，應給出樣本量和分布情況及其確定依據，以及集合劃分的方法、依據。應注意保證糖網I期、II期樣本的數量。樣本分布應主要考慮相機種類/型號、拍攝方式（散瞳與否）、拍攝范圍、合并相似/相關的疾病/癥狀等因素，兼顧人群分布（性別、年齡、地域、基礎疾病等）、來源醫院等因素。可進行數據擴增，應符合《人工智能醫療器械注冊審查指導原則》的要求。
4. 算法驗證與確認
（ 1 ）算法性能評估
基于測試集提供假陰性與假陽性、重復性與再現性、魯棒性/健壯性等算法性能指標評估結果，以證明算法性能滿足設計目標。亦可基于第三方數據庫開展算法性能評估。
若有圖像質量判定模塊，應選擇合適的評價指標驗證圖像質量分級算法性能。
（ 2 ）算法性能影響因素分析
應進行算法性能影響因素分析以提升算法可解釋性，詳述影響算法性能的主要因素及其影響程度，基于分析結果明確產品使用限制和必要警示提示信息。
核心功能糖網二分類的主要性能影響因素包括但不限于相機種類/型號、拍攝方式（散瞳與否）、拍攝范圍、合并相似/相關的疾病/癥狀、圖像質量，還可能受人群分布（性別、年齡、地域、基礎疾病等）、來源醫院等因素一定影響。應針對不同因素分別建立子數據集進行測試，以了解這些因素的影響程度。對于其他功能模塊，應基于產品特征初步分析識別可能對性能產生影響的因素后進行分析。
對于某一影響因素，可建立多個包含單一因素的子集和一個包含所有子集的合集（必要時）分別進行性能測試，統計分析各集合性能差異，評價影響程度。對于預期對性能有顯著影響且存在相互關聯的不同影響因素，也可建立包含多因素的子集進行分析，如有A、B兩個因素，每個因素有2種情況，可形成分別僅包含A1B1、A1B2、A2B1、A2B2因素的4個子集。其中，處于分界點處的糖網I期、II期分類的準確性對產品性能起關鍵影響，應單獨建立測試集驗證。各集合應保證具有足夠的樣本量，性能評估結果應給出中心值和95%置信區間。各子集宜以產品研發時標注數據庫中的測試集為主，當某一待評價因素的樣本量較少或沒有時（如測試集只包括A型、B型眼底相機的圖像，從其他數據集納入C型相機的圖像），可補充其他數據集的樣本，如臨床試驗、真實世界、第三方測試等的樣本，但合并在一個子集的數據其標注規則應基本一致。簡述各子集的構建情況，如數據來源、標注過程、標準規則、樣本分布等。
（ 3 ）算法性能綜合評價
按照《人工智能醫療器械注冊審查指導原則》開展算法性能比較分析和算法性能綜合評價。自建測試數據集測試、臨床試驗、真實世界應用、第三方數據庫測試、壓力測試、對抗測試等均可視為算法性能評估場景。應分別簡介各數據集的構建情況，如數據來源、標注過程、標注規則、樣本分布（至少應體現相機型號、拍攝方式、拍攝范圍、相似/相關疾病/癥狀的情況）等，列表給出主要性能評價指標，結合數據集構建和性能評價結果對產品性能綜合評價。針對訓練樣本量和測試樣本量過少、測試結果明顯低于算法設計目標、算法性能變異度過大等情況，對產品的適用范圍、使用場景、核心功能在產品適用范圍、產品技術要求、說明書、產品界面等處明確使用限制；針對其他對算法性能影響較小的因素，給出必要的提示信息。
5. 人機交互研究資料
本產品核心功能單一，結果明確，但使用場景局限，不僅不能替代醫生，更需要操作者充分了解產品的特點、使用限制和注意事項。應制定操作者培訓和考核方案，并驗證方案的可行性。
軟件生成的報告應可修改，由具有糖網診療資質的執業醫師簽字確認后生效，上述醫生應已具備基于眼底照片進行糖網分期診斷及易混淆病癥辨析的能力，經過產品培訓，還應具有以下能力：1.能夠判定拍攝范圍和拍攝質量能否達到申報產品處理要求；2.結合軟件給出結果，根據自己的判斷對自動生產報告進行修改或重新拍攝、分析；3.了解算法的限制和注意事項，結合患者臨床情況做出綜合判斷，給予患者必要的口頭醫囑和/或在報告上附加信息。注意，某些產品雖然具有圖像質量判斷模塊，但由于軟件驗證無法窮舉所有圖像質量不合格情況，仍需由醫生對圖像質量做最終判斷。
培訓方案應包括但不限于：軟件基本操作、圖像質量判定、軟件的使用限制和注意事項。培訓考核應納入適當的醫生數量和測試樣本數量，評價點除糖網分期診斷，還應包括上述能力。參加考核的醫生應與預期使用產品的醫生在培訓前具有等同能力，以驗證培訓方案的可行性。
（六）說明書
說明書應符合《醫療器械軟件技術審查指導原則》、《醫療器械網絡安全技術審查指導原則》的相關要求，還應符合《人工智能醫療器械注冊審查指導原則》關于輔助決策類產品的相關要求。
應給出產品的所有注意事項，特別是結合前期的人機交互、算法性能評估、算法性能影響因素評估后得出的使用限制，應包括且不限于：
1.產品僅用于檢測糖網，不用于檢測其他疾病，如果未檢測出糖網，不意味著不存在其他眼部疾病；
2.產品應由有資質的機構和人員按照說明書使用；
3.執業醫師應該結合軟件診斷、患者病史、主訴等各種信息綜合給出診斷意見，特別應關注患者的眼部相關病史及治療史，如用于妊娠期婦女，由于可能為妊高癥，病程進展快，應告知其提高復查頻率；
4.執業醫師應接受過相應培訓，產品使用中負責評估圖像拍攝質量和范圍是否符合診斷要求，算法診斷結果是否正確，必要時重新拍攝分析或修改結論；
5.明確產品進行糖網分期的設計依據；
6.應告知用戶產品所采集數據的保存和傳輸情況，數據安全、網絡安全方面的法律法規要求及其應承擔的責任。
（七）質量管理體系-產品具體實施信息
應當明確產品生產工藝過程，可采用流程圖的形式，并說明其過程控制點。
明確特殊過程和關鍵工序，提供特殊過程的確認資料以及關鍵工序的驗證資料，如采集、標注、脫敏等開發軟件的確認方案和報告等。說明標注數據庫的保存位置和管理方式。
三、參考資料
[1] 國家藥品監督管理局. 醫療器械注冊管理辦法[Z]，2021.9
[2] 原國家食品藥品監督管理總局. 醫療器械說明書和標簽管理規定（總局令第6號）[Z]，2014.7
[3] 國家藥品監督管理局. 醫療器械注冊申報資料要求和批準證明文件格式[Z]，2021.9
[4] 國家藥品監督管理局. 醫療器械安全和性能的基本原則（2020年第18號通告）[Z]，2020.3
[5] 國家藥品監督管理局. 醫用軟件通用名稱命名指導原則（2021年第48號通告）[Z]，2021.7
[6] 國家藥品監督管理局醫療器械技術審評中心. 醫療器械軟件技術審查指導原則（2021年修訂版）（征求意見稿）[Z]，2020.6
[7] 國家藥品監督管理局醫療器械技術審評中心. 醫療器械網絡安全技術審查指導原則（2021年修訂版）（征求意見稿），2020.9
[8] 國家藥品監督管理局醫療器械技術審評中心. 人工智能醫療器械臨床評價技術審查指導原則（征求意見稿）[Z]，2021.9
[9] 國家藥品監督管理局醫療器械技術審評中心. 深度學習輔助決策醫療器械軟件審評要點（2019年第7號通告）[Z]，2019.7
[10] 國家藥品監督管理局醫療器械技術審評中心. 糖尿病視網膜病變輔助診斷軟件臨床試驗指導原則（草稿）[Z]，2021.9
[11] 國家藥品監督管理局. 人工智能醫用軟件產品分類界定指導原則（2021年第47號通告）[Z]，2021.7
[12] GB/T 25000.12-2017 系統與軟件工程 系統與軟件質量要求和評價（SQuaRE） 第12部分：數據質量模型[S]
[13] AIMDICP-WG6-2020-001 基于眼底彩照的糖尿病視網膜病變輔助決策產品性能指標和測試方法[S]，2020.7
[14] FDA. Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data[Z], 2012.7
[15] FDA. Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data[Z], 2012.7
[16] FDA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML) - Based Software as a Medical Device (SaMD) Draft[Z], 2019.5
[17] FDA. Artificial Intelligence and Machine Learning(AI/ ML) Software as a Medical Device(SaMD) Action Plan[Z], 2021.1
四、編寫單位
本指導原則由國家藥監局醫療器械技術審評中心編寫并負責解釋。

（附件下載可見二維碼）