各有關單位：
根據國家重點研發計劃專項課題《人工智能醫學信息系統軟件審評指導體系構建》的要求，由我中心負責起草的《超聲影像人工智能診斷軟件技術審評指導原則》等11項人工智能醫學信息系統軟件指導原則（見附件）已經完成制定流程，并通過專家組審定，現予以發布，供參考。
附件：
1.人工智能醫學軟件網絡安全技術審評指導原則
廣東省藥品監督管理局審評認證中心
2022年12月13日
本文為附件1：
人工智能醫學軟件網絡安全技術審評指導原則
本指導原則是人工智能醫學信息系統軟件審評指導體系構建的組成部分，基于人工智能醫療器械審評指導原則和醫療器械網絡安全注冊審查指導原則的通用要求，細化了人工智能醫學軟件網絡安全的一般要求。
本指導原則旨在指導注冊人規范人工智能醫學軟件網絡安全生存周期過程和為技術審評提供參考。不涉及相關行政審批事項，亦不作為法規強制執行，應在遵循相關法規的前提下使用本指導原則。
本指導原則是在現行法規和標準體系以及當前認知水平下制定的，隨著法規和標準的不斷完善，以及科學技術的不斷發展，在使用過程中應對相關內容適時進行調整。
本指導原則適用于人工智能醫學軟件的網絡安全的產品注冊，人工智能醫學軟件指采用人工智能技術（AI）實現其預期用途的醫學軟件，包括人工智能醫學獨立軟件和人工智能醫學軟件組件。如采用機器學習、模式識別、規則推理等技術實現醫療用途的獨立軟件和軟件組件。
通過采取必要措施、防范對數據、模型等攻擊、侵入、干擾、破壞和非法使用以及意外事故，使軟件設備處于穩定可靠運行的狀態，以及保障數據、模型等的完整性、保密性、可得性的能力。此外，人工智能醫學軟件是基于海量醫學數據和高算力算法的軟件，醫療數據包含個人標識、健康狀況以及醫療情況等相關信息，盡管信息安全、網絡安全、數據安全的定義和范圍各有側重，即有聯系又有區別，但本指導原則對三者不做嚴格區分，統一采用網絡安全進行表述，綜合考慮軟件的信息安全和數據安全。
數據不被未授權實體（含產品、服務、個人、組織）獲得或知悉的特性，即人工智能醫學軟件相關數據僅可由授權用戶在授權時間以授權方式進行訪問和使用。
數據的創建、傳輸、存儲、顯示未以非授權方式進行更改（含刪除、添加）的特性，即人工智能醫學軟件相關數據是準確和完整的，且未被篡改。
數據可根據授權實體要求進行訪問和使用的特性，即人工智能醫學軟件自身和相關數據能以預期方式適時進行訪問和使用。
除保密性、完整性、可得性三個基本特性外，人工智能醫學軟件產品網絡安全還需考慮真實性、抗抵賴性、可核查性、可靠性等特性。注冊人應結合人工智能醫學軟件產品的預期用途、使用場景、核心功能進行綜合考量，從而確定人工智能醫學軟件產品網絡安全特性的具體要求。
人工智能醫學軟件網絡安全風險與軟件風險存在差異，但是網絡安全風險作為軟件風險的重要組成部分，其風險級別亦可參照軟件采用安全性級別進行表述 。在通常情形下，人工智能醫學軟件網絡安全的安全性級別與所屬人工智能醫學軟件的安全性級別相同；在特殊情形下，網絡安全的安全性級別可低于軟件的安全性級別，如軟件運行于不通公網的環境或軟件運行于完全受控的環境，此時需詳述理由并按網絡安全的安全性級別提交相應注冊申報資料。
人工智能醫學軟件產品網絡安全風險同樣結合軟件的預期用途、使用場景、核心功能進行綜合判定，特別是使用場景。不同使用場景的網絡環境不同，甚至存在巨大差異，對于人工智能醫學軟件產品網絡安全的影響亦不同，如門診、手術、住院、急救、家庭、轉運、公共場所等使用場景的網絡環境均有所不同，因此對于適用于多個使用場景的人工智能醫學軟件，注冊申請人需保證軟件在每個使用場景的網絡安全。
隨著人工智能技術的發展，越來越多醫學軟件產品使用人工智能技術實現輔助診斷、輔助分析等功能，大部分軟件具備網絡連接功能以實現電子數據交換或遠程控制，在提升醫療服務質量與效率的同時面臨著網絡攻擊的威脅。人工智能醫學軟件是基于海量醫學數據和高算力算法的軟件，醫療數據包含個人標識、健康狀況以及醫療情況等相關信息，鑒于醫療數據的特殊性，這些信息如被泄露、篡改或濫用，會影響健康護理、醫學治療以及科學研究效果，在更嚴重的情況下會導致醫療事故發生。另一方面，醫療數據大量涉及個人信息，數據的泄露、濫用和不正當披露會對個人信息安全造成侵害，甚至可能影響個人正常生活。因此，對于人工智能醫學軟件將帶來更多的網絡安全方面的考量，為保護個人健康醫療數據需要采取合理和適當的管理和技術保證措施，以達到以下目標：
a)保護醫療數據使用和披露過程中的保密性 、完整性和可得性 ；
b)確保醫療數據使用和披露過程的隱私性 ，保護個人隱私、個人權益。
人工智能醫學軟件除考慮軟件自身網絡安全能力建設外，還應當在軟件全生命周期過程中考慮網絡與數據安全過程控制要求，包括上市前設計開發階段和上市后使用階段。
上市前設計開發階段包括算法數據構建階段、算法訓練生成階段。
算法數據構建階段包括兩個過程，分別是數據獲取和數據整理：
1.數據獲取部分是獲取用于訓練/更新算法的數據，其中數據包括自身私有數據、供應鏈數據、標準數據集、模型運行反饋數據等從多渠道獲取的數據。
2.數據整理部分是為將獲取的數據整合成為能夠作為訓練模型使用的數據，包括數據預處理、數據標注、數據集構建等過程及數據存儲。
人工智能醫療軟件，區別一般的醫療器械軟件，人工智能醫學軟件依靠海量數據訓練，所以應識別該過程中網絡與數據安全風險并進行有效控制。該階段的具體風險如表1所示（包括但不限于）：
|
|
|
|
|
|
|
訓練數據植入被修改的樣本，使模型效果不佳， 或定向使得某些實例被檢測為指定的結果
|
|
|
|
模型植入部分具有特定模式特征的樣本，訓練后使模型產生后門
|
|
|
|
可能使用未經用戶授權的數據，或者用戶要求“遺忘”的數據，造成法律風險
|
|
|
|
不安全的數據存儲環境或配置管理缺陷，可能 導致數據泄露，造成數據隱私泄露
|
算法訓練與生成階段包括模型選型實現及模型訓練測試兩個流程：
1.模型選型實現階段是參照涉及與規范，選取適當的開發框架、預訓練模型等，對模型進行編碼實現。
2.模型訓練測試階段中訓練過程一般劃分多個批次進行迭代優化和驗證，直到滿足性能要求或達到最優結果。測試過程通常依賴大量的現實/模擬數據對模型表現進行評估，還包括對抗測試來確保模型抗魯棒性。
模型訓練與生成階段具體風險如表2所示（包括但不限于）：表2
風險 |
階段 |
|
|
|
|
采用的預訓練模型可能引入后門，進行 Fine-Tune后后門可能繼續存在，造成模型推理時觸發錯誤預測
|
|
|
|
聯邦學習惡意的參與者可能對數據投毒造成整個模型訓練表現下降，或者植入后門
|
|
|
|
聯邦學習惡意的參與者可能利用共享的 非加密梯度信息恢復相鄰參與者的數據
|
|
|
|
AI模型開發依賴的框架、組件可能存在 漏洞，造成模型預測時執行惡意程序
|
|
|
|
目前許多企業采用公有云訓練環境，可能由于公有云安全問題，造成數據及模型泄露，或被植入后門
|
上市后產品部署應用階段包括產品部署使用和模型更新兩個流程：
1.產品部署使用階段是將算法部署到相應的業務流程、系統環境中，根據輸入計算推理結果。算法使用可能涉及到從物理世界向數字平面轉換等數據采集、預處理過程，也涉及到與系統、軟件、硬件及第三方環境的集成和數據聯動。
2.算法更新可分為算法驅動型更新和數據驅動型更新。其中，算法驅動型更新是指人工智能醫學軟件所用算法、算法結構、算法流程、算法編程框架、輸入輸出數據類型等發生改變。此外，算法重新訓練即棄用原有訓練數據而采用全新訓練數據進行算法訓練，亦屬于算法驅動型更新。數據驅動型更新是指僅由訓練數據量增加而發生的算法更新。
產品部署應用階段的具體風險如表3所示（舉例如下）：
|
|
|
|
|
|
|
在數字形態的模型輸入中添加定向的噪聲，欺騙模型，做出錯誤的預測
|
|
|
|
將數字形態對抗樣本在物理世界中實現，造成模型錯誤預測，也可以定向添加噪聲
|
|
|
|
輸入數據中具有特定的模式，促使模型給出指定的結果，與正常推理相違背
|
|
|
|
模型參數被竊取，AI模型被逆向獲取，造成企業核心競爭力AI資產損害
|
|
|
|
構造特殊的輸入及查詢模型，通過輸出結果來還原輸入數據(可為訓練集中樣本)，從而造成數據隱私泄露
|
|
|
|
利用模型輸出置信度分布特征，判斷某一樣本數據是否在訓練數據集中，造成訓練集中數據隱私泄露
|
|
|
|
利用對抗手段分析模型推理資源消耗，構造樣本造成模型推理損耗提高，造成拒絕服務
|
|
|
|
攻擊者對輸入預處理方法（例如圖片的預處理縮放算法）進行攻擊，向其中定向插入擾動，使得輸入發生頂下擾動，欺騙模型做出錯誤預測
|
|
|
|
很多模型引入了用戶反饋對模型進行更新，攻擊者利用投毒反饋數據來對模型進行“誘導”，為攻擊謀利
|
|
|
|
硬件環境中植入后門，在模型部署后使用該硬件執行時觸發后門
|
|
|
|
模型部署環境可能存在漏洞，導致模型文件被惡意篡改，植入后門或者竊取信息
|
|
|
|
利用AI模型運行時CPU、內存等資源進行側信道分析， 能夠實現對模型的關鍵信息竊取
|
|
|
|
模型所屬業務系統，與傳統軟件&系統安全面臨的威脅相同，可能導致模型泄露或執行惡意程序
|
|
|
|
|
產品制造商按照產品特點對產品本身的風險進行分析，提供風險管理文檔，基于風險分析。并在全生命周期中持續關注網絡安全問題，包括但不限于設計開發、生產、分銷、部署、更新維護、上市后監測等。重點關注數據采集、數據集構建、算法學習、云計算、遠程控制和外部軟件環境等網絡安全風險點?；诒Ｃ苄?、完整性、可得性等網絡安全特性，確定人工智能醫學軟件網絡安全能力建設要求。
人工智能醫學軟件產品網絡安全的保障，是用戶、網絡設施提供方與注冊人共同參與的結果。注冊人可以通過參考醫療器械網絡安全相關標準和技術報告，識別人工智能醫學軟件產品的網絡安全能力，進行網絡安全風險控制。注冊人在對這些網絡安全能力進行配置以配合用戶進行網絡安全風險管理時，應綜合考慮人工智能醫學軟件產品的預期用途與使用場景限制，對于網絡安全威脅應必要的識別、保護能力和適當的探測、響應、恢復能力，通用能力詳見《醫療器械網絡安全審查指導原則》中22項網絡安全能力，此外針對人工智能醫學軟件提出2項新增網絡安全能力。開發商應該決策網絡安全能力：
產品確保在數據構建階段有效保護訓練數據的能力，如提供安全的存儲環境、完備的安全配置、確保數據不被惡意修改等，并確保訓練數據得到用戶授權。
確保有訓練環境、開發框架、組件、依賴庫安全性能的驗證能力。
基于以上所述網絡安全能力，申請人應逐項分析所申報人工智能醫學軟件對于該項網絡安全能力的適用性，若適用明確網絡安全能力的實現方式，可通過產品自身功能實現，亦可通過必備軟件、外部軟件環境等外部措施實現。反之說明不適用的理由。
采集的數據應進行數據脫敏以保護患者隱私，數據脫敏應描述用于保護受試者隱私的技術手段，如數據去標識化、數據匿名化等。數據轉移應明確轉移方法，轉移方法應保證數據的安全，如對數據進行加密壓縮、通過硬盤拷貝等方法。
應有防止數據污染的防護措施，特別是在開放網絡環境下。如標注軟件部署在云服務器，應提供云服務商的名稱、住所和資質，明確云服務的服務模式、部署模式、確保云服務器的網絡安全能力。
需在封閉或受控的網絡環境下開展以防止數據污染，描述數據集存儲方式與存儲路徑、安全控制、備份（方法、頻次）、恢復方式，若數據集使用云服務存儲，應提供云服務商的名稱、住所和資質、訪問路徑、使用權限等。
需在封閉或受控的網絡環境下開展以防止數據污染，避免訓練數據被污染。
需在封閉或受控的網絡環境下開展以防止數據污染。若基于第三方數據庫開展算法性能評估，應保證第三方測評數據庫的網絡安全與數據安全。
需在封閉或受控的網絡環境下開展以防止數據污染，應描述網絡能力的驗證過程。
軟件確認如需要模擬實際情況在開放網絡下進行，應有防止數據污染的防護措施，應描述網絡能力的確認過程。
上市后產品在醫療機構內部環境下運行，需要考慮醫療機構關于網絡安全與數據安全的接口要求。產品使用時應有用戶訪問控制措施、數據傳輸過程應有加密措施等來保證網絡安全。
所有利益相關方在軟件全生命周期中主動積極共享網絡安全相關信息。注冊申請人需充分利用網絡安全漏洞披露機制加強人工智能醫學軟件網絡安全的設計開發和上市后監測，如基于國家互聯網應急中心（CNCERT/CC，www.cert.org.cn）的國家信息安全漏洞共享平臺（CNVD，www.cnvd.org.cn），或其互認的國際信息安全漏洞庫所披露的漏洞信息，定期開展網絡安全風險管理工作。
注冊申請人需基于相關標準和技術報告建立網絡安全事件應急響應機制，保證人工智能醫學軟件的安全有效性并保護患者隱私。應制定網絡安全事件應急響應預案，涵蓋現成軟件要求，明確計劃與準備、探測與報告、評估與決策、應急響應實施、總結與改進等階段的任務和要求。建立網絡安全事件應急響應團隊，根據工作職能形成管理、規劃、監測、響應、實施、分析等工作小組，必要時可邀請外部網絡安全專家成立專家小組。
根據網絡安全事件的嚴重程度、緊迫程度、廣泛程度等因素進行分類分級管理，結合產品風險級別，按照風險管理要求開展應急響應措施的驗證工作并予以記錄，在事件發生期間及時告知用戶應對措施。若適用，按照醫療器械不良事件、召回相關法規要求處理；必要時，向國家網絡安全主管部門報告。
應滿足軟件運行需要，包括CPU、GPU、RAM、ROM、網絡、操作系統、數據庫等要求。
應保證網絡架構的處理能力和帶寬滿足業務高峰的需要，軟件的部署位置需要有邊界防護措施，且通信線路、網絡設備做好硬件冗余，保證軟件的可用性。
應采用校驗碼技術或密碼技術保證通信過程中數據的完整性和敏感信息的保密性。
不允許非授權設備或程序聯到人工智能醫學軟件所在設備，不允許人工智能醫學軟件非授權用戶訪問并使用軟件?？缇W訪問人工智能醫學軟件需要設置訪問控制策略，對源地址、目的地址、源端口、目的端口和協議等進行檢查，以允許/拒絕訪問。在信息交互過程中應具備內容過濾能力，實現對內容的訪問控制。
應對登錄主機的用戶進行身份標識和鑒別，身份標識具有唯一性和不可抵賴性，對用戶進行角色設置，授予所需的最小權限，制定登錄處理策略，包括限制失敗次數、連接超時、訪問終端等。定期梳理用戶帳號，及時刪除或停用多余的、過期的和弱口令帳號。
應遵循最小安裝的原則，僅安裝需要的組件和應用程序，關閉不需要的系統服務、默認共享和高危端口，定期對人工智能醫學軟件及涉及到的主機、操作系統、中間件進行漏洞掃描、安全檢測和惡意代碼檢測，并及時進行修補。建議醫療機構對主機進行實時安全監控，能夠識別違規操作或攻擊行為，并及時告警。
應對人工智能醫學軟件的用戶進行身份標識和鑒別，且具有唯一性和不可抵賴性，限制登錄失敗次數和連接時長，并對口令進行強制要求，規避弱口令情況。用戶帳號信息丟失或遺忘時，應采用技術措施確保重置過程的安全，并對其進行二次驗證，驗證手段至少使用動態口令、手機驗證碼、密碼技術、生物特征技術中的一種實現。
人工智能醫學軟件應具備訪問控制功能，對用戶能夠分配角色和權限，權限需要達到功能級。定期開展帳號梳理工作，及時刪除或停用多余的、過期的帳號。
應采用密碼技術保證重要數據在傳輸和存儲過程中的安全性，避免未授權用戶訪問數據。密碼技術的使用應遵循國家相關要求和規定。建立數據備份和恢復機制，定期開展演練，保證軟件業務的連續性。
云服務商的名稱、住所和資質，明確云服務的服務模式、部署模式、確保云服務器的網絡安全能力。
人工智能醫學軟件網絡安全更新從內容上可分為功能更新、補丁更新，類似于增強類軟件更新、糾正類軟件更新。根據其對人工智能醫學軟件安全性和有效性的影響程度分為以下兩類：
（1）重大網絡安全更新：影響到人工智能醫學軟件的安全性或有效性的網絡安全更新，即重大網絡安全功能更新，應申請變更注冊。
（2）輕微網絡安全更新：不影響人工智能醫學軟件的安全性與有效性的網絡安全更新，包括輕微網絡安全功能更新、網絡安全補丁更新。輕微網絡安全更新通過質量管理體系進行控制，無需申請變更注冊，待下次變更注冊時提交相應注冊申報資料。
此外，涉及召回的網絡安全更新，無論功能更新還是補丁更新均屬于重大網絡安全更新，按照醫療器械召回相關法規要求處理。
網絡安全更新同樣遵循風險從高原則，即同時發生重大和輕微網絡安全更新按重大網絡安全更新處理。同時，軟件版本命名規則應涵蓋網絡安全更新情況，區分重大和輕微網絡安全更新。
網絡安全功能更新若影響到人工智能醫學軟件的預期用途、使用場景或核心功能原則上均屬于重大網絡安全更新，包括但不限于：產品預期運行的網絡環境發生改變，如由封閉網絡環境變為開放網絡環境、局域網變為廣域網；產品網絡安全能力發生實質性改變，如自動注銷能力由操作系統自帶功能實現改為產品自身功能實現、物理防護能力由有變無等。
除非影響到人工智能醫學軟件的安全性或有效性，以下網絡安全功能更新和網絡安全補丁更新通常視為輕微網絡安全更新：產品預期運行的網絡環境數據傳輸效率單純提高，產品網絡安全能力發生非實質性改變；外部軟件環境的網絡安全補丁更新。
申請人根據《人工智能醫療器械注冊審查指導原則》、《醫療器械網絡安全技術審查指導原則》、《醫療器械軟件技術審查指導原則》、《移動醫療器械技術審查指導原則》等相關指導原則要求，提交相應注冊申報資料。
申請人應依據《醫療器械網絡安全注冊技術審查指導原則》提交網絡安全描述文檔。其中，基本信息應圍繞數據類型進行描述；風險管理、驗證與確認應基于24項網絡安全能力進行分析和實施，不適用項詳述理由；可追溯性分析報告應追溯網絡安全需求、設計、測試、風險管理的相互關系；維護計劃應包含網絡安全日常維護計劃、網絡安全事件應急響應預案。
若使用云計算服務、移動計算終端，生產企業應依據《移動醫療器械注冊技術審查指導原則》提交相應研究資料。其中，使用云計算服務應明確服務模式、部署模式、核心功能、數據接口、網絡安全能力、服務（質量）協議等要求；使用移動計算終端應結合終端的類型、特點、使用風險明確相應性能指標要求。
廣東省藥品監督管理局審評認證中心、華為終端有限公司、騰訊醫療健康（深圳）有限公司、深圳邁瑞生物醫療電子股份有限公司
[3]醫療器械軟件注冊技術審查指導原則（2022年修訂版）[Z].
[4]醫療器械網絡安全注冊技術審查指導原則[Z].
[6] YY/T 0316,醫療器械 風險管理對醫療器械的應用[S].
[7] YY/T 1833.1,人工智能醫療器械 質量要求和評價 第1部分：術語[S].
[8] YY/T 1833.2,人工智能醫療器械 質量要求和評價 第2部分：數據集通用要求[S].
[9] YY/T 1833.3,人工智能醫療器械 質量要求和評價 第3部分：數據標注通用要求[S].
[10] YY/T 1843-2022 醫用電氣設備網絡安全基本要求[S]
[11] N. Papernot A Marauder’s Map of Security and Privacy in Machine Learning: https://arxiv.org/pdf/1811.01134.pdf
[12] A Taxonomy and Terminology of 3 Adversarial Machine Learning." Draft NISTIR 8269
本文著作權屬原創者所有，不代表本站立場。我們轉載此文出于傳播更多資訊之目的，如涉著作權事宜請聯系刪除。
加入會員
