當前許多AI系統(tǒng)模型和算法難以確保訓練過程中數(shù)據(jù)質(zhì)量和清潔度，模型設計的安全性、訓練的穩(wěn)定性都存在大的問題。因此對于遍地開花、泛在化AI應用系統(tǒng)，各種內(nèi)生安全問題和危險必然是層出不窮。

(相關資料圖)

AI應用系統(tǒng)硬件環(huán)境也存在漏洞、后門等內(nèi)生安全的共性問題，這是網(wǎng)絡空間一大麻煩事。漏洞難以完全避免，后門無法杜絕，現(xiàn)有技術能力無法徹查漏洞，這是它的共性問題。

近日在北京召開的第十一屆互聯(lián)網(wǎng)安全大會（ISC 2023）上，中國工程院院士鄔江興發(fā)表了題為《動態(tài)異構冗余（DHR）構造賦能AI應用系統(tǒng)內(nèi)生安全實驗》的演講。鄔江興提出，AI時代是一把“雙刃劍”，在給人類社會帶來極大推動的同時，也形成了潛在的巨大安全威脅，甚至可能會帶來巨大的災難。要高度重視AI時代的安全性，用內(nèi)生安全的方法補齊短板。

當前，以深度學習為核心的AI應用迎來新一輪快速發(fā)展期，人工智能技術取得突破，人工智能或生成式AI正在為各領域提供信息化、數(shù)字化、智能化的解決方案，正在引發(fā)經(jīng)濟結構的重大變革，帶動社會生產(chǎn)力的整體躍升。

人工智能安全問題包含內(nèi)生安全問題和非內(nèi)生安全問題，內(nèi)生安全問題又分為個性問題和共性問題。人工智能的應用系統(tǒng)由基礎軟硬件、環(huán)境或者數(shù)據(jù)系統(tǒng)和人工智能的算法、模型組成的。但是深度學習AI模型存在3種可能的問題。

神經(jīng)網(wǎng)絡的黑盒特點，導致人工智能存在不可解釋性。深度學習對訓練樣本的過度依賴，導致學習結果不可判定，神經(jīng)網(wǎng)絡的前項推進不可逆，結果的不可推論性。這就是人工智能“三不可”。

關于個性問題的表現(xiàn)，從數(shù)據(jù)采集、模型設計、訓練、尋找規(guī)律到基于優(yōu)化執(zhí)行任務的推理階段，存在4種個性，即算法的黑箱性、數(shù)據(jù)的依賴性、模型的安全性以及輸入的敏感性。

當前許多AI系統(tǒng)模型和算法難以確保訓練過程中數(shù)據(jù)質(zhì)量和清潔度，模型設計的安全性、訓練的穩(wěn)定性都存在大的問題。因此對于遍地開花、泛在化AI應用系統(tǒng)，各種內(nèi)生安全問題和危險必然是層出不窮。

除了個性問題，AI應用系統(tǒng)硬件環(huán)境也存在漏洞、后門等內(nèi)生安全的共性問題，這是網(wǎng)絡空間一大麻煩事。漏洞難以完全避免，后門無法杜絕，現(xiàn)有技術能力無法徹查漏洞，這是它的共性問題。

AI應用系統(tǒng)中內(nèi)生安全個性和共性問題往往是交織疊加存在的，既有漏洞、后門引起的問題，又有黑盒效應引起的問題，所以它是更復雜的一個安全系統(tǒng)。交織疊加在一起使得AI應用系統(tǒng)的安全問題變得極其復雜，給安全使用和維護帶來了前所未有的挑戰(zhàn)。

鄔江興提出用內(nèi)生安全理論里的DHR構造賦能AI應用系統(tǒng)內(nèi)生安全。它可以有效阻斷和控制內(nèi)生安全共性問題，使內(nèi)生安全問題難以發(fā)展成為內(nèi)生安全事件。近年來的理論研究與工程實踐表明，內(nèi)生安全在機理上能有效解決AI應用系統(tǒng)軟硬件環(huán)境中存在的內(nèi)生安全共性問題，能為AI應用系統(tǒng)的數(shù)據(jù)采集、模型訓練、算法應用等全流程提供“三高”（高可靠、高可信、高可用）的不依賴又不排斥任何附加防御措施的內(nèi)生安全底座。

在此基礎上，鄔江興對個性化問題進行理論分析，得出7條結論：第一，訓練數(shù)據(jù)集的高質(zhì)量構建，特別是采用分布概率密度高的數(shù)據(jù)，對模型抗攻擊能力的提升更重要；第二，異構可解釋性或者差異化的訓練模型方法能夠得到多樣化的AI模型，因為內(nèi)生安全需要多樣化的環(huán)境做相對性判定；第三，基于彩票假設證明了不同結構及相同結構不同稀疏程度的深度學習網(wǎng)絡之間很難產(chǎn)生共模；第四，使用網(wǎng)絡結構自動搜索技術可以快速構建多個具有特異性深度學習AI模型；第五，對抗樣本遷移性對深度神經(jīng)網(wǎng)絡的結構存在強關聯(lián)，異構化模型的冗余部署是必不可少的安全機制；第六，理論上可以證明多個異構化模型的隨機動態(tài)部署方法，能顯著增強AI應用系統(tǒng)安全性；第七，AI模型不確定度估計方法能夠為DHR架構執(zhí)行動態(tài)調(diào)度算法提供最優(yōu)化理論支撐。

鄔江興認為，這些理論研究證明了即便是AI個性化問題，我們?nèi)匀豢梢杂脙?nèi)生安全的方法來處理。不論是共性還是個性問題，基于AI模型構造提供工程化的解決途徑，并提供理論層面的支撐。

編輯：王韻

標簽：