齊向東：把握五個(gè)關(guān)鍵 為千行百業(yè)抓住人工智能新機(jī)遇吃下“定心丸”

4月29日，第八屆數(shù)字中國(guó)建設(shè)峰會(huì)數(shù)字經(jīng)濟(jì)分論壇在福州舉行。論壇由國(guó)家數(shù)據(jù)局主辦，國(guó)家數(shù)據(jù)發(fā)展研究院、國(guó)家發(fā)展改革委城市和小城鎮(zhèn)改革發(fā)展中心、中國(guó)信息通信研究院、福建省數(shù)據(jù)管理局承辦，以“從新出發(fā) 向智而行 推動(dòng)數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展”為主題。國(guó)家發(fā)展改革委黨組成員，國(guó)家數(shù)據(jù)局黨組書(shū)記、局長(zhǎng)劉烈宏，福建省委常委、常務(wù)副省長(zhǎng)王永禮出席并發(fā)表講話。中國(guó)工程院院士鄔賀銓，中國(guó)科學(xué)院院士黃維，全國(guó)政協(xié)委員、全國(guó)工商聯(lián)副主席、奇安信集團(tuán)董事長(zhǎng)齊向東等嘉賓做主題演講，圍繞人工智能引領(lǐng)數(shù)字經(jīng)濟(jì)發(fā)展新潮流、人工智能加速賦能社會(huì)治理水平提升、行業(yè)智能化創(chuàng)新促進(jìn)數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展等方向展開(kāi)深度討論。齊向東在演講中表示，新技術(shù)是把雙刃劍，大模型應(yīng)用一端連著機(jī)遇，一端連著挑戰(zhàn)，面對(duì)大模型應(yīng)用的三重挑戰(zhàn)，需抓住“接入放心用”“權(quán)限強(qiáng)管控”“嚴(yán)把內(nèi)容關(guān)”“杜絕新隱患”“運(yùn)營(yíng)可閉環(huán)”五個(gè)關(guān)鍵，筑牢人工智能的安全底線，為千行百業(yè)抓住人工智能新機(jī)遇，吃下一顆“定心丸”。

 

發(fā)展是硬道理，安全也是硬道理

當(dāng)前，人工智能大模型應(yīng)用迎來(lái)大爆發(fā)，從直接部署的基本應(yīng)用、特定場(chǎng)景的增強(qiáng)應(yīng)用、垂直領(lǐng)域的專業(yè)應(yīng)用，再到特定領(lǐng)域的深度應(yīng)用，政企機(jī)構(gòu)正在大模型的驅(qū)動(dòng)下，煥發(fā)出更澎湃的生產(chǎn)力、創(chuàng)造力。然而，新技術(shù)猶如一把雙刃劍，在帶來(lái)機(jī)遇的同時(shí)，也面臨著諸多挑戰(zhàn)。齊向東總結(jié)大模型應(yīng)用面對(duì)的安全挑戰(zhàn)有三重。

第一重挑戰(zhàn)是，“小數(shù)據(jù)”一失萬(wàn)無(wú)，“小數(shù)據(jù)安全”成為數(shù)字經(jīng)濟(jì)時(shí)代的核心關(guān)切。在數(shù)字經(jīng)濟(jì)時(shí)代，數(shù)據(jù)如同驅(qū)動(dòng)發(fā)展的“石油”，人工智能則是“發(fā)動(dòng)機(jī)”。過(guò)去，人們談及數(shù)據(jù)多是大數(shù)據(jù)，規(guī)模龐大但質(zhì)量參差不齊，價(jià)值挖掘困難。如今，借助人工智能大模型，企業(yè)通過(guò)對(duì)設(shè)計(jì)、生產(chǎn)等數(shù)據(jù)進(jìn)行加工處理，形成精華“小數(shù)據(jù)”，這些“小數(shù)據(jù)”成為企業(yè)核心競(jìng)爭(zhēng)力所在。但一旦“小數(shù)據(jù)”被竊取、泄露或篡改，企業(yè)多年積累的優(yōu)勢(shì)將瞬間崩塌。

第二重挑戰(zhàn)是，大模型融通百業(yè)，“裸奔”上線極有可能引發(fā)業(yè)務(wù)停擺的鏈?zhǔn)轿C(jī)。當(dāng)大模型深度融入智慧城市、工控系統(tǒng)、智慧政務(wù)等關(guān)鍵領(lǐng)域時(shí)，會(huì)將風(fēng)險(xiǎn)串聯(lián)成網(wǎng)。奇安信資產(chǎn)測(cè)繪鷹圖平臺(tái)監(jiān)測(cè)發(fā)現(xiàn)，8971個(gè)Ollama大模型服務(wù)器中有6449個(gè)活躍服務(wù)器，其中近九成都在“裸奔”，任何人無(wú)需認(rèn)證即可隨意調(diào)用、訪問(wèn)服務(wù)，甚至能刪除重要模型文件，進(jìn)而導(dǎo)致與大模型關(guān)聯(lián)的應(yīng)用業(yè)務(wù)中斷。

第三重挑戰(zhàn)是，對(duì)AI過(guò)度依賴，善惡真?zhèn)坞y辨別，一旦大模型決策失準(zhǔn)會(huì)引發(fā)“蝴蝶效應(yīng)”。隨著人工智能的深入應(yīng)用，人們對(duì)人工智能輔助決策依賴日益加深，這給了不法分子可乘之機(jī)。從外部攻擊視角看，黑客可以通過(guò)漏洞利用、數(shù)據(jù)投毒等方式，干擾大模型的決策，披著大模型的外衣作惡；從內(nèi)部運(yùn)營(yíng)視角看，如果內(nèi)部員工在更新知識(shí)庫(kù)時(shí)，引入錯(cuò)誤信息會(huì)污染模型學(xué)習(xí)環(huán)境，使其輸出錯(cuò)誤結(jié)論。

筑牢AI安全底線，共建發(fā)展新生態(tài)。

面對(duì)這些挑戰(zhàn)，齊向東提出了筑牢AI安全的“五個(gè)關(guān)鍵”。

首先是接入放心用，構(gòu)建大模型安全“紅域”形成多維度邊界隔離。奇安信創(chuàng)新提出了安全“紅域”概念，將大模型應(yīng)用涉及的數(shù)據(jù)、算力、平臺(tái)、應(yīng)用以及域內(nèi)管理的終端及人員劃歸到專屬安全空間中進(jìn)行防護(hù)，并在每個(gè)與大模型交互的接入點(diǎn)設(shè)置安全空間控制單元，通過(guò)多維度的邊界隔離，為大模型應(yīng)用落地“強(qiáng)基礎(chǔ)、控權(quán)限、審數(shù)據(jù)、攔攻擊、清風(fēng)險(xiǎn)”。

其次是權(quán)限強(qiáng)管控，以用戶身份為新邊界開(kāi)展網(wǎng)絡(luò)和數(shù)據(jù)安全防護(hù)。通過(guò)堡壘機(jī)、“零信任”等技術(shù)措施，對(duì)開(kāi)發(fā)、訓(xùn)練等相關(guān)特殊人員和終端進(jìn)行增強(qiáng)式安全管控。其中，“零信任”架構(gòu)能在認(rèn)證主體角色基礎(chǔ)上，疊加IP、設(shè)備、安全環(huán)境和時(shí)間、位置及其上網(wǎng)行為基線等屬性，確保合適的人在合適的時(shí)間、以合適的方式，訪問(wèn)合適的數(shù)據(jù)，杜絕“內(nèi)鬼”隱患。

三是嚴(yán)把內(nèi)容關(guān)，構(gòu)建貫穿大模型全生命周期的內(nèi)容安全治理機(jī)制。通過(guò)強(qiáng)化監(jiān)測(cè)審計(jì)，實(shí)現(xiàn)對(duì)大模型的核心數(shù)據(jù)管控。包括對(duì)用戶使用大模型過(guò)程中的不良內(nèi)容、異常訪問(wèn)行為進(jìn)行監(jiān)測(cè)、審計(jì)、攔截和預(yù)警，及時(shí)優(yōu)化管控策略。

四是杜絕新隱患，以實(shí)戰(zhàn)為導(dǎo)向加強(qiáng)大模型應(yīng)用安全評(píng)估。通過(guò)實(shí)戰(zhàn)化評(píng)估方法，對(duì)大模型安全、大模型內(nèi)容安全、智能體安全、大模型組件安全以及大模型運(yùn)行環(huán)境安全等方向進(jìn)行全面檢測(cè)評(píng)估，驗(yàn)證安全策略有效性。并構(gòu)建縱深防御與監(jiān)測(cè)技術(shù)能力，降低大模型應(yīng)用的數(shù)據(jù)泄露風(fēng)險(xiǎn)與業(yè)務(wù)中斷風(fēng)險(xiǎn)。

五是運(yùn)營(yíng)可閉環(huán)，做到對(duì)安全威脅的實(shí)時(shí)監(jiān)測(cè)和應(yīng)急處置。齊向東表示，“未來(lái)網(wǎng)絡(luò)安全得AI者得天下。”奇安信率先提出“AI驅(qū)動(dòng)安全”理念，推出AISOC，把AI的能力嵌入到研判、調(diào)查、響應(yīng)、報(bào)告、狩獵、策略創(chuàng)建等安全運(yùn)營(yíng)工作，實(shí)現(xiàn)了大運(yùn)營(yíng)與AI的有機(jī)結(jié)合。面對(duì)人工智能落地應(yīng)用帶來(lái)的多重安全挑戰(zhàn)，要用AI對(duì)抗AI，增補(bǔ)面向大模型攻擊及異常行為的檢測(cè)手段，實(shí)時(shí)監(jiān)測(cè)針對(duì)大模型的攻擊行為，并實(shí)現(xiàn)高效攔截，形成安全運(yùn)營(yíng)的閉環(huán)。

“我相信，把握好這五個(gè)關(guān)鍵，一定能夠確保人工智能大模型應(yīng)用安全落地，發(fā)揮出驅(qū)動(dòng)數(shù)字經(jīng)濟(jì)發(fā)展的正向價(jià)值。”齊向東表示，奇安信將深挖優(yōu)勢(shì)，“以AI驅(qū)動(dòng)安全”，助力構(gòu)建數(shù)字經(jīng)濟(jì)安全新生態(tài)。