數(shù)智時(shí)代的安全風(fēng)險(xiǎn)

　　在安防行業(yè)，談起安全，人們自然會(huì)想到數(shù)據(jù)安全、傳輸安全、網(wǎng)絡(luò)安全等話題，但其實(shí)隨著安防行業(yè)進(jìn)入智能化時(shí)代，人工智能安全已經(jīng)是行業(yè)目前必須面對(duì)的新挑戰(zhàn)。

　　近年來，在大算力和海量大數(shù)據(jù)的驅(qū)動(dòng)下，以深度學(xué)習(xí)為代表的AI技術(shù)飛速發(fā)展，以計(jì)算機(jī)視覺技術(shù)為例，依托廣闊的應(yīng)用場(chǎng)景從理論研究走向大規(guī)模的應(yīng)用落地，人臉識(shí)別、目標(biāo)檢測(cè)等技術(shù)被廣泛應(yīng)用于公共安全、城市交通等領(lǐng)域，推動(dòng)城市治理的智能化升級(jí)。

　　但在數(shù)據(jù)驅(qū)動(dòng)智能化發(fā)展的背后，安全隱患也不容忽視。瑞萊智慧副總裁唐家渝指出，數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)算法存在不可靠、不可解釋等局限性，即便是開發(fā)者也難以理解其內(nèi)在的運(yùn)行邏輯，這就導(dǎo)致系統(tǒng)可能遭受到難以被察覺的惡意攻擊。

　　McAfee曾做過一個(gè)實(shí)驗(yàn)，針對(duì)護(hù)照的人臉識(shí)別系統(tǒng)進(jìn)行攻擊，結(jié)合禁飛人員與正常飛行人員的特征，生成對(duì)抗樣本圖案，禁飛人員可憑包含這張生成的虛假照片的護(hù)照，順利通過人臉識(shí)別護(hù)照系統(tǒng)的檢測(cè)，順利登機(jī)。這種潛在漏洞在國(guó)內(nèi)安防門禁、考勤系統(tǒng)和手機(jī)解鎖應(yīng)用中同樣存在。

　　唐家渝表示，這是深度學(xué)習(xí)范式下AI應(yīng)用存在的結(jié)構(gòu)性缺陷，貫穿于AI全生命周期。除了在運(yùn)行環(huán)節(jié)對(duì)輸入數(shù)據(jù)添加“擾動(dòng)”，在最開始的模型設(shè)計(jì)環(huán)節(jié)，通過在訓(xùn)練數(shù)據(jù)中添加“污染數(shù)據(jù)”進(jìn)行“投毒”，導(dǎo)致模型被埋藏后門，再通過預(yù)先設(shè)定的觸發(fā)器激發(fā)后門，模型也將輸出事先設(shè)定的錯(cuò)誤結(jié)果。

　　通過數(shù)據(jù)污染、惡意樣本攻擊等方式對(duì)算法進(jìn)行深層次攻擊已經(jīng)成為趨勢(shì)，隨著AI技術(shù)尤其是計(jì)算機(jī)視覺技術(shù)的廣泛應(yīng)用，這一安全風(fēng)險(xiǎn)的真實(shí)威脅開始顯現(xiàn)。例如，公共安全領(lǐng)域，視頻監(jiān)控、安檢閘機(jī)等智能安防設(shè)備被不法分子攻擊，用于躲避追蹤、冒充他人等；交通領(lǐng)域，自動(dòng)駕駛汽車被干擾“致盲”，引發(fā)安全事故等；在金融領(lǐng)域，線上銀行的人臉認(rèn)證被破解，用于非法轉(zhuǎn)賬等詐騙行為。

　　唐家渝介紹，除了算法漏洞，“數(shù)據(jù)驅(qū)動(dòng)”衍生的安全風(fēng)險(xiǎn)還遠(yuǎn)不止于此。海量人臉數(shù)據(jù)被惡意采集、濫用，導(dǎo)致用戶隱私泄漏；泄露的人臉照片在表情驅(qū)動(dòng)算法下生成偽造視頻，用于攻破人臉核驗(yàn)系統(tǒng)等……如何有效應(yīng)對(duì)人工智能安全風(fēng)險(xiǎn)，保障人工智能安全可控的應(yīng)用落地成為行業(yè)未來發(fā)展的一項(xiàng)重要課題。

圖：AI版“隱身衣”演示

　　AI安全風(fēng)險(xiǎn)如何應(yīng)對(duì)

　　隨著智能化場(chǎng)景的深入，人工智能的風(fēng)險(xiǎn)問題將更加的嚴(yán)峻。目前圍繞AI的核心要素與環(huán)節(jié)來看，算法的漏洞、數(shù)據(jù)的濫用、隱私的泄露，以及技術(shù)濫用等問題都日漸嚴(yán)峻。如此，圍繞算法、數(shù)據(jù)、應(yīng)用等環(huán)節(jié)的AI治理問題也亟待解決。

　　針對(duì)以上問題，瑞萊智慧圍繞“算法可靠、數(shù)據(jù)安全、應(yīng)用可控”三大方向展開布局，在算法方面，其推出了業(yè)內(nèi)首個(gè)業(yè)務(wù)級(jí)人工智能安全平臺(tái)“RealSafe”，提供模型安全性測(cè)評(píng)及防御加固的端到端解決方案；在數(shù)據(jù)方面，其基于安全多方計(jì)算、聯(lián)邦學(xué)習(xí)、匿蹤查詢等技術(shù)打造了數(shù)據(jù)安全共享基礎(chǔ)平臺(tái)隱私保護(hù)計(jì)算平臺(tái)“RealSecure”；在應(yīng)用治理領(lǐng)域，針對(duì)“AI換臉”等深度偽造技術(shù)濫用現(xiàn)象，瑞萊智慧推出深度偽造內(nèi)容檢測(cè)平臺(tái)“DeepReal”，目前，該公司商業(yè)化產(chǎn)品已在政務(wù)、金融、能源、互聯(lián)網(wǎng)等領(lǐng)域落地。

　　唐家渝認(rèn)為，人工智能應(yīng)用是集業(yè)務(wù)、算法、數(shù)據(jù)于一體的有機(jī)整體，涉及訓(xùn)練、檢驗(yàn)、運(yùn)行等生命周期階段，所以應(yīng)面向所有關(guān)鍵流程，布局全面且有針對(duì)性地安全防御措施。同時(shí)他強(qiáng)調(diào)，人工智能安全攻防技術(shù)在快速演變過程中，新的攻擊手段不斷出現(xiàn)，除了要解決“近憂”，更要著眼于“遠(yuǎn)慮”，對(duì)于未知威脅進(jìn)行研判和防范，因此需打造動(dòng)態(tài)升級(jí)、科學(xué)前瞻的防御理論及技術(shù)體系。

　　基于此，瑞萊智慧提出了兼顧“被動(dòng)”和“主動(dòng)”的防御機(jī)制。唐家渝解釋道，被動(dòng)防御為AI應(yīng)用部署靜態(tài)的安全能力，防范已知安全風(fēng)險(xiǎn)，比如對(duì)外部訪問、輸入數(shù)據(jù)、行為決策等進(jìn)行檢測(cè)，為算法模型部署加固防護(hù)組件等，提升系統(tǒng)抵御攻擊的能力。主動(dòng)防御則是為補(bǔ)充被動(dòng)式防御的局限，引入和強(qiáng)化人工智能安全團(tuán)隊(duì)力量，以動(dòng)態(tài)防御對(duì)未知威脅進(jìn)行風(fēng)險(xiǎn)預(yù)判，構(gòu)建自適應(yīng)、自生長(zhǎng)的安全能力。

　　AI市場(chǎng)新賽道

　　AI安全是新興領(lǐng)域，雖然Google、Open AI、BAT等科技巨頭都有布局人工智能安全領(lǐng)域技術(shù)研究，但實(shí)際聚焦并將其商業(yè)化落地的企業(yè)寥寥無幾。

　　作為市場(chǎng)的先行者，唐家渝認(rèn)為這個(gè)領(lǐng)域除了部署技術(shù)體系外，更需要框架指導(dǎo)、標(biāo)準(zhǔn)規(guī)范、法律合規(guī)等多個(gè)維度協(xié)同推進(jìn)。據(jù)悉目前瑞萊智慧已經(jīng)與國(guó)家工信安全中心、中國(guó)信通院、國(guó)家互聯(lián)網(wǎng)應(yīng)急中心、公安部第三研究所等單位開展合作，聯(lián)合落地標(biāo)準(zhǔn)制定、測(cè)試評(píng)估等工作，推動(dòng)AI安全從“試點(diǎn)示范”走向“推廣應(yīng)用”。

　　唐家渝表示，目前整個(gè)AI產(chǎn)業(yè)已經(jīng)從之前粗放式的高速發(fā)展進(jìn)入到高質(zhì)量發(fā)展的階段，隨著公眾對(duì)于AI安全性的關(guān)注度提升，以及監(jiān)管政策的出臺(tái)和引導(dǎo)，未來AI行業(yè)將是發(fā)展與治理協(xié)同的階段，如何保證AI應(yīng)用的安全性是一個(gè)重要命題。安全AI這一新興領(lǐng)域，比如AI安全防火墻、基于隱私計(jì)算的人臉識(shí)別方案等會(huì)很快迎來爆發(fā)。

　　安博會(huì)期間，安防知識(shí)網(wǎng)等媒體與唐家渝進(jìn)行了一次深度對(duì)話。本次訪談中，唐家渝談到AI安全的落地以及對(duì)AI產(chǎn)業(yè)的思考。

　　Q：整個(gè)展會(huì)看下來，瑞萊智慧非常的特殊，能否為我們簡(jiǎn)單介紹下企業(yè)？

　　唐家渝：瑞萊智慧孵化自清華大學(xué)人工智能研究院，致力于提供基于第三代人工智能技術(shù)的AI基礎(chǔ)設(shè)施，加速安全、可靠、可信的產(chǎn)業(yè)智能化升級(jí)。核心聚焦安全AI領(lǐng)域，比如數(shù)據(jù)安全治理、算法可靠性提升，以及保障AI技術(shù)應(yīng)用的安全可控。

　　Q：人工智能安全的最大挑戰(zhàn)是什么？

　　唐家渝：安全問題的本質(zhì)是攻防較量，是對(duì)抗升級(jí)的過程，我們需要永遠(yuǎn)比對(duì)手“快一步”。例如我們的AI防火墻能夠檢測(cè)到現(xiàn)有的一些新型攻擊，但是攻擊方也在不斷更新算法，一旦他們比我們更快找到了新的漏洞，如果不能及時(shí)防御，后果可能會(huì)比較嚴(yán)重。這個(gè)對(duì)抗博弈的過程非常艱辛，背后的技術(shù)投入與技術(shù)難度是非常大的，但也只有這樣才能制衡住對(duì)方。

　　Q：用戶如何評(píng)估瑞萊智慧安全解決方案的效果？

　　唐家渝：安全的評(píng)估難以完全量化，主要通過兩類場(chǎng)景來體現(xiàn)：一是用戶已經(jīng)遭受攻擊產(chǎn)生損失，利用我們的系統(tǒng)能夠?qū)⒙┒淳唧w檢測(cè)出來，同時(shí)基于我們的方案避免類似的損失發(fā)生；二是如果有更加新型的攻擊方式出現(xiàn)，已經(jīng)部署我們系統(tǒng)的用戶通常能夠更早地發(fā)現(xiàn)風(fēng)險(xiǎn)以及抵御風(fēng)險(xiǎn)，降低損失。

　　Q：目前哪些用戶比較關(guān)心人工智能安全？

　　唐家渝：主要有三類，一是行業(yè)屬性對(duì)場(chǎng)景及業(yè)務(wù)安全性關(guān)注度較高的群體，例如銀行等金融機(jī)構(gòu)，與財(cái)產(chǎn)安全直接掛鉤；二是國(guó)家重大基礎(chǔ)設(shè)施服務(wù)群體，例如電網(wǎng)，一旦有被攻擊的風(fēng)險(xiǎn)將造成國(guó)家重大財(cái)產(chǎn)損失和社會(huì)安全問題；最后是監(jiān)管類國(guó)家政府機(jī)構(gòu)，因?yàn)椴块T職能要求，需要利用相應(yīng)的技術(shù)工具對(duì)市面上的人工智能產(chǎn)品的安全性進(jìn)行監(jiān)管與評(píng)測(cè)。這是目前比較典型的客戶群體，我們覺得，類似于互聯(lián)網(wǎng)時(shí)代網(wǎng)絡(luò)安全的出現(xiàn)，未來人工智能會(huì)像互聯(lián)網(wǎng)一樣，普及是未來趨勢(shì)，相應(yīng)的人工智能安全應(yīng)對(duì)也將成為必需。

　　Q：與互聯(lián)網(wǎng)安全廠商如360、奇安信等會(huì)有合作嗎，還是業(yè)務(wù)是各自分開的？

　　唐家渝：我們之間屬于合作的關(guān)系，人工智能安全與網(wǎng)絡(luò)安全相比，兩者針對(duì)的目標(biāo)對(duì)象和風(fēng)險(xiǎn)類型是完全不同的，網(wǎng)絡(luò)安全主要是針對(duì)計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)的安全防護(hù)，人工智能安全主要關(guān)注的是人工智能系統(tǒng)模型、數(shù)據(jù)、框架等方面的安全，兩者技術(shù)點(diǎn)與場(chǎng)景點(diǎn)是不一樣的。因此通過開展合作，各自發(fā)揮所長(zhǎng)，推動(dòng)全方位的安全服務(wù)落地。

　　Q：安防行業(yè)強(qiáng)調(diào)的安全是數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)傳輸?shù)陌踩?，但瑞萊智慧強(qiáng)調(diào)的是用算法去推進(jìn)安全的應(yīng)用，對(duì)于傳統(tǒng)用戶而言，目前的接受程度如何？

　　唐家渝：現(xiàn)階段看，市場(chǎng)仍需要一個(gè)培育的過程，但部分領(lǐng)域的客戶已經(jīng)有這方面的意識(shí)。比如我們與公安客戶交流，他們對(duì)于人工智能安全必要性的認(rèn)知還是非常高的。當(dāng)前捕捉在逃嫌疑人的人臉識(shí)別系統(tǒng)、視頻結(jié)構(gòu)化系統(tǒng)的識(shí)別算法會(huì)被一些不法分子繞過，因此針對(duì)這些安全系統(tǒng)的升級(jí)也迫在眉睫。同樣的，金融行業(yè)的用戶接受度也更高，雖然針對(duì)AI系統(tǒng)的攻擊仍是比較新的，但在利益的驅(qū)使下，已經(jīng)有不少黑產(chǎn)分子在利用這些技術(shù)手段實(shí)施攻擊，頭部的銀行客戶也正在我們的幫助下加速建立完善的人工智能安全體系。另外，我們除了布局算法安全外，也涉及數(shù)據(jù)安全領(lǐng)域，比如基于隱私計(jì)算的數(shù)據(jù)治理方案，為用戶提供全面的安全保障。

　　Q：瑞萊智慧這類型的企業(yè)出現(xiàn)，也意味著AI產(chǎn)業(yè)的野蠻生長(zhǎng)已經(jīng)結(jié)束，開始進(jìn)入理性化的階段，站在您的角度，如何看待AI企業(yè)未來的發(fā)展？

　　唐家渝：之前的安防展，AI企業(yè)展現(xiàn)的內(nèi)容還大多聚焦在人臉識(shí)別與視頻結(jié)構(gòu)化等應(yīng)用，企業(yè)拼到最后也是在數(shù)據(jù)收集以及場(chǎng)景深耕上競(jìng)爭(zhēng)。但今年來看的話，AI安全治理開始受到重視，隨著數(shù)據(jù)安全法、算法治理規(guī)范等相關(guān)條例的出臺(tái)，以及公眾輿論的討論，使用人臉識(shí)別產(chǎn)品的企業(yè)對(duì)安全問題的關(guān)注度越來越高，業(yè)界開始出現(xiàn)探索安全可信的AI方案，比如后端治理上，數(shù)據(jù)采集后的脫敏存儲(chǔ)、結(jié)合隱私計(jì)算的人臉識(shí)別方案等。從大環(huán)境來看，AI企業(yè)的算法效果的差異化已經(jīng)沒那么明顯了，未來市場(chǎng)的趨勢(shì)一定是在追求算法落地效果的基礎(chǔ)上要保障算法與數(shù)據(jù)的安全可控，這有助于整個(gè)AI產(chǎn)業(yè)的健康發(fā)展，同時(shí)對(duì)我們而言也是個(gè)利好的趨勢(shì)。

　　Q：除了公安，未來瑞萊智慧會(huì)切入其他安防場(chǎng)景，如交通、社區(qū)等場(chǎng)景嗎？

　　唐家渝：這些場(chǎng)景我們都有在布局，因?yàn)锳I安全性問題屬于底層的通用問題，當(dāng)前安全問題的產(chǎn)生源自于深度學(xué)習(xí)算法的結(jié)構(gòu)性缺陷，我們首先切入公安的人臉識(shí)別場(chǎng)景是因?yàn)槠鋺?yīng)用最為廣泛，面臨的風(fēng)險(xiǎn)也最為嚴(yán)峻。但像智能交通的車牌識(shí)別、社區(qū)安防的人臉識(shí)別和ReID跟蹤等場(chǎng)景，同樣存在安全風(fēng)險(xiǎn)，我們也在跟這些領(lǐng)域的廠商與主管部門展開合作，共同推進(jìn)相關(guān)場(chǎng)景的AI系統(tǒng)安全性升級(jí)。

　　Q：所有的智能化應(yīng)用落地都會(huì)有困難，那么人工智能安全方案在落地之前會(huì)遇到挑戰(zhàn)嗎？

　　唐家渝：會(huì)的，核心是安全與效果之間的平衡，因?yàn)榘踩桨傅囊?，或多或少都?huì)對(duì)系統(tǒng)的效果產(chǎn)生影響。舉一個(gè)例子，一些視頻結(jié)構(gòu)化系統(tǒng)具有較好的識(shí)別效果，但同時(shí)容易被攻擊誤導(dǎo)，這種情況下，我們核心要突破的挑戰(zhàn)便是如何最大程度降低被惡意攻擊的概率，同時(shí)保證系統(tǒng)的識(shí)別效果盡可能不受影響，這需要我們對(duì)識(shí)別算法、攻防算法的技術(shù)理論以及實(shí)際的業(yè)務(wù)邏輯都要有深入的理解。