●序●

如果說，早期人們對AI技術的能力還抱有些許質疑的話，那么2016年Google公司AlphaGo的橫空出世，則讓普羅大眾對AI技術的看法有了耳目一新的變化，越來越多的AI技術被應用到各行各業(yè)中，帶來商業(yè)繁榮的同時也帶來了人們更多的擔憂。

在AI技術的加持之下，我們的生活在不知不覺中不斷發(fā)生著從量變到質變的迭代。我們通過AI技術賦能的內容平臺可以更深入地了解世界和自己，同時也承擔著信息繭房之傷害。我們通過AI技術賦能的商業(yè)平臺獲得更多的便捷性，同時也被大數(shù)據(jù)殺熟等副作用包圍。

我們被AI計算，同時也被AI算計。

隨著AI技術在各類商業(yè)、業(yè)務模式中的廣泛應用，身為安全從業(yè)者的我們不得不對這一古老而又新鮮的技術模式加以重視。到底AI 技術會給安全行業(yè)帶來哪些巨變？

多年以前，我和我的團隊在安全工作中遇到過一個特殊的黑產團伙，該團伙讓我們青睞有加的原因在于，其在相關的攻防場景里，用了當時頗為流行的Caffe深度學習框架和卷積神經網(wǎng)絡，這使得他們同其他競爭者相比攻擊效率有了數(shù)倍的提升。

盡管這個黑產團伙后來被及時打掉，但這也讓我們意識到一個事實在未來的日子里，AI技術必將是安全戰(zhàn)場攻防兩端的兵家必爭之地。

從那時候起，我的團隊就開始在AI安全方面做大量細致、深入的探索研究工作，我們的嘗試和實踐主要覆蓋以下幾個方面。

（1）AI技術本身的安全性。

（2）AI技術為攻擊提效。

（3）AI技術為防守助力。

（4）AI技術之以攻促防，攻防聯(lián)動。

我們走過一些彎路，也有過一些收獲。我們參考了很多前輩和行業(yè)專家的經驗成果，也分享過一些小小的發(fā)現(xiàn)。而正是在這個探索過程中，我們意識到，前輩們的探索經驗和研究成果，為我們所進行的安全研究工作帶來了諸多的便捷性。

所以，本著繼承和發(fā)揚前輩們的開放、協(xié)作和共享精神，我們也將工作中的點滴進行了總結與歸納，把研究歷程中的一些經驗沉淀下來形成本書。

本書的重點將錨定在AI安全發(fā)展的通用技術上，包括對抗樣本攻擊、數(shù)據(jù)投毒攻擊、模型后門攻擊、預訓練模型中的風險與防御、AI數(shù)據(jù)隱私竊取攻擊，以及AI 應用失控等方面。本書對各類攻擊方法及其技術原理進行了分析，并詳細介紹了基于不同算法和數(shù)據(jù)實驗的實現(xiàn)過程和案例總結，基本保持了原汁原味，以便志同道合的讀者朋友們進行參考，這也算是我和我的團隊為AI安全工作盡的一些綿薄之力。

我們深知，一方面，安全和技術的發(fā)展都日新月異、持續(xù)更新和迭代，本書中一些內容和知識點隨著時間的推移都會逐漸過時、落伍，所以我們也會繼續(xù)不斷探索、保持更新。另一方面，也希望通過我們的管中窺豹來拋磚引玉，通過本書結識更多志同道合的朋友。

我始終相信，科技的力量會讓人類文明更加美好，雖道阻且長，但行則將至，行而不輟，未來可期。我和團隊的小伙伴們會繼續(xù)努力，也歡迎有興趣的讀者朋友們一起探討、共同研究，攜手體驗AI安全探索的奇妙之旅。

楊勇 騰訊安全平臺部負責人

●前言●

騰訊安全朱雀實驗室于2019年開始著手AI安全的研究工作，涉及對抗樣本攻擊、模型安全、AI應用失控等多個領域。在技術研究和實踐過程中，我們走過許多彎路，也嘗過成功的喜悅，這在一定程度上凝結成了此書的大部分內容，特與讀者分享。

回顧最初的探索，我們是從對抗樣本開始的，在多個場景中實現(xiàn)通過輕微篡改來欺騙AI 模型，并嘗試將技術成果在騰訊業(yè)務場景中找到落腳點。然而，在實踐過程中，多次實驗表明對抗樣本的遷移性有限，即基于A模型生成的對抗樣本很難在B模型上發(fā)揮作用。2019年年底，我們轉而研究如何生成遷移性更好的對抗樣本，并在一些學術會議和安全會議上分享了我們的研究成果及經驗，如ECCV、CanSecWest等。和大多數(shù)AI 研究遇到的問題一樣，實驗室的研究成果在產業(yè)落地上往往力不從心。

2020年以來，朱雀實驗室在相關技術積累的基礎上，拓寬AI 安全研究領域，涉及模型安全、AI濫用、AI倫理等，同時構建和完善AI安全藍圖，進一步探索技術的應用落地。

在模型安全研究方面，我們分別在XCon 2020、ICLR 2021（ Security Workshop）、CVPR 2022等安全/AI領域會議上分享非數(shù)據(jù)投毒式的模型后門攻擊研究成果，驗證了攻擊在掌握少量模型信息的情況下，通過對網(wǎng)絡參數(shù)的精準修改重建出模型后門的可能性，這進一步揭示了算法模型的脆弱性。

在AI應用失控方面，我們圍繞深度偽造帶來的潛在安全風險問題，一方面，從攻擊的角度出發(fā)，去揭露一些安全風險問題；另一方面，從防御的角度出發(fā)，去落地一些用于深度偽造檢測的工具，并連續(xù)兩年在安全會議上分享工作成果。除此之外，我們在語音攻擊、文本攻擊等不同的領域也做了大量的實驗工作。

在同AI算法打交道的過程中，我們發(fā)現(xiàn)，現(xiàn)階段基于深度學習的系統(tǒng)是較容易遭到對抗樣本攻擊的。一方面，業(yè)務側以功能需求為第一要務，安全防御方面的工作相對滯后，通常在出現(xiàn)攻擊案例后才會進行分析和調整，而且這種修補過程并不像傳統(tǒng)網(wǎng)絡安全漏洞修補的過程，需要不斷調整訓練數(shù)據(jù)和優(yōu)化訓練過程，實施過程的成本較高；另一方面，AI算法的建立過程并沒有引入安全環(huán)節(jié)把控，理論上攻擊方法非常豐富，即使AI系統(tǒng)僅提供API級別的交互服務，攻擊者也可以通過模型竊取攻擊方式來擬合線上模型決策結果，建立一個本地的白盒模型，再在白盒模型的基礎上進行遷移攻擊，進而影響線上模型。

總體來看，當前階段攻擊方法走在了防御方法的前面，我們可以通過總結各種攻擊方法來尋找有效的防御手段，同時可以把網(wǎng)絡安全領域的防御思想加到AI系統(tǒng)的建設上來，在系統(tǒng)的研發(fā)過程中引入SDL規(guī)范，如增加敏感數(shù)據(jù)檢測、適當進行對抗樣本訓練、進行軟件層面的庫和框架及時更新等。

AI安全是一項新技術，在多個層面都需要考慮安全問題。本書第1章是對AI安全發(fā)展的概要性介紹；第2～3章從數(shù)據(jù)層面討論對抗樣本、數(shù)據(jù)樣本的安全問題；第4～5章從模型層面討論模型后門和預訓練模型的安全問題；第6～7章從應用角度討論隱私竊取和應用失控問題。同時，在闡述過程中我們精選多個實戰(zhàn)案例，力求把數(shù)據(jù)、算法、模型、應用等層面的安全問題向讀者展示出來。

AI安全的發(fā)展在未來勢必會迎來更加嚴峻的挑戰(zhàn)，我們將自己的研究成果在本書中進行分享，敬請讀者批評指正。希望能借此書，與同行共同推動AI安全的發(fā)展和進步。最后衷心感謝電子工業(yè)出版社所給予的支持。感謝付出了大量時間和精力完成本書的同事，他們是楊勇、朱季峰、唐夢云、徐京徽、宋軍帥、李兆達、駱克云。

騰訊安全朱雀實驗室