廣州熱線

9月20日，在剛剛結(jié)束的國(guó)家網(wǎng)絡(luò)安全宣傳周上，人工智能是熱門話題之一。人工智能在生產(chǎn)、生活中的運(yùn)用越來(lái)越廣泛，它的安全性也越來(lái)越受到關(guān)注。國(guó)內(nèi)高校和企業(yè)發(fā)起一項(xiàng)特殊的比賽，參賽者比的是誰(shuí)能夠更快、更有效地攻擊人工智能系統(tǒng)，通過(guò)這樣的“對(duì)抗攻擊”來(lái)提高人工智能的水平和安全性。

重慶的大學(xué)生劉野在本月結(jié)束的這次比賽中獲得第一名。他告訴中國(guó)之聲，每位參賽者會(huì)領(lǐng)到1000個(gè)圖像文件，他們需要編寫代碼，讓計(jì)算機(jī)自動(dòng)修改圖像的像素點(diǎn)，讓AI（人工智能）無(wú)法識(shí)別出畫面上的人。誰(shuí)編寫的代碼修改像素越少并且越能阻止人工智能識(shí)別，誰(shuí)就勝出。劉野花了半個(gè)月時(shí)間完成比賽。

劉野：每張圖像的像素點(diǎn)有500×500，有25萬(wàn)個(gè)。我修改了平均大約1200個(gè)，修改的像素點(diǎn)其實(shí)很少的。

這項(xiàng)“安全AI挑戰(zhàn)者計(jì)劃”由清華大學(xué)和阿里巴巴聯(lián)合開展，已經(jīng)完成第四期。參賽者們通過(guò)代碼修改像素形成的“對(duì)抗樣本”，肉眼看上去沒有什么變化，但足以影響人工智能的判斷。這個(gè)過(guò)程可以提前暴露人工智能的局限性。

阿里安全資深算法專家何源說(shuō)：比如說(shuō)一只狗的圖片，AI可以很容易推出這是一條狗的照片。但是對(duì)抗樣本的出現(xiàn)，讓AI它自身的局限性暴露出來(lái)，可以對(duì)狗的圖片做一些人眼不可察覺的改變，人眼還是看得出來(lái)這是一只狗，但是讓機(jī)器識(shí)別不出來(lái)它是狗，甚至我可以指定讓算法識(shí)別出它是一只貓。這是目前AI自身的一個(gè)安全局限性，我們舉辦比賽也主要就是關(guān)注到這一點(diǎn)。

主辦方介紹，這是全球第一個(gè)針對(duì)目標(biāo)檢測(cè)算法的對(duì)抗攻擊競(jìng)賽。一旦比賽模擬的情況在現(xiàn)實(shí)生活中出現(xiàn)，人工智能真的受到攻擊，就可能有監(jiān)控?cái)z像頭認(rèn)不出畫面里的人、自動(dòng)駕駛汽車識(shí)別不到前方障礙物等存在安全風(fēng)險(xiǎn)的情形發(fā)生。

何源：首先我們要檢測(cè)這個(gè)攝像頭下面有沒有人，然后有人的話我還想識(shí)別出來(lái)這個(gè)人是誰(shuí)。那么其實(shí)在目前的研究進(jìn)展里面。比如說(shuō)，我是可以通過(guò)一些類似于我在衣服上有目的地貼一個(gè)標(biāo)志，能夠讓檢測(cè)器檢測(cè)不到人，相當(dāng)于是我對(duì)安防系統(tǒng)的攻擊，讓它失效。或者可以在臉上做一些修改，比如戴上一種特殊的眼鏡或者什么的，讓AI系統(tǒng)識(shí)別不出來(lái)我是誰(shuí)，或者是把我識(shí)別成另外一個(gè)人，這也是一種攻擊。

中國(guó)科學(xué)院院士、清華大學(xué)人工智能研究院院長(zhǎng)張鈸表示，人工智能在機(jī)遇中也面臨諸多挑戰(zhàn)，當(dāng)前以深度學(xué)習(xí)為代表的人工智能算法在實(shí)際應(yīng)用中存在安全隱患，提升算法的安全性和可靠性，是未來(lái)的重要目標(biāo)之一，也是算法大規(guī)模部署和應(yīng)用的基礎(chǔ)。

主辦方介紹，“安全AI挑戰(zhàn)者計(jì)劃”已經(jīng)有來(lái)自全球200多所高校、100多個(gè)企業(yè)的6000多支隊(duì)伍參賽，除了像劉野這樣的學(xué)生，還有已經(jīng)參加工作的網(wǎng)絡(luò)安全愛好者，收到2000萬(wàn)條惡意樣本，沉淀40多個(gè)具有前沿創(chuàng)新性的參賽源碼和方案，推動(dòng)緩解人工智能安全人才缺口的問(wèn)題。此前的三期比賽包括人臉識(shí)別對(duì)抗、辱罵場(chǎng)景文本對(duì)抗等等，針對(duì)證件文檔類圖像偽造的對(duì)抗攻擊競(jìng)賽也已經(jīng)開始。劉野表示，希望比賽的積累可以幫助更好地改進(jìn)人工智能的安全性。

劉野：有攻擊就有防御。我們的對(duì)抗攻擊變得更加強(qiáng)大，然后我們拿對(duì)抗樣本去訓(xùn)練AI，也能促使我們的防御更加強(qiáng)大。（總臺(tái)央廣記者白杰戈）