科技 新浪科技 北航新研究:忽悠」智能機器人,竟然改改物品紋理就成功了

北航新研究:忽悠」智能機器人,竟然改改物品紋理就成功了

原標題:北航新研究:忽悠」智能機器人,竟然改改物品紋理就成功了

作者:劉艾杉

編輯:魚羊

量子位 報道 | 公眾號 QbitAI

簡單修改環境物體的紋理顏色,就能讓機器人執行攻擊者設計的錯誤行為!

來自北航、悉尼大學、伯克利和倫敦大學的一項最新研究成果顯示:

通過對抗攻擊修改3D物體的外表紋理屬性,就可以使得智能機器人在動態場景中,執行任何攻擊者預先設計好的錯誤行為或錯誤地回答問題。

在智能機器人逐漸被應用到智能家居、危險品檢測和拆除等場景的當下,這麼輕鬆就被「忽悠」了,實在讓人有些瑟瑟發抖。

究竟是怎麼一回事?

24ec-iwhseiu1787203.jpg

如上圖所示,Embodied Question Answering任務是指:在動態三維環境中,隨機放置智能機器人並給其一段用自然語言描述的環境相關的問題,智能機器人通過自主視覺導航和環境感知來回答問題。

這篇題為Spatiotemporal Attacks for Embodied Agents的論文,提出使用時空融合的對抗攻擊方法來生成3D對抗噪音,投影至特定物體的外表紋理上,當智能機器人感知到環境中帶有攻擊性的物體之後,就會錯誤回答問題或執行錯誤的行為。

如:「What room is the chessboard located in?」,智能機器人在感知到帶攻擊性的「筆記本電腦」和「沙發」等物體后回答為「Bathroom」(正確答案為「living room」)。

目前論文已在全球計算機視覺頂級會議ECCV-2020上發表。

778e-iwhseiu1787202.jpg

經實驗證實,用該方法生成的3D對抗噪音(adversarial perturbations)具有穩定的攻擊效果,將其投影在3D物體上后改變了其紋理和顏色。

其不會影響人類對於物體語義信息的認知,但是該噪音對於基於深度學習的智能機器人則是毀滅性的。

例如,這種攻擊可能被惡意地用來攻擊智能機器人,入侵者只需要修改場景內的某些物體的外觀顏色和紋理,當智能機器人感知環境時就可能會造成系統的致命錯誤,導致機器人宕機或錯誤回答問題。

基於時空融合的對抗攻擊

該論文提出了一種時空融合的對抗攻擊演算法,該演算法分別利用時間維度和空間維度的信息來生成3D對抗噪音,有效的攻擊智能機器人模型。通過將該3D對抗噪音投影至3D物體的表面,修改其3D顏色紋理,當智能機器人感知到相關物體時就會執行預設好的錯誤行為或對於問題給出錯誤的答案。演算法的整體架構如下:

aa64-iwhseiu1787463.jpg

為了達成效果,時空融合的對抗攻擊演算法主要包含以下幾個部分:

時間維度

智能機器人在進行當前的決策時(如:執行動作或回答問題),一般不僅僅依賴於當前的觀測和感知信息,還需要考慮其歷史觀測信息。因此,為了攻擊在動態環境中的智能機器人,迫使其作出預設的錯誤行為,需要考慮其歷史觀測信息。

因此,這裏考慮智能機器人的前N個歷史觀測場景,並攻擊出現在其中的物體的3D特徵:

但是,前N個歷史場景中出現的3D物體數量過大,直接對於所有的物體進行對抗攻擊會造成噪音過於分散、攻擊能力不足等問題。

為此,研究人員設計了路徑注意力模塊A,計算智能機器人歷史路徑中各個歷史場景對於模型決策的重要程度,選取其中最重要的考慮智能機器人的前N個歷史觀測場景,並攻擊出現在最重要的K個歷史觀測場景中的物體:

2013-iwhseiu1789010.jpg
58cc-iwhseiu1787731.jpg

空間維度

神經心理學研究表明,當人類在進行視覺感知時,其不僅僅關注目標物體,環境信息(contextual objects)充當著極其重要的作用。例如:當詢問「What room is the chessboard located in?」時,我們不僅僅只會關注目標物體「chessboard」本身,還會關注該物體的周圍環境信息來輔助確定最終答案。

為了提升攻擊性,研究人員進一步選擇攻擊出現在K個歷史觀測場景 S={S1, …, SK}中的M個環境物體 X={X1, …, XM}:

研究人員引入一個可導的渲染器,並通過梯度下降來修改待攻擊物體的3D屬性信息(如:紋理顏色):

2577-iwhseiu1787730.jpg
32dd-hqhtuak1554431.jpg

整體優化損失

將時空信息融合,就得到了整體的優化損失函數:

b9bd-iwhseiu1787809.jpg

其中,為了增加攻擊成功率,研究人員引入不同的環境信息c來進行噪音的優化(如:角度、光照)。進一步,控制產生的雜訊大小範圍來使得其人眼不可感知:

實驗結果:智能機器人很容易被欺騙

通過實驗結果評估該對抗攻擊演算法的有效性,主要針對EQA-v1數據集進行測試。

可導渲染器的攻擊效果

首先,研究人員將渲染過程中的渲染器設置為可導的,並分別進行了白盒攻擊和黑盒攻擊實驗。通過下表可示,該演算法在多個指標上都取得了最高的攻擊成功率(問答準確率和移動距離等):

a9e1-iwhseiu1793290.jpg

不可導渲染器的攻擊效果

在真實世界場景中更多使用不可導渲染器,因為其可以更好渲染出更加逼真和豐富的場景元素和環境條件。因此,在不可導渲染器上的對抗攻擊效果可以有效的驗證本方法在真實場景中的可行性。如下圖所示,時空融合對抗攻擊演算法可以在未知參數的「黑盒」不可導渲染器下取得很好的攻擊效果。

c46c-iwhseiu1787980.jpg

可視化效果

通過下圖可以看出,時空融合的對抗攻擊演算法所生成的對抗噪音具有非常好的視覺效果,可以達到人眼不可分辨(黃色方框表示對抗攻擊的物體)。

3250-iwhseiu1788656.jpg
1ac8-iwhseiu1788660.jpg
a3eb-iwhseiu1788705.jpg

對抗攻擊的作用

除了攻擊智能機器人使其執行錯誤的操作和行為,本文提出的時空融合的對抗攻擊對於提升模型的魯棒性和模型行為的理解都有重要作用和意義。

通過對抗訓練提升模型魯棒性

通過在智能機器人的訓練過程中混入由時空融合產生的對抗3D場景,研究人員使用對抗訓練來提升智能機器人對於噪音的魯棒性。通過對抗訓練,智能機器人在對抗場景下和高斯噪音場景下的表現能力都得到了很大的提升(問答準確率,對抗場景:5.67%->23.56%,高斯噪音場景:22.14%->38.87%)。

bc2f-iwhseiu1788706.jpg

模型決策行為理解

通過對抗攻擊,本文擬進一步探索智能機器人脆弱的原因以及它們在決策時所依賴的特徵偏好。研究人員用同樣大小的對抗噪音來分別修改物體的「紋理」和「形狀」屬性,並使用同一場景對於智能機器人進行對抗攻擊。通過實驗研究人員發現,對於智能機器人模型,紋理攻擊(準確率4.26%)比形狀攻擊(27.14%)的效果要強非常多。這進一步證明了,目前深度神經網路的決策方式更多的是依賴於對於紋理顏色信息的感知而不是對於物體形狀的感知。

b2fe-iwhseiu1788741.jpg

關於作者

28ae-iwhseiu1788742.jpg

論文第一作者劉艾杉,目前在北京航空航天大學計算機學院攻讀博士。

主要研究方向為對抗樣本、深度學習魯棒性、人工智慧安全性,已在ECCV、AAAI、IJCAI等國際頂級人工智慧與計算機視覺會議發表多篇論文。

傳送門

論文地址:

https://arxiv.org/abs/2005.09161

代碼地址:

https://github.com/liuaishan/SpatiotemporalAttack