來自芝加哥大學的最新研究:給照片加上一點肉眼看不出來的修改,就能讓你的臉成功「隱形」。如此一來,即使你在網(wǎng)絡上的照片被非法抓取,用這些數(shù)據(jù)訓練出來的人臉模型,也無法真正成功識別你的臉。
給照片穿上「隱身衣」
這項研究的目的,是幫助網(wǎng)友們在分享自己的照片的同時,還能有效保護自己的隱私。因此,「隱身衣」本身也得「隱形」,避免對照片的視覺效果產(chǎn)生影響。
也就是說,這件「隱身衣」,其實是對照片進行像素級別的微小修改,以蒙蔽AI的審視。
其實,對于深度神經(jīng)網(wǎng)絡而言,一些帶有特定標簽的微小擾動,就能夠改變模型的「認知」。Fawkes就是利用了這樣的特性。
用 x 指代原始圖片,xT為另一種類型/其他人臉照片,φ 則為人臉識別模型的特征提取器。
具體而言,F(xiàn)awkes是這樣設計的:
第一步:選擇目標類型 T
指定用戶 U,F(xiàn)awkes的輸入為用戶 U 的照片集合,記為 XU。
從一個包含有許多特定分類標簽的公開人臉數(shù)據(jù)集中,隨機選取 K 個候選目標類型機器圖像。
使用特征提取器 φ 計算每個類 k=1…K 的特征空間的中心點,記為 Ck。
而后,F(xiàn)awkes會在 K 個候選集合中,選取特征表示中心點與 XU 中所有圖像的特征表示差異最大的類,作為目標類型 T。
第二步:計算每張圖像的「隱身衣」
隨機選取一幅 T 中的圖像,為 x 計算出「隱身衣」δ(x, xT) ,并按照公式進行優(yōu)化。
其中 |δ(x, xT)| < ρ。
研究人員采用DDSIM(Structural Dis-Similarity Index)方法。在此基礎上進行隱身衣的生成,能保證隱身后的圖像與原圖在視覺效果上高度一致。
實驗結(jié)果表明,無論人臉識別模型被訓練得多么刁鉆,F(xiàn)awkes都能提供95%以上有效防護率,保證用戶的臉不被識別。
即使有一些不小心泄露的未遮擋照片被加入人臉識別模型的訓練集,通過進一步的擴展設計,F(xiàn)awkes也可以提供80%以上的防識別成功率。
在Microsoft Azure Face API、Amazon Rekognition和曠視Face Search API這幾個最先進的人臉識別服務面前,F(xiàn)awkes的「隱身」效果則達到了100%。
目前,F(xiàn)awkes已開源,Mac、Windows和Linux都可以使用。
據(jù)作者介紹說,生成一張「隱身衣」的速度平均在40秒左右,如果電腦配置夠好,應該還能再快點。
據(jù)介紹。論文的一作是華人學生單思雄,高中畢業(yè)于北京十一學校,目前剛拿到了芝加哥大學的學士學位,將于9月份入學攻讀博士學位,師從趙燕斌教授和Heather Zheng教授。
作為芝加哥大學SAND Lab實驗室的一員,他的研究主要側(cè)重于機器學習和安全的交互,像如何利用不被察覺的輕微數(shù)據(jù)擾動,去保護用戶的隱私。
從單同學的推特來看,他一直致力于在這個「透明」的世界中,為我們爭取一點僅存的隱私。
論文的共同一作Emily Wenger同樣來自芝加哥大學SAND Lab實驗室,正在攻讀CS博士,研究方向是機器學習與隱私的交互,目前正在研究神經(jīng)網(wǎng)絡的弱點、局限性和可能對隱私造成的影響。