廣州熱線

近日，在人工智能國際會(huì)議 IJCAI 舉辦的2020 iCartoonFace挑戰(zhàn)賽中，騰訊優(yōu)圖實(shí)驗(yàn)室基于自研的“千尋”檢測平臺(tái)，首次提出面向動(dòng)漫場景的卡通臉檢測算法ACFD，并從國內(nèi)頂尖學(xué)術(shù)機(jī)構(gòu)和商業(yè)公司中脫穎而出，取得第一名的成績。目前，論文已在arXiv公開。

優(yōu)圖提出的ACFD算法在IJCAI2020舉辦的iCartoonFace挑戰(zhàn)賽中排名第一

卡通臉檢測廣泛使用在內(nèi)容審核和動(dòng)漫視頻分析等業(yè)務(wù)場景中，現(xiàn)有的DSFD等通用人臉檢測器難以檢測到一些特定場景下的人臉，因此，優(yōu)圖首次提出一種面向動(dòng)漫場景的非對稱卡通臉檢測器ACFD。ACFD是一種基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)，屬于一階段帶有錨點(diǎn)框的檢測方法，輸入一張卡通圖片，ACFD便可以輸出卡通圖片中卡通臉的位置（x,y,w,h）以及對應(yīng)的置信度。

本次，優(yōu)圖提出的ACFD檢測算法推理速度僅為50ms且無需任何預(yù)訓(xùn)練模型，能夠檢測出動(dòng)漫視頻作品中的較為抽象的卡通臉：如機(jī)器人臉，類動(dòng)物臉，玩具臉，簡筆畫臉，表情臉等。

不同于含有端正五官的正常人臉，卡通臉種類豐富，人物抽象。最為常見的有類動(dòng)物臉，機(jī)器人臉，還有一些表情臉。針對這些特點(diǎn)，優(yōu)圖提出非對稱卡通人臉檢測算法ACFD，復(fù)用了一些經(jīng)典的人臉檢測器的框架，并作出創(chuàng)新性的改進(jìn)。

ACFD包括四個(gè)部分：用來對卡通圖提取6個(gè)特征圖的主干網(wǎng)絡(luò)VoVNetV3，對高低特征融合的非對稱的雙向特征金字塔結(jié)構(gòu)ABi-FPN，動(dòng)態(tài)錨點(diǎn)框匹配DAM和基于間隔的損失函數(shù)MC loss。

VoVNet是一種計(jì)算高效的骨干網(wǎng)絡(luò)，其OSA模塊可以輸出靈活的特征表達(dá)。VoVNetV2通過添加殘差連接方式解決了VoVNet訓(xùn)練的局限性，同時(shí)引入一種高效的注意力機(jī)制。

為進(jìn)一步提升特征的靈活性，優(yōu)圖提出了一種更有效的骨干網(wǎng)絡(luò)VoVNetV3。VoVNetV3在不使用預(yù)訓(xùn)練模型情況下，在較為抽象的動(dòng)漫場景中表現(xiàn)優(yōu)異，相比于ResNet50，VoVNetV3能夠?qū)z測指標(biāo)AP Average Precision 從0.9018提升至0.9074。

在提取多尺度特征時(shí)，目前大部分人臉檢測器采用ResNet或VGG。然而，它們僅僅可以處理方形感受野的，這可能會(huì)影響尺度差異較大的人臉檢測。而卡通人臉中大約有10的比例大于2.0或小于0.5.

優(yōu)圖提出的ABi-FPN模塊同時(shí)進(jìn)行特征融合、語義信息增強(qiáng)以及感受野精細(xì)處理，它可以使特征感受野更靈活。

為了在檢測任務(wù)中更好的劃分并分類正負(fù)樣本，也就是卡通臉和背景兩個(gè)類別，ACFD將傳統(tǒng)的錨點(diǎn)框匹配過程改進(jìn)為動(dòng)態(tài)的錨點(diǎn)框匹配DAM，在訓(xùn)練的每次前向傳播后，對于困難的卡通臉用一些負(fù)樣本進(jìn)行錨點(diǎn)框的補(bǔ)償。這種動(dòng)態(tài)的錨點(diǎn)框匹配能將baseline的AP指標(biāo)由0.8765提升至0.8890。

動(dòng)態(tài)的錨點(diǎn)框匹配策略DAM

在訓(xùn)練的過程中使用的多任務(wù)損失函數(shù)，包括回歸loss和分類loss。損失函數(shù)對補(bǔ)償?shù)腻^點(diǎn)框計(jì)算出的loss進(jìn)行了加權(quán)，并且在分類loss中引入了margin。優(yōu)圖提出的基于margin損失函數(shù)MC loss最終將AP提升了0.3。

卡通臉檢測是許多業(yè)務(wù)的基礎(chǔ)和關(guān)鍵環(huán)節(jié)，廣泛使用在內(nèi)容審核和動(dòng)漫視頻分析兩個(gè)典型的場景中：

互聯(lián)網(wǎng)上源源不斷產(chǎn)生海量內(nèi)容和數(shù)據(jù)，AI算法審核可以提升內(nèi)容審核效率，降低審核成本。比如AI可以在電商平臺(tái)、新聞、視頻網(wǎng)站、短視頻應(yīng)用上檢測識(shí)別知名IP形象的使用是否侵權(quán)。

動(dòng)漫產(chǎn)業(yè)蓬勃發(fā)展，每年會(huì)產(chǎn)生大量的卡通視頻。使用AI幫助檢測卡通臉，理解卡通人物的人臉信息來進(jìn)行動(dòng)漫視頻的分析。

作為騰訊旗下AI實(shí)驗(yàn)室之一，優(yōu)圖一直聚焦視覺AI研究與落地，并積極拓展卡通臉等相關(guān)智能識(shí)別能力，為新聞平臺(tái)、視頻網(wǎng)站、短視頻應(yīng)用等業(yè)務(wù)提供技術(shù)支持和解決方案，讓AI視覺識(shí)別提升應(yīng)用效率。