廣州熱線

繼蟬聯(lián)全球權(quán)威人臉識(shí)別競(jìng)賽冠軍、先后刷新國(guó)際聲紋識(shí)別權(quán)威競(jìng)賽（VoxSRC）紀(jì)錄、行人重識(shí)別（ReID）三大權(quán)威數(shù)據(jù)集之后，依圖在全球AI技術(shù)賽道再下一城，又攻下一個(gè)第一。

在權(quán)威機(jī)構(gòu)ACM MM’20 Grand Challenge主辦的“大規(guī)模復(fù)雜場(chǎng)景人體視頻解析”挑戰(zhàn)賽中，依圖科技以大幅領(lǐng)先的成績(jī)拿下了“Track-4:行為識(shí)別”的第一名。

ACM是全球最大的計(jì)算機(jī)領(lǐng)域?qū)I(yè)性學(xué)術(shù)組織，其評(píng)選的圖靈獎(jiǎng)（A.M.Turing Award）被公認(rèn)為世界計(jì)算機(jī)領(lǐng)域的諾貝爾獎(jiǎng)。而ACM MM是全球多媒體領(lǐng)域的會(huì)議，屬中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）指定的A類(lèi)國(guó)際會(huì)議。

在此次挑戰(zhàn)賽中，包括 Amazon、騰訊、大華科技、中山大學(xué)等上百支參賽隊(duì)伍參與了超過(guò)56000個(gè)復(fù)雜事件下的人體行為包括排隊(duì)、打架、俯身、同行、跑動(dòng)、滯留等解析。視頻中行為識(shí)別是本屆比賽中的重點(diǎn)項(xiàng)目，目的是考察算法在復(fù)雜場(chǎng)景下對(duì)行為（包含多人追蹤、人體姿態(tài)、行為識(shí)別）的解析能力。

該賽事是該方向最接近真實(shí)場(chǎng)景的大規(guī)模挑戰(zhàn)賽，依圖科技奪冠的同時(shí)，其背后的技術(shù)創(chuàng)新和對(duì)行為識(shí)別難題的攻克一時(shí)間備受關(guān)注。

行為識(shí)別究竟有多難？

如果把人臉識(shí)別比作醫(yī)院的“普外門(mén)診”的話，行為識(shí)別尤其是人類(lèi)的行為識(shí)別，其復(fù)雜度和識(shí)別難度不亞于“心血管內(nèi)科+神經(jīng)內(nèi)科”。

場(chǎng)景復(fù)雜多變、動(dòng)作差異化大、需要捕捉連續(xù)動(dòng)作和長(zhǎng)時(shí)間動(dòng)作，這些對(duì)行為識(shí)別和分析都有著巨大的挑戰(zhàn)，也就需要算法對(duì)行為本身有更精準(zhǔn)的分析推理能力，甚至還能通過(guò)既定的場(chǎng)景推算未曾見(jiàn)過(guò)的場(chǎng)景。

結(jié)合此次比賽，行為識(shí)別是指以人為基礎(chǔ)單位，只分析人的行為，關(guān)注單人的動(dòng)作以及多人的動(dòng)作（例如：一起走路、奔跑、打架等）。學(xué)術(shù)界通常用frame mAP f-mAP@avg來(lái)作為行為識(shí)別的評(píng)價(jià)指標(biāo)，f-mAP@avg代表的含義是以關(guān)鍵幀為單位，評(píng)判行為的位置與分類(lèi)是否準(zhǔn)確；與學(xué)術(shù)界對(duì)行為識(shí)別的考察指標(biāo)不同，此次競(jìng)賽的評(píng)價(jià)標(biāo)準(zhǔn)是wf-mAP@avg，這意味著更注重對(duì)難度較大的擁擠場(chǎng)景的考察，以及比較少見(jiàn)的動(dòng)作的識(shí)別，同時(shí)對(duì)于人體框的定位的精確性要求也更高。

深度優(yōu)化算法框架，算法性能極致提升

比賽中，依圖算法的指標(biāo)達(dá)到了wf-mAP@avg 0.26，將以往學(xué)術(shù)界中的基準(zhǔn)算法提升了近3倍。與舉辦了多次的國(guó)際競(jìng)賽不同，這次競(jìng)賽是首屆，參賽隊(duì)伍在賽前也無(wú)法了解識(shí)別的類(lèi)別、數(shù)據(jù)集的大小和識(shí)別的具體需求，要在短短一個(gè)多月的時(shí)間內(nèi)，設(shè)計(jì)出最優(yōu)的算法, 并在眾多實(shí)力強(qiáng)勁的隊(duì)伍中達(dá)到世界第一，難度極高。

首先，視頻相較于圖像的行為識(shí)別更加復(fù)雜，且如何建模、視頻幀之間的相關(guān)性仍是學(xué)術(shù)界一直存在的難題。依圖認(rèn)為，當(dāng)應(yīng)用場(chǎng)景明確后，在已知分析的對(duì)象是人體且明確知道要識(shí)別的類(lèi)別后，就可以針對(duì)性的進(jìn)行算法優(yōu)化，通過(guò)算法定制化來(lái)提升算法性能，解決以往不能很好解決的問(wèn)題。

與此同時(shí)，如同一提到依圖大家就會(huì)想到多項(xiàng)人工智能技術(shù)挑戰(zhàn)的世界冠軍，由不同場(chǎng)景帶來(lái)的先驗(yàn)知識(shí)和經(jīng)驗(yàn)，有助于算法對(duì)行為的判斷。依圖此次創(chuàng)新性地將算法與場(chǎng)景進(jìn)行了深度結(jié)合。一方面創(chuàng)新性的從視頻中自動(dòng)提取到了準(zhǔn)確豐富的場(chǎng)景信息，結(jié)合先進(jìn)的行人檢測(cè)、行人重識(shí)別算法，全面構(gòu)建了人與人、人與場(chǎng)景、人與物之間在視頻中的關(guān)系；另一方面，借助多年來(lái)的算法積淀和對(duì)行業(yè)場(chǎng)景的理解，依圖對(duì)比賽中要求的特定的14類(lèi)任務(wù)進(jìn)行了深度算法優(yōu)化。

值得關(guān)注的是，不同于其他參賽隊(duì)伍，依圖此次沒(méi)有使用復(fù)雜的多模型融合策略，僅用單模型，借助強(qiáng)大的背景提取和分割算法，將行為的解析與場(chǎng)景結(jié)合，就大大降低了問(wèn)題難度，這也意味著依圖仍可以進(jìn)一步通過(guò)融合多個(gè)模型提升算法性能。

依圖在相關(guān)行為上持續(xù)迭代，不斷積累，行為識(shí)別算法的性能已遠(yuǎn)超比賽當(dāng)時(shí)的算法性能。同時(shí)，運(yùn)用該技術(shù)落地實(shí)戰(zhàn)的項(xiàng)目難度也遠(yuǎn)超比賽的數(shù)據(jù)集。

芯片+算法，加速AI技術(shù)落地

想象一下，未來(lái)運(yùn)用該技術(shù)如何判斷一個(gè)都市夜歸人路遇劫匪而自動(dòng)報(bào)警？如何在家中老人倒地時(shí)讓及時(shí)預(yù)警并第一時(shí)間告知監(jiān)護(hù)人？如何判斷一個(gè)生產(chǎn)線上的工人施工順序出錯(cuò)并即刻發(fā)出告警？如何在一個(gè)視頻中對(duì)內(nèi)容進(jìn)行精準(zhǔn)理解，并為其貼上更合適的標(biāo)簽使得能夠被更精準(zhǔn)和更容易檢索到？

在依圖不斷開(kāi)拓AI新領(lǐng)域的版圖上，相信這些問(wèn)號(hào)背后的答案已逐漸清晰。此前，依圖科技自主研發(fā)的全球首款云端視覺(jué)智能芯片求索（questcore），開(kāi)啟了算法設(shè)計(jì)與芯片設(shè)計(jì)相結(jié)合的時(shí)代。集合了高性能AI算法和芯片耦合設(shè)計(jì)優(yōu)化的芯片平臺(tái)，結(jié)合世界領(lǐng)先的行為識(shí)別算法的依圖，將更有利于賦能智能城市、安全生產(chǎn)、智能商業(yè)等領(lǐng)域，打造新一代AI基礎(chǔ)設(shè)施。

近日依圖還通過(guò)了由英國(guó)標(biāo)準(zhǔn)協(xié)會(huì)（即“BSI”頒發(fā)的ISO/IEC 27701:2019隱私信息管理體系國(guó)際認(rèn)證，成為國(guó)內(nèi)首家通過(guò)認(rèn)證的AI公司。認(rèn)證由國(guó)際標(biāo)準(zhǔn)化組織ISO和國(guó)際電工委員會(huì)IEC聯(lián)合發(fā)布，是全球首個(gè)針對(duì)隱私信息管理的國(guó)際標(biāo)準(zhǔn)，也被公認(rèn)為是最嚴(yán)格、權(quán)威的隱私信息管理標(biāo)準(zhǔn)。獲得該認(rèn)證充分體現(xiàn)了依圖對(duì)數(shù)據(jù)隱私保護(hù)的堅(jiān)持和持續(xù)踐行。

新基建趨勢(shì)下，各行各業(yè)加快數(shù)字化，提升各類(lèi)工作的智能水平成為剛需。作為目前國(guó)內(nèi)唯一具有提供超大規(guī)模、復(fù)雜環(huán)境下億級(jí)規(guī)模城市的智能化運(yùn)營(yíng)管理技術(shù)能力的人工智能公司，在硬核的技術(shù)實(shí)力和隱私保障上的不斷努力已形成一套“組合拳”，也即將加速解鎖更多的智能應(yīng)用。