廣州熱線

CVPR作為計(jì)算機(jī)視覺領(lǐng)域和模式識(shí)別領(lǐng)域的世界級(jí)學(xué)術(shù)頂會(huì),不僅是展示前沿科技成果的學(xué)術(shù)會(huì)議,也是探索學(xué)術(shù)應(yīng)用的一大平臺(tái)。今年,百度聯(lián)合澳大利亞悉尼科技大學(xué)和美國(guó)北卡羅來(lái)納大學(xué)舉辦CVPR 2021 NAS workshop,同時(shí)于3月1日正式啟動(dòng)CVPR 2021 NAS國(guó)際競(jìng)賽,面向全球開發(fā)者開放報(bào)名通道。

人臉識(shí)別、語(yǔ)音識(shí)別、機(jī)器翻譯……每一項(xiàng)人工智能應(yīng)用的背后都離不開AI技術(shù)算法模型,而神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)最終模型的效果起著至關(guān)重要的作用。為降低傳統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)人工經(jīng)驗(yàn)和背景知識(shí)的依賴,近年來(lái)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索NAS技術(shù)成為學(xué)術(shù)界和工業(yè)界研究的熱點(diǎn)。為了解決神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的搜索效率和效果問題,此次競(jìng)賽以輕量級(jí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索技術(shù)為研究課題,為全球挑戰(zhàn)者切磋交流、打造前沿AI模型結(jié)構(gòu)搜索技術(shù)提供了絕佳機(jī)會(huì)。

雙賽道并行 探索NAS技術(shù)革新之道

早期的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索通過(guò)將每個(gè)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)上都訓(xùn)練到收斂,然后評(píng)估其效果,會(huì)耗費(fèi)大量的算力資源,阻礙了在實(shí)際業(yè)務(wù)中的應(yīng)用。因此,業(yè)界開始逐漸研究使用基于可微分框架和超網(wǎng)絡(luò)的輕量級(jí)搜索算法,但相關(guān)方法在靈活性和搜索效果上存在一定問題。

從實(shí)際技術(shù)研究中的關(guān)鍵問題出發(fā),本次大賽特意設(shè)置了雙賽道:超網(wǎng)絡(luò)一致性賽道和模型性能預(yù)測(cè)賽道。參賽者可以任意選擇或同時(shí)參加兩個(gè)賽道。獲勝的隊(duì)伍會(huì)被邀請(qǐng)?jiān)贑VPR?NAS?workshop上宣講隊(duì)伍的技術(shù)方案。

賽道一:超網(wǎng)絡(luò)一致性track

由于算法的高效性,OneshotNAS逐漸成為研究人員的研究熱點(diǎn)。通過(guò)參數(shù)共享的方式,研究人員不再需要獨(dú)立訓(xùn)練并評(píng)估每個(gè)子網(wǎng)絡(luò)的性能而是只需要訓(xùn)練一個(gè)大的超網(wǎng)絡(luò),然后通過(guò)繼承超網(wǎng)絡(luò)參數(shù)的方式快速評(píng)估每個(gè)子網(wǎng)絡(luò)的性能,從而可以非常高效的進(jìn)行模型結(jié)構(gòu)自動(dòng)搜索。然而,獨(dú)立訓(xùn)練子網(wǎng)絡(luò)的性能、性能排序與子網(wǎng)絡(luò)繼承超網(wǎng)絡(luò)參數(shù)的性能、性能排序之間有很大的偏差,從而導(dǎo)致搜索得到結(jié)構(gòu)性能差無(wú)法使用。本賽道旨在解決超網(wǎng)絡(luò)的一致性問題。基于超網(wǎng)絡(luò)性能與獨(dú)立訓(xùn)練子網(wǎng)絡(luò)性能最一致的隊(duì)伍將獲得冠軍。

賽道二:模型性能預(yù)測(cè)track

在不訓(xùn)練的情況下,準(zhǔn)確的預(yù)測(cè)任意模型結(jié)構(gòu)性能非常重要?；诖?不僅可以深度的分析模型結(jié)構(gòu)的性能優(yōu)劣,同時(shí)還能夠預(yù)測(cè)出滿足任意硬件延時(shí)約束下的最優(yōu)的模型結(jié)構(gòu)。本賽事提供了部分小樣本模型結(jié)構(gòu)與模型精度之間對(duì)應(yīng)關(guān)系的bench mark,參賽選手既可以通過(guò)黑盒的方式直接進(jìn)行訓(xùn)練,也可以使用白盒的方式進(jìn)行參數(shù)估計(jì)。最終預(yù)測(cè)泛化性能最好的模型隊(duì)伍將獲得冠軍。

技術(shù)、平臺(tái)、免費(fèi)算力 百度全方位助力AI競(jìng)技

此次百度聯(lián)合悉尼科技大學(xué)和美國(guó)北卡羅來(lái)納大學(xué)等高校舉辦CVPR 2021 NAS workshop,并在CVPR2021舉辦的NAS國(guó)際競(jìng)賽是第一屆輕量級(jí)神經(jīng)網(wǎng)絡(luò)自動(dòng)搜索競(jìng)賽。

作為人工智能技術(shù)領(lǐng)域的領(lǐng)軍者與深耕者,百度在NAS領(lǐng)域擁有強(qiáng)大的技術(shù)優(yōu)勢(shì)和深厚技術(shù)積累。目前,百度在NAS領(lǐng)域已原創(chuàng)性地提出了GP-NASCVPR和SA-NASIJCV等多個(gè)AutoDL算法,并使用研發(fā)的AutoDL技術(shù)先后七次在CVPR與ECCV等國(guó)際比賽中奪得世界第一。

百度在NAS領(lǐng)域還孵化了模型壓縮工具PaddleSlim。這是基于飛槳PaddlePaddle打造的開源模型壓縮工具庫(kù),囊括了深度學(xué)習(xí)模型壓縮領(lǐng)域常用的量化、剪枝、蒸餾、模型結(jié)構(gòu)搜索等方法,并且打造了CV和NLP領(lǐng)域的模型壓縮方案。

通過(guò)此次競(jìng)賽,百度期望與全球開發(fā)者就NAS技術(shù)展開廣泛交流與學(xué)習(xí),積極分享技術(shù)成果與心得。

百度飛槳作為中國(guó)首個(gè)自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái),為本次競(jìng)賽參賽者提供了平臺(tái)和GPU算力等技術(shù)支持,助力AI人才破除參賽桎梏。除了“以賽促學(xué)”、通過(guò)競(jìng)賽挖掘AI人才外,百度以飛槳為創(chuàng)新基座構(gòu)建起涵蓋學(xué)習(xí)、實(shí)踐、比賽、認(rèn)證、就業(yè)在內(nèi)的全周期服務(wù)體系,已培養(yǎng)AI人才超100萬(wàn)。未來(lái)5年,百度還將培養(yǎng)超過(guò)500萬(wàn)人工智能技術(shù)與產(chǎn)業(yè)人才。

此次競(jìng)賽不僅為各賽道的優(yōu)勝者準(zhǔn)備了共計(jì)10000美金的獎(jiǎng)勵(lì),還將在workshop中邀請(qǐng)多位重量級(jí)嘉賓進(jìn)行分享演講。競(jìng)賽于3月1日正式開啟報(bào)名通道,想進(jìn)一步了解CVPR 2021 NAS國(guó)際競(jìng)賽詳情和報(bào)名方式,參賽者可以登錄CVPR2021 workshop官網(wǎng),進(jìn)入NAS workshop主頁(yè) 第三個(gè)workshop,然后在competition頁(yè)面中查找到此次競(jìng)賽詳情頁(yè),查看詳細(xì)內(nèi)容。