廣州熱線

8月26日，YOCSEF 深圳“Wiztalk.灣區(qū)會議”特別品牌活動第二期研討會順利舉行?；顒泳劢埂按竽Ｐ颓把丶夹g(shù)與發(fā)展趨勢”，讓與會嘉賓從不同角度討論思辨，嘗試在大模型未來發(fā)展領(lǐng)域探尋新的方向。YOCSEF深圳老主席陳小軍和現(xiàn)任AC寇立言作為執(zhí)行主席。

與會人員合影

陳小軍主持

會議伊始，陳小軍向來自香港高校和企業(yè)界的嘉賓們簡要介紹了CCF YOCSEF的文化以及“Wiztalk·灣區(qū)會議”系列活動的定位。深圳大學(xué)特聘教授黃哲學(xué)、深圳大學(xué)大數(shù)據(jù)系統(tǒng)計算技術(shù)國家工程實(shí)驗(yàn)室副主任沈琳琳、香港科技大學(xué)廣州信息樞紐終生教授王煒、中山大學(xué)深圳副教授/青年人才梁小丹、香港中文大學(xué)的孔秋強(qiáng)等受邀報告嘉賓；哈爾濱工業(yè)大學(xué)（深圳）副教授戶保田、香港大學(xué)助理教授黃超、微眾銀行范濤、深圳數(shù)據(jù)交易所王吳越受邀做議題引導(dǎo)嘉賓；北京交通大學(xué)教授\YOCSEF總部AC金一、YOCSEF深圳2013-2014主席\CCF深圳監(jiān)委\清華大學(xué)深圳研究生院教授袁春、北京交通大學(xué)教授魏云超、深圳大學(xué)教授吳曉曉\特聘教授秦建斌、北京大學(xué)深圳研究生院助理教授袁粒、冪商科技余冰、香港生產(chǎn)力促進(jìn)局成杰峰等受邀參加會議。

今年初，人工智能火爆全網(wǎng)，接著各大公司及開源社區(qū)推出了各種大模型，競爭激烈，然而目前大模型在理論及落地上還存在許多問題。

袁春和金一致辭

會上，YOCSEF深圳2013-2014主席、CCF深圳監(jiān)委、清華大學(xué)深圳研究生院教授袁春，以及YOCSEF總部AC/北京交通大學(xué)教授金一首先做了致辭。

本次活動分為兩個專題，大模型專題及大數(shù)據(jù)專題。

Part1，大模型專題：

沈琳琳以《AIGC之伶荔中文大語言模型》為題，介紹了自研的TencentPretrain框架，以及基于此框架對LLaMA微調(diào)得到的伶荔大模型。

伶荔中文大語言模型發(fā)展路徑

梁小丹做了《多模態(tài)開放域檢測大模型及應(yīng)用》報告，介紹了團(tuán)隊在語言-視覺大模型方面的工作，并將其用于機(jī)器人導(dǎo)航上取得了不錯的效果。

孔秋強(qiáng)以《大語言模型在音頻信號處理中的應(yīng)用與展望》為題介紹了音頻信號處理的經(jīng)典任務(wù)，探討了大模型時代音頻信號處理的新數(shù)據(jù)集、新模型、新任務(wù)，以及音頻領(lǐng)域的理解和生成任務(wù)的難點(diǎn)。

在大模型專題的思辨環(huán)節(jié)，嘉賓們就大模型演進(jìn)及落地的技術(shù)路徑進(jìn)行了深度思辨。

首先是針對大模型的技術(shù)架構(gòu)問題，討論了兩個子問題。

1）盡管目前常用的Transformer架構(gòu)具有計算高效、上下文感知等優(yōu)點(diǎn)，但也存在如訓(xùn)練數(shù)據(jù)量要求高、可解釋差、學(xué)習(xí)長距離依賴關(guān)系的能力有限及推理速度慢等缺點(diǎn)。所以，未來是沿用現(xiàn)有的Transformer架構(gòu)還是探索新的架構(gòu)？王煒表示Transformer在基礎(chǔ)理論及計算成本等方面存在較大的問題，孔秋強(qiáng)也表示其難以處理音頻數(shù)據(jù)中的長序列問題。余冰表示，在工業(yè)界，現(xiàn)有架構(gòu)推理速度慢影響了效率。清華大學(xué)袁春指出可以使用量化、剪枝及蒸餾等方法來加快大模型的推理速度。戶保田表示從零開始學(xué)習(xí)多模態(tài)大模型比較困難，更實(shí)用的方式是利用已有的大語言模型來對視覺信息進(jìn)行對齊。袁粒表示，訓(xùn)練數(shù)據(jù)及指令數(shù)據(jù)的質(zhì)量對大模型的性能影響值得關(guān)注。深圳大學(xué)特聘教授黃哲學(xué)表示，需要結(jié)合經(jīng)典的統(tǒng)計學(xué)習(xí)來改進(jìn)現(xiàn)有的大模型技術(shù)。

2）針對領(lǐng)域大模型，從頭開始訓(xùn)練不大實(shí)際，所以目前大都利用已有的大語言模型進(jìn)行微調(diào)。但微調(diào)的多模態(tài)大模型性能有限，所以需要探索新的路徑。針對該問題，余冰表示，通用大模型需要和行業(yè)知識圖譜進(jìn)行結(jié)合，利用行業(yè)知識圖譜來對大模型進(jìn)行微調(diào)。梁小丹表示某些實(shí)際應(yīng)用需要大模型有自我糾正的能力，能及時發(fā)現(xiàn)錯誤并修正。魏云超相比于微調(diào)利用大模型+知識庫的方式更加有效。

其次是探討了大模型落地的技術(shù)架構(gòu)問題。

1）在實(shí)際應(yīng)用場景中，是應(yīng)該選擇大模型、小模型組合還是大小模型協(xié)同？孔秋強(qiáng)表示，工業(yè)界的語音識別等應(yīng)用，更樂意采用小模型組合的方式。但余冰指出語音任務(wù)最好是訓(xùn)練通用的大模型，并在此基礎(chǔ)上增加對其他語言的支持。戶保田提出可以利用多個小模型去解決傳統(tǒng)大模型才能解決的復(fù)雜問題。魏云超和袁春都表示，在視覺任務(wù)上大模型是一種趨勢。梁小丹表示由于基礎(chǔ)的視覺模型能力的增強(qiáng)，機(jī)器人的模型體系已經(jīng)從端到端優(yōu)化變?yōu)楣潭ㄒ恍┠Ｐ蛠韮?yōu)化其他模型。

2）大小模型如何協(xié)同進(jìn)化？梁小丹建議可以將小模型作為agent，通過大模型來組合小模型以協(xié)同進(jìn)化。不過袁春表示即使在自動駕駛場景，感知和決策也很難合在一起來做。

經(jīng)過一上午的激情研討，初步達(dá)成了如下共識：目前Transformer推理速度慢問題嚴(yán)重，需要探索新的架構(gòu)，并關(guān)注訓(xùn)練數(shù)據(jù)的質(zhì)量。針對領(lǐng)域大模型，通用大模型+行業(yè)知識圖譜成為大方向，需要結(jié)合連續(xù)學(xué)習(xí)的方式來對大模型的知識進(jìn)行更新。

Part2，大數(shù)據(jù)專題：

下午，兩位重量級的嘉賓帶來新的分享。

黃哲學(xué)以《非MapReduce大數(shù)據(jù)計算》為題，介紹了與傳統(tǒng)的全量數(shù)據(jù)計算不一樣的隨機(jī)樣本計算技術(shù)，指出通過對數(shù)據(jù)進(jìn)行打亂抽樣，在少量隨機(jī)樣本而不是全量數(shù)據(jù)上進(jìn)行近似計算，可以獲得非常高的性能加速并極大地降低大數(shù)據(jù)的處理成本。

香港科技大學(xué)廣州王煒以《Towards Understanding the "Intelligence" of Large Language Models》為題探討了大語言模型的智能涌現(xiàn)機(jī)制、局限性，介紹了大模型編輯及蒸餾方面的一些工作，并指出了一些大語言模型未來重要的研究問題，如大語言模型的機(jī)制及更多的能力、快速知識更新等。

在大數(shù)據(jù)專題的思辨環(huán)節(jié)，嘉賓們就大模型和大數(shù)據(jù)技術(shù)如何結(jié)合進(jìn)行了深度思辨。

首先探討了大模型對數(shù)據(jù)的需求問題。針對大模型的訓(xùn)練數(shù)據(jù)缺乏問題，余冰表示可以利用種子數(shù)據(jù)來合成所需的數(shù)據(jù)。吳曉曉表示數(shù)據(jù)集要考慮公平問題，以避免數(shù)據(jù)偏見被引入大模型中，并考慮大模型的價值觀問題。王吳越表示數(shù)據(jù)隱私問題可以通過一次授權(quán)、多次使用來解決數(shù)據(jù)多次授權(quán)的效率問題。黃哲學(xué)表示，大模型訓(xùn)練數(shù)據(jù)的清洗成本和冗余性比較高，可以將大數(shù)據(jù)劃分后進(jìn)行清洗，同時利用統(tǒng)計技術(shù)對數(shù)據(jù)去冗余，以降低開銷。王煒也提出在實(shí)際應(yīng)用中，可以考慮對數(shù)據(jù)進(jìn)行壓縮，同時，如何評估數(shù)據(jù)對自身的價值以制定合適的價格至關(guān)重要。袁春提出可以用元學(xué)習(xí)的方法來解決大模型數(shù)據(jù)缺乏的問題。

接著討論了大模型時代，大數(shù)據(jù)技術(shù)的發(fā)展趨勢。王煒表示在25年，前數(shù)據(jù)庫的學(xué)者就有一個愿望，希望能實(shí)現(xiàn)對多種數(shù)據(jù)的管理，現(xiàn)在可以嘗試解決大規(guī)模/多模態(tài)數(shù)據(jù)的數(shù)據(jù)質(zhì)量及數(shù)據(jù)管理問題。袁春說可以將知識用文本的方式描述出來，方便人們的理解。黃哲學(xué)表示大模型不是萬能的，要對大模型的輸出做好評估及控制以避免嚴(yán)重后果。余冰表示在工業(yè)大數(shù)據(jù)領(lǐng)域，要考慮安全數(shù)據(jù)的邊界。成杰峰則看好大模型和大數(shù)據(jù)管理技術(shù)的深度結(jié)合。

經(jīng)過一下午的激烈辯論，達(dá)成了新的共識，即：數(shù)據(jù)交易可以解決大模型的數(shù)據(jù)問題，數(shù)據(jù)壓縮、數(shù)據(jù)合成及元學(xué)習(xí)是有效的解決訓(xùn)練數(shù)據(jù)不足的技術(shù)手段。同時，利用大模型來提升大數(shù)據(jù)清洗、管理、檢索、推薦是大模型時代大數(shù)據(jù)技術(shù)的重要發(fā)展趨勢。

經(jīng)過嘉賓們的反復(fù)討論，對大數(shù)據(jù)模型前沿技術(shù)與發(fā)展趨勢有了新的見解，希望通過本次討論能形成若干有意義的共識，使相關(guān)領(lǐng)域從業(yè)人員受益。

本次會議主要由報告及研討兩部分組成，其中報告部分在Wiz學(xué)術(shù)平臺公開直播，可掃二維碼觀看。