廣州熱線

10月31日，由LiveVideoStack舉辦的以“多媒體開啟新視界”為主題的LiveVideoStackCon 2020北京站如期召開。作為多媒體技術(shù)領(lǐng)域的盛會(huì)，大會(huì)聚焦在音頻、視頻、圖像等技術(shù)的最新探索與應(yīng)用實(shí)踐，覆蓋教育、娛樂、醫(yī)療、安防、交通、制造、旅游、電商、金融、社交、游戲、智能設(shè)備、IC等行業(yè)領(lǐng)域。會(huì)上，騰訊多媒體實(shí)驗(yàn)室專家研究員肖瑋進(jìn)行了《騰訊天籟：“下行最后一厘米” 音頻體驗(yàn)提升》主題分享，重點(diǎn)介紹了騰訊天籟如何將經(jīng)典信號(hào)處理技術(shù)與深度學(xué)習(xí)進(jìn)行有機(jī)融合，圍繞網(wǎng)絡(luò)下行終端，提升音頻體驗(yàn)。

騰訊多媒體實(shí)驗(yàn)室專家研究員 肖瑋

騰訊天籟音頻AI技術(shù)，打造端到端的音頻通信體驗(yàn)

年初的疫情黑天鵝事件，讓數(shù)字通信手段成為了人與人溝通的重要手段，同時(shí)也對(duì)實(shí)時(shí)音視頻通信的穩(wěn)定性和通訊效果帶來了極大考驗(yàn)。肖瑋指出，為了解決實(shí)時(shí)音視頻應(yīng)用場景下的各種挑戰(zhàn)，騰訊多媒體實(shí)驗(yàn)室圍繞音頻通信核心體驗(yàn)的技術(shù)和框架進(jìn)行了多年的探索。在今年9月份舉辦的騰訊全球數(shù)字生態(tài)大會(huì)上，正式發(fā)布了“面向?qū)崟r(shí)音視頻應(yīng)用的新一代實(shí)時(shí)音頻技術(shù)品牌”——騰訊天籟。該解決方案旨在提供實(shí)時(shí)端到端音頻通信的完整解決方案，致力于讓用戶在實(shí)時(shí)音視頻會(huì)議時(shí)可以“聽得見，聽得清，聽得真”。

肖瑋表示，RTC場景復(fù)雜、處理鏈條長;每個(gè)節(jié)點(diǎn)均會(huì)影響用戶的終極體驗(yàn)。然而，下行終端側(cè)，是最接近于用戶的終級(jí)體驗(yàn)的節(jié)點(diǎn);如果進(jìn)行合理的設(shè)計(jì)，可以非常高效地提升用戶的終極體驗(yàn)。因此，騰訊天籟提出“下行最后一厘米”音頻體驗(yàn)提升的概念，將經(jīng)典的音頻信號(hào)處理和深度學(xué)習(xí)技術(shù)結(jié)合，設(shè)計(jì)并實(shí)現(xiàn)了基于上下文分析的前向糾錯(cuò)、丟包補(bǔ)償方案。信源側(cè)單獨(dú)可抗40丟包率，整體方案可抗80丟包率。用戶在弱網(wǎng)環(huán)境下的通話體驗(yàn)可以獲得極大保障。

基于領(lǐng)先的騰訊天籟音頻解決方案，騰訊天籟不僅可以讓不同地點(diǎn)、場景、設(shè)備終端同時(shí)遠(yuǎn)程接入，讓遠(yuǎn)程線上溝通更加高效，并且還擴(kuò)展了實(shí)時(shí)音頻的語音帶寬。與傳統(tǒng)PSTN電話音質(zhì)相比，使用了騰訊天籟技術(shù)后的音頻音質(zhì)更加明亮、干凈。同時(shí)，整套音頻算法能力也進(jìn)行了有針對(duì)性的優(yōu)化，可以在用戶多種客戶端進(jìn)行部署，最終提升了音頻通信的可懂度、自然度、舒適度。

此外，以騰訊會(huì)議為例，肖瑋現(xiàn)場展示了基于深度學(xué)習(xí)的語音增強(qiáng)方案在真實(shí)場景中的增強(qiáng)效果。在長達(dá)兩分鐘的展示環(huán)節(jié)，分別演示了地鐵站、菜市場、街道等多種噪聲場景。在這些場景下，騰訊天籟基于深度學(xué)習(xí)語音增強(qiáng)方案均能提供高質(zhì)量的處理效果，現(xiàn)場展示獲得現(xiàn)場觀眾的廣泛關(guān)注。

另一方面，肖瑋強(qiáng)調(diào)了端到端質(zhì)量評(píng)價(jià)和認(rèn)證體系的建立，對(duì)RTC場景下的體驗(yàn)提升也是非常關(guān)鍵的。截止目前，騰訊多媒體實(shí)驗(yàn)室已經(jīng)建立了完整的端到端通話質(zhì)量評(píng)價(jià)和認(rèn)證體系。借助這一體系，騰訊天籟品牌下的各種技術(shù)，在產(chǎn)品落地前，均要通過該體系的嚴(yán)格測試。此外，在技術(shù)的研發(fā)過程中，該體系的測試結(jié)果，可以給研究人員提供非常重要參考信息，用于方案的打磨和優(yōu)化。

從技術(shù)到公益，騰訊天籟“技術(shù)外溢”的產(chǎn)品力

目前，騰訊天籟已經(jīng)在騰訊會(huì)議、騰訊云、全民K歌、微視等騰訊內(nèi)外部產(chǎn)品、場景中廣泛應(yīng)用落地，并助力相關(guān)應(yīng)用在音視頻體驗(yàn)方面取得了良好的用戶口碑。

不僅如此，在騰訊的一些無障礙項(xiàng)目交流當(dāng)中，騰訊多媒體實(shí)驗(yàn)室的團(tuán)隊(duì)成員們了解到聽障人士即使佩戴了人工耳蝸，在機(jī)場、商場等比較嘈雜的公共環(huán)境中，依然面臨“聽不清”的困擾。基于此，騰訊多媒體實(shí)驗(yàn)室聯(lián)合國內(nèi)最大的人工耳蝸廠商之一—諾爾康Nurotron一起展開相關(guān)討論和研究，經(jīng)過長達(dá)半年的技術(shù)驗(yàn)證，從架構(gòu)上最終確定了“手機(jī)伴侶+人工耳蝸”的聯(lián)合解決方案。通過多種技術(shù)的優(yōu)化和整合，實(shí)現(xiàn)了語音清晰度和可懂度提升40的效果。經(jīng)過提升后的信號(hào)，傳遞給人工耳蝸后，可以極大改善聽障人士的聽覺體驗(yàn)，讓聽障人士在“聽得見”的基礎(chǔ)上“聽得清、聽得真”。

9月27日國際聾人日之際，騰訊多媒體實(shí)驗(yàn)室聯(lián)合騰訊公益慈善基金會(huì)、深圳市信息無障礙研究會(huì)等機(jī)構(gòu)召開發(fā)布會(huì)，宣布發(fā)起“天籟行動(dòng)”，通過面向公益開發(fā)者、設(shè)備廠商、NGO及行業(yè)免費(fèi)開放騰訊天籟AI音頻技術(shù)，幫助聽障人群解決“聽不清”難題，并邀請(qǐng)歌手周深作為公益大使，呼吁全社會(huì)關(guān)注聽障人士身心康復(fù)，構(gòu)建信息無障礙環(huán)境。

騰訊天籟行動(dòng)發(fā)布

值得一提的是，天籟行動(dòng)并不是一次“普通”的公益實(shí)踐，而是騰訊基于“科技向善”的愿景，進(jìn)行體系化、持續(xù)性建設(shè)的科技公益落地。其背后的驅(qū)動(dòng)機(jī)制，正是騰訊技術(shù)積累的“技術(shù)外溢”，以及技術(shù)快速場景化落地的強(qiáng)大產(chǎn)品力。

作為騰訊旗下頂尖的音視頻通信和處理研發(fā)團(tuán)隊(duì)，騰訊多媒體實(shí)驗(yàn)室致力于實(shí)時(shí)音視頻通信、音視頻編解碼前沿算法研究、音視頻國際標(biāo)準(zhǔn)、計(jì)算機(jī)視覺圖像處理、端到端音視頻質(zhì)量評(píng)測。其中，天籟技術(shù)是其經(jīng)驗(yàn)和技術(shù)能力積累重要成果之一。

在5G浪潮下，多媒體的技術(shù)和形式不斷發(fā)生改變，高效率低延遲的傳輸帶來了更豐富的落地場景。未來，騰訊天籟音頻技術(shù)也將會(huì)加速接入騰訊旗下金融、政務(wù)、教育等行業(yè)場景下的實(shí)時(shí)音視頻需求，讓更多更豐富的場景落地，為用戶帶來極具5G時(shí)代色彩的沉浸式體驗(yàn)。