你有沒(méi)有試過(guò)這樣的場(chǎng)景：當(dāng)你“開(kāi)黑”正酣，指揮著隊(duì)友有條不紊朝“敵人”后方挺進(jìn)，突然語(yǔ)音掉線，因?yàn)槁?lián)系不到隊(duì)友而陷入孤立無(wú)援之境，進(jìn)而痛失好局，不得不咽下失利的苦果……

隨著移動(dòng)端游戲產(chǎn)品的爆發(fā)，讓游戲內(nèi)的語(yǔ)音交流成為天南海北的玩家社交的剛需，也成為定義“高品質(zhì)游戲”的重要因素之一，游戲內(nèi)語(yǔ)音交互已經(jīng)成為近年來(lái)眾多游戲廠商的關(guān)注重點(diǎn)。

近日，騰訊游戲發(fā)布了最新游戲語(yǔ)音技術(shù)方案，騰訊游戲光子S工作室《和平精英》團(tuán)隊(duì)攜手騰訊AI Lab、騰訊游戲CROS GVoice(騰訊游戲語(yǔ)音)團(tuán)隊(duì)，基于深度學(xué)習(xí)在語(yǔ)音編解碼器上的不斷突破，將AI Codec應(yīng)用于《和平精英》游戲中，在行業(yè)內(nèi)率先實(shí)現(xiàn)AI Codec 更低碼率更高質(zhì)量的語(yǔ)音編碼，由此成為首個(gè)將AI Codec技術(shù)全面應(yīng)用于游戲語(yǔ)音領(lǐng)域的產(chǎn)品。

《和平精英》下載地址分享：{點(diǎn)擊下載}

弱網(wǎng)環(huán)境下的語(yǔ)音交流成“開(kāi)黑”痛點(diǎn)

此前艾媒咨詢對(duì)移動(dòng)游戲社交相關(guān)數(shù)據(jù)的統(tǒng)計(jì)表明，近 40% 的玩家因?yàn)樯缃灰蛩剡x擇一款游戲;15.6% 的玩家因?yàn)橐豢钣螒蛏缃恍圆疃x擇離開(kāi)。因此，提高游戲的社交屬性已成為各大游戲廠商的重要工作。

作為減少玩家“孤軍奮戰(zhàn)”感受的有效手段，游戲語(yǔ)音自誕生起就深受玩家喜愛(ài)，并且在手游時(shí)代，玩家們對(duì)移動(dòng)手機(jī)端的游戲語(yǔ)音傳輸?shù)馁|(zhì)量、延遲時(shí)間和使用環(huán)境，提出了越來(lái)越高的要求。

事實(shí)上，實(shí)時(shí)語(yǔ)音通信技術(shù)在行業(yè)內(nèi)早已不是一個(gè)新話題，但游戲內(nèi)實(shí)時(shí)語(yǔ)音交流不僅僅是簡(jiǎn)單地實(shí)現(xiàn)實(shí)時(shí)通話即可。一個(gè)“好”的語(yǔ)音，最重要的是聽(tīng)感質(zhì)量符合人的聽(tīng)覺(jué)要求，在這個(gè)前提下，傳輸碼率越低，用戶耗費(fèi)的流量就越少;占用算力越少，CPU的能耗就越少。

發(fā)展至今，游戲語(yǔ)音傳輸技術(shù)在兩個(gè)方面尋找突破。

首先是在弱網(wǎng)惡劣環(huán)境下，如何確保語(yǔ)音交流流暢是游戲語(yǔ)音技術(shù)面臨的一個(gè)重要課題。同樣的聽(tīng)感質(zhì)量，如果語(yǔ)音信息的碼率越低，其傳輸?shù)倪B貫性就越有保障，換言之，低碼率更適用于弱網(wǎng)環(huán)境。

其次，算力的損耗也是游戲語(yǔ)音要考慮的因素。由于重度游戲?qū)PU算力要求較高，因此，如何讓語(yǔ)音功能盡可能的減少對(duì)CPU的占用，在保障用戶的交流體驗(yàn)的同時(shí)，不對(duì)游戲操作和計(jì)算資源進(jìn)行過(guò)多的擠壓，成為其中的重點(diǎn)。

人工智能為游戲語(yǔ)音加上“BUFF”

當(dāng)語(yǔ)音開(kāi)黑、游戲社交成為剛需，眾多國(guó)內(nèi)外的科技企業(yè)也開(kāi)始涉足這一領(lǐng)域。

在確保語(yǔ)音質(zhì)量的前提下，傳統(tǒng)的音頻解碼技術(shù)Codec致力于使用較少的網(wǎng)絡(luò)帶寬資源、較低的傳輸碼率去傳遞更保真的語(yǔ)音信息。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，完全基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)音編碼器逐漸替代了傳統(tǒng)的基于信號(hào)處理的方法，成為了業(yè)內(nèi)前沿的解決方案。在此基礎(chǔ)上，基于人工智能技術(shù)進(jìn)化的AI Codec也越來(lái)越受到業(yè)界的關(guān)注。

為了給游戲內(nèi)語(yǔ)音交互加上人工智能的“BUFF”，游戲界也進(jìn)行了諸多嘗試。例如，業(yè)界常用的Opus聲音編碼格式在低碼率語(yǔ)音信息傳輸方面表現(xiàn)不如人意。2019年，行業(yè)涌現(xiàn)了一些超低碼率 AI Codec，能夠以極低碼率對(duì)語(yǔ)音進(jìn)行壓縮，但是還原出的語(yǔ)音質(zhì)量不太理想。

Google同樣將目光瞄準(zhǔn)了這一領(lǐng)域。2021年初，Google發(fā)布了基于自回歸網(wǎng)絡(luò)的AI Codec Lyra。Lyra能夠在以低碼率傳輸?shù)耐瑫r(shí)保證聲音效果，但不能提供高質(zhì)量的實(shí)時(shí)通信，算法存在延遲的情況。 半年后，Google再次發(fā)布了新的AI Codec模型SoundStream，相比于Lyra，SoundStream在語(yǔ)音傳輸質(zhì)量方面有所提升，但由于模型復(fù)雜度較高，無(wú)法在大多數(shù)的手機(jī)上平穩(wěn)運(yùn)行。

首個(gè)游戲移動(dòng)端AI Codec語(yǔ)音技術(shù)落地《和平精英》

與此同時(shí)，針對(duì)游戲內(nèi)語(yǔ)音交互，國(guó)內(nèi)廠商也在積極探索更好的解決方案。

作為國(guó)內(nèi)頭部戰(zhàn)術(shù)競(jìng)技手游，《和平精英》一直致力于提升游戲品質(zhì)優(yōu)化玩家游戲體驗(yàn)。 其中游戲語(yǔ)音因?yàn)閼?yīng)用場(chǎng)景眾多，使用率極高，語(yǔ)音品質(zhì)的優(yōu)劣對(duì)游戲核心體驗(yàn)有著至關(guān)重要的影響，一直都是《和平精英》團(tuán)隊(duì)最關(guān)注的功能。

2021年底，《和平精英》團(tuán)隊(duì)攜手騰訊AI Lab、CROS游戲語(yǔ)音GVoice團(tuán)隊(duì)一起正式立項(xiàng)GVoice AI Codec研發(fā)項(xiàng)目，基于騰訊音頻與語(yǔ)音處理Oteam在語(yǔ)音編解碼方向的技術(shù)積累，新項(xiàng)目著力實(shí)現(xiàn)高質(zhì)量、低碼率和低功耗的游戲內(nèi)實(shí)時(shí)語(yǔ)音環(huán)境。通過(guò)針對(duì)游戲場(chǎng)景進(jìn)行深度優(yōu)化，GVoice AI Codec在游戲場(chǎng)景下的語(yǔ)音處理算法比傳統(tǒng)即時(shí)通訊軟件有更加優(yōu)異的音質(zhì)表現(xiàn)，并且在弱網(wǎng)環(huán)境下，以低碼率保證了音質(zhì)表現(xiàn)不受損害，確保在移動(dòng)端得以應(yīng)用。

騰訊游戲語(yǔ)音GVoice是Tencent Games CROS為游戲打造的語(yǔ)音解決方案。資料顯示，目前GVoice服務(wù)已經(jīng)覆蓋全球超過(guò)200個(gè)國(guó)家和地區(qū)，日活躍用戶超3億，相關(guān)解決方案被應(yīng)用于《和平精英》《英雄聯(lián)盟手游》《天涯明月刀手游》等數(shù)千款游戲。GVoice AI Codec技術(shù)也將逐步拓展至其他游戲，提升語(yǔ)音交流流暢度，改善弱網(wǎng)環(huán)境下的用戶體驗(yàn)。

據(jù)了解，GVoice AI Codec 通過(guò)自研編解碼模型算法，傳輸帶寬實(shí)現(xiàn)了壓縮，并以 5-12kbps 的AI Codec替換了原來(lái)24kbps的Opus，用戶在主觀聽(tīng)覺(jué)上的體驗(yàn)沒(méi)有明顯差別。這意味著，GVoice AI Codec在保證音效質(zhì)量的同時(shí)，傳輸碼率更低，流量也更少。

在算力消耗方面，GVoice AI Codec需要將這一運(yùn)算復(fù)雜度與資源占用極高的編解碼方式，通過(guò)模型壓縮、量化、并行運(yùn)算、移動(dòng)端指令集適配等工程化措施，不斷降低運(yùn)算與資源開(kāi)銷，達(dá)到移動(dòng)端落地要求。數(shù)據(jù)顯示，GVoice AI Codec在手機(jī)OnePlus 3雙工通話下測(cè)試，相比Opus格式 CPU占用率資源增長(zhǎng)約為2.3%;在iPhone 6s下測(cè)試，采用GVoice AI Codec后CPU占用率增長(zhǎng)約1.3%。這表明，GVoice AI Codec用極低的CPU使用率增幅，換來(lái)了手機(jī)端更低流量的高質(zhì)量實(shí)時(shí)通話。

(左圖為原始語(yǔ)音，右圖為GVoice AI Codec 編解碼后語(yǔ)音，從波形上看右圖語(yǔ)音保真度高，主觀聽(tīng)感接近原始語(yǔ)音)

GVoice AI Codec技術(shù)在《和平精英》中應(yīng)用后，語(yǔ)音服務(wù)質(zhì)量整體得到了進(jìn)一步的提升。首先，通過(guò)對(duì)語(yǔ)音流量的優(yōu)化，GVoice AI Codec能夠極大的提升玩家在交通出行、戶外活動(dòng)等弱網(wǎng)環(huán)境下的語(yǔ)音流暢性，避免在激烈戰(zhàn)斗時(shí)出現(xiàn)卡麥、斷麥的情況。其次，GVoice AI Codec由于使用AI模型算法，相比傳統(tǒng)的語(yǔ)音算法在人聲傳輸方面會(huì)有所提升，在《和平精英》中玩家間的語(yǔ)音溝通效果會(huì)更加清晰，無(wú)論是戰(zhàn)術(shù)配合還是多人閑聊都有更佳的社交體驗(yàn)。項(xiàng)目組通過(guò)在不同嘈雜環(huán)境、多種游戲情景下進(jìn)行了多輪語(yǔ)音測(cè)試，結(jié)果顯示均獲得了更良好的玩家反饋。

從游戲發(fā)展的角度而言，GVoice AI Codec在《和平精英》上的成功落地，為更多游戲語(yǔ)音技術(shù)的研發(fā)成果落地打下了基礎(chǔ)，使得相關(guān)技術(shù)拓展至更多游戲成為可能。

無(wú)社交，不游戲。可以預(yù)見(jiàn)的是，隨著云游戲、VR/AR等更多游戲品類的萌發(fā)，GVoice AI Codec 技術(shù)也將在更多品類的游戲體驗(yàn)方面起到越來(lái)越大的作用，成為新的行業(yè)標(biāo)準(zhǔn)。