機器學(xué)習(xí)如何幫助Youtube實現(xiàn)高效轉(zhuǎn)碼?

　　作為世界上最大的視頻平臺，YouTube 每天都會新增來自世界各地的數(shù)百萬個視頻。這些視頻具有非常大的多樣性，對 YouTube 來說，要將這些不同的視頻和相關(guān)的音頻都轉(zhuǎn)換成人們可以接受的播放質(zhì)量是一個相當大的挑戰(zhàn)。此外，盡管谷歌的計算和存儲資源非常龐大，但也總歸是有限的， 要以上傳視頻的原格式存儲網(wǎng)絡(luò)視頻無疑會帶來顯著的額外成本。

　　為了提高網(wǎng)絡(luò)視頻的播放質(zhì)量，關(guān)鍵是要降低視頻和音頻的壓縮損失。增加比特率是一種方法，但同時那也需要更強大的網(wǎng)絡(luò)連接和更高的帶寬。而 YouTube 則選擇了另一種更聰明的做法：通過優(yōu)化視頻處理的參數(shù)使其在滿足最低視頻質(zhì)量標準的同時不會增加額外的比特率和計算周期。

　　要在視頻壓縮和轉(zhuǎn)碼時滿足視頻質(zhì)量、比特率和計算周期的要求，一般的做法是尋找對大量視頻(而非所有視頻)平均最優(yōu)的轉(zhuǎn)碼參數(shù)組合。這種最優(yōu)組合可以通過嘗試每種可能來尋找，直到找到最讓人滿意的結(jié)果。而最近，有一些公司甚至嘗試在每一段視頻上都使用這種“窮舉搜索”的方式來調(diào)整參數(shù)。

　　YouTube 通過在這一技術(shù)的基礎(chǔ)上引入機器學(xué)習(xí)而開發(fā)出了一種新的自動調(diào)整參數(shù)的方法。目前，這一技術(shù)已經(jīng)在提升 YouTube 和 Google Play視頻影片的質(zhì)量上得到了應(yīng)用。

　　并行處理的優(yōu)劣

　　據(jù) YouTube 的博客介紹，每分鐘都有 400 小時的視頻被上傳到 YouTube 上。而其中每個視頻都需要被不同的轉(zhuǎn)碼器轉(zhuǎn)碼成幾種不同的格式，以便可以在不同的設(shè)備上進行播放。為了提高轉(zhuǎn)碼速度，讓用戶更快看到視頻，YouTube 將上傳的每一個文件都切割成被稱為“數(shù)據(jù)塊(chunk)”的片段，然后再將其每一塊都獨立地在谷歌云計算基礎(chǔ)設(shè)施的 CPU 中同時進行并行處理。在這一過程中所涉及到分塊和重組是 YouTube 的視頻轉(zhuǎn)碼中的一大難題。而除了重組轉(zhuǎn)碼后數(shù)據(jù)塊的機制，保持每一段轉(zhuǎn)碼后的視頻的質(zhì)量也是一個挑戰(zhàn)。這是因為為了盡可能快地處理，這些數(shù)據(jù)塊之間不會有重疊，而且它們會被切割得非常小——每段只有幾秒鐘。所以并行處理有提升速度和降低延遲的優(yōu)勢，但它也有劣勢：缺失了前后臨近視頻塊的信息，也因此難以保證每個視頻塊在被處理后都具有看上去相同的質(zhì)量。小數(shù)據(jù)塊不會給編碼器太多時間使其進入一個穩(wěn)定的狀態(tài)，所以每一個編碼器在處理每一個數(shù)據(jù)塊上都略有不同。

　　智能并行處理

　　為了得到穩(wěn)定的質(zhì)量，可以在編碼器之間溝通同一視頻中不同分塊的信息，這樣每一個編碼器都可以根據(jù)其處理塊的前后塊進行調(diào)整。但這樣做會導(dǎo)致進程間通信的增加，從而提高整個系統(tǒng)的復(fù)雜度，并在每一個數(shù)據(jù)塊的處理中都要求額外的迭代。

　　但“其實，事實上我們在工程方面都很固執(zhí)，我們想知道我們能將‘不要讓數(shù)據(jù)塊彼此通信’的想法推進多遠。”YouTube 博客說。

　　下面的曲線圖展示了來自一段使用 H.264 作為編解碼器的 720p 視頻的兩個數(shù)據(jù)塊的峰值信噪比(PSNR，單位：dB每幀)。PSNR值越高，意味著圖片(視頻每幀)的質(zhì)量越高;反之則圖片質(zhì)量越低。可以看到每段視頻開始時的質(zhì)量非常不同于結(jié)束時的質(zhì)量。這不僅在平均質(zhì)量上沒有達到我們的要求，這樣劇烈的質(zhì)量變化也會導(dǎo)致惱人的搏動偽影(pulsing artifact)。

　　因為數(shù)據(jù)塊很小，還要讓每一塊的行為都與其前后塊的行為類似;所以研究人員需要在連續(xù)數(shù)據(jù)塊的編碼處理上保持一個大致相同的結(jié)果。盡管這在大部分情況下適用，但卻不適用于本例。一個直接的解決辦法是改變數(shù)據(jù)塊的邊界使其與高活動的視頻行為保持一致，例如快速運動或場景剪切。但這樣做就能讓保證數(shù)據(jù)塊的相對質(zhì)量并使編碼后的結(jié)果更均勻嗎。事實證明這確實能有所改善，但并不能達到我們期望的程度，不穩(wěn)定性仍經(jīng)常存在。

　　關(guān)鍵是要讓編碼器多次處理每一個數(shù)據(jù)塊，并從每一次迭代中學(xué)習(xí)怎么調(diào)整其參數(shù)以為整個數(shù)據(jù)塊中將發(fā)生的事做好準備，而非僅其中的一小部分。這將導(dǎo)致每一個數(shù)據(jù)塊的開端和結(jié)束擁有相似的質(zhì)量，而且因為數(shù)據(jù)塊很短，所以總體上不同數(shù)據(jù)塊之間的差異也減少了。但即便如此，要實現(xiàn)這樣的目標，就需要很多次的重復(fù)迭代。研究人員觀察到，重復(fù)迭代的次數(shù)會受到編碼器在第一次迭代上的量化相關(guān)參數(shù)(CRF)的很大影響。更妙的是，往往存在一個“最好的”CRF 可以在保持期望質(zhì)量的同時只用一次迭代就能達到目標比特率。但這個“最好的”卻會隨著每段視頻的變化而變化——這就是棘手的地方。所以只要能找到每段視頻的最好配置，就能得到一個生成期望編碼視頻的簡單方法。

　　上圖展示了 YouTube 的研究人員在同一段 1080p 視頻片段上使用他們的編碼器實驗不同的 CRF 所得到的比特率結(jié)果(編碼后的視頻質(zhì)量恒定)?？梢钥闯?，CRF 和比特率之間存在一個明顯的函數(shù)關(guān)系。事實上這是對使用三個參數(shù)的指數(shù)擬合的非常好的建模，而且該圖也表明建模線(藍線)與實際觀察到的數(shù)據(jù)(點)擬合得非常好。如果我們知道該線的參數(shù)，然后我們想得到一個我們的視頻片段的 5 Mbps 版本，那么我們所需的 CRF 大約為 20.

　　大腦

　　那么接下來需要的就是一種能夠通過對視頻片段的低復(fù)雜度的測量預(yù)測三個曲線擬合參數(shù)的方式。這是機器學(xué)習(xí)、統(tǒng)計學(xué)和信號處理中的經(jīng)典問題。YouTube 研究人員已將其相關(guān)的數(shù)學(xué)細節(jié)發(fā)表在他們的論文中(見文末1，其中還包括研究人員想法的演化歷程)。而簡單總結(jié)來說：通過已知的關(guān)于輸入視頻片段的信息預(yù)測三個參數(shù)，并從中讀出我們所需的 CRF。其中的預(yù)測階段就是“谷歌大腦(Google Brain)”的用武之地。

　　前面提到的“關(guān)于輸入視頻片段的信息”被稱為視頻的“特征(features)”。在 YouTube 研究人員的定義中，這些特征(包括輸入比特率、輸入文件中的運動矢量位、視頻分辨率和幀速率)構(gòu)成了一個特征向量。對這些特征的測量也包括來自輸入視頻片段的非?？焖俚牡唾|(zhì)量轉(zhuǎn)碼(能提供更豐富的信息)。但是，每個視頻片段的特征和曲線參數(shù)之間的確切關(guān)系實際上非常復(fù)雜，不是一個簡單的方程就能表示的。所以聰明的研究人員并不打算自己來發(fā)現(xiàn)這些特征，他們轉(zhuǎn)而尋求谷歌大腦的機器學(xué)習(xí)的幫助。研究人員首先選擇了 10000 段視頻，并對其中每一段視頻的每一個質(zhì)量設(shè)置都進行了嚴格的測試，并測量了每一種設(shè)置的結(jié)果比特率。然后研究人員得到了 10000 條曲線，通過測量這些曲線研究人員又得到了 4×10000 個參數(shù)。

　　有了這些參數(shù)，就可以從視頻片段中提取特征了。通過這些訓(xùn)練數(shù)據(jù)和特征集合，YouTube 的機器學(xué)習(xí)系統(tǒng)學(xué)到了一個可以預(yù)測特征的參數(shù)的“大腦(Brain)”配置?！皩嶋H上我們在使用大腦的同時也使用一種簡單的‘回歸(regression)’技術(shù)。這兩者都優(yōu)于我們現(xiàn)有的策略。盡管訓(xùn)練大腦的過程需要相對較多的計算，但得到的系統(tǒng)實際上相當簡單且只需要在我們的特征上的一點操作。那意味著生產(chǎn)過程中的計算負載很小。”

　　這種方法有效嗎?

　　上圖展示了在 10000 個視頻片段上的各個系統(tǒng)的性能。其中每一個點(x,y)代表了壓縮后的結(jié)果視頻的比特率為原視頻的比特率的 x% 時的質(zhì)量百分比(y 軸)。其中的藍線表示在每一個視頻片段上都使用窮舉搜索獲取完美的 CRF 所得到的最好的情況。任何接近它的系統(tǒng)都是好系統(tǒng)。可以看到，在比特率為 20% 時，舊系統(tǒng)(綠線)的結(jié)果視頻質(zhì)量只有 15 %. 而使用了大腦系統(tǒng)之后，如果僅使用你所上傳的視頻的特征，質(zhì)量可以達到 65%;如果還使用一些來自非?？焖俚唾|(zhì)量轉(zhuǎn)碼的特征，更是能超過 80%(虛線)。

　　但是，實際上看起來如何?你可能已經(jīng)注意到比起畫質(zhì)，YouTube 研究人員似乎更關(guān)注比特率。因為“我們對這個問題分析表明這才是根本原因 ”。畫質(zhì)只有真正被看到眼里時我們才知道好不好。下面展示了來自一段 720p 視頻的一些幀(從一輛賽車上拍攝)。上一列的兩幀來自一個典型數(shù)據(jù)塊的開始和結(jié)尾，可以看到第一幀的質(zhì)量遠差于最后一幀。下一列的兩幀來自上述的新型自動剪輯適應(yīng)系統(tǒng)處理后的同一個數(shù)據(jù)塊。兩個結(jié)果視頻的比特率為相同的 2.8 Mbps?？梢钥吹?，第一幀的質(zhì)量已有了顯著的提升，最后一幀看起來也更好了。所以質(zhì)量上的暫時波動消失了，片段的整體質(zhì)量也得到了提升。

　　據(jù)悉，這一概念在 YouTube 視頻基礎(chǔ)設(shè)施部分的生產(chǎn)中已被使用了大約一年時間。YouTube的博客寫道：“我們很高興地報告：它已經(jīng)幫助我們?yōu)椤短┨鼓峥颂枴泛妥罱摹?07：幽靈黨》這樣的電影提供了非常好的視頻傳輸流。我們不期望任何人注意到這一點，因為他們不知道它看起來還能是什么樣?！?/p>

　　參考文獻：

　　Optimizing transcoder quality targets using a neural network with an embedded bitrate model, Michele Covell, Martin Arjovsky, Yao-Chung Lin and Anil Kokaram, Proceedings of the Conference on Visual Information Processing and Communications 2016, San Francisco

　　Multipass Encoding for reducing pulsing artefacts in cloud based video transcoding, Yao-Chung Lin, Anil Kokaram and Hugh Denman, IEEE International Conference on Image Processing, pp 907-911, Quebec 2015