低畫素視訊轉成高清（畫素低的視訊如何修復成高清）

近日，計算機視覺領域內最負盛名的學術會議——IEEE國際計算機視覺與模式識別會議（CVPR）在美國加州舉行，會上頒發了Workshop NTIRE 2019視訊復原比賽相關獎項，由中國科學院深圳先進技術研究院、商湯科技、香港中文大學、南洋理工大學組成的聯合團隊研發的一套EDVR演算法，包攬了該比賽四個賽道的全部冠軍，且每個結果都大幅領先賽道第二名。

值得一提的是，這是該賽事舉辦以來首次以視訊復原作為競賽任務，而此前三屆比賽都僅以影象復原為主題，這意味著任務的難度達到了全新高度。“這是計算機視覺領域一次革命性的比賽，相信行業內很快將掀起一場視訊復原演算法的潮流。”聯合團隊成員、深圳先進院數字所多媒體整合技術研究中心的董超博士接受採訪時表示。

創新演算法解決兩大難題：模糊低清小視訊變高清

此次視訊復原比賽包含兩個視訊去模糊和兩個視訊超解析度賽道。所謂視訊去模糊，是將畫面模糊的視訊還原成清晰視訊，而視訊超解析度則是將低清的小視訊復原為高清的大視訊。“與影象復原相比，視訊復原有大量的時空冗餘資訊可利用。”董超說，“因此，清晰度能夠比單一影象復原更高，相應的難度也更大。”

在將EDVR演算法與目前行業內最好的影象超解析度演算法RCAN對同一視訊進行處理時，可明顯看到EDVR演算法能夠還原出更多細節，這是因為傳統影象演算法僅將視訊的每一幀進行了單一的影象復原，而EDVR演算法則連續用了7幀畫面的資訊來恢復一幀影象。

“視訊復原必須解決影象對齊和時空資訊融合兩大問題。”據董超介紹，視訊相鄰幀存在一定的抖動，必須先對齊才能進行下一步處理。多幀影象對齊後，便需要將挖掘出的時空資訊進行融合，EDVR演算法中發明的多個模組很好地解決了這兩大問題。“這兩個步驟是所有視訊底層處理的基礎，解決了這兩個問題再做視訊的去模糊和超解析度都可以。”董超表示，這也是為什麼團隊用一套演算法便拿下了四個賽道的原因。

開原始碼引領潮流 ：視訊演算法用途廣大

從比賽結果來看，共有14支隊伍進入最終的排名，聯合團隊的演算法在大部分資料集上精度指標都是最高的。近日，團隊已公佈所使用的演算法論文，並將程式碼全部開源。董超表示，將深度學習用於視訊復原是近兩年剛剛興起的新技術，技術難度大、門檻高，將程式碼開源是希望引領技術潮流，讓更多團隊進入該領域，共同發展計算機視覺技術。

談及視訊復原演算法的應用，董超十分看好市場前景。據他介紹，該演算法在視訊直播、高清電視、手機拍攝、視訊監控等領域均潛藏巨大的需求量。以視訊直播為例，董超介紹說：“視訊直播非常消耗流量，如果能把高清大視訊壓縮成低清小視訊來傳輸，到客戶端後再通過演算法恢復成高清大視訊，將節省成倍的流量。”

不過，董超也表示，儘管最新演算法達到了視訊復原的效果，但距離實際產業化應用尚有一系列技術難題需要解決，而開原始碼恰恰能加速這個過程，預計三五年內該領域會有大量論文湧現。

聯合團隊多年攻關深耕底層計算機視覺

不僅在視覺復原大賽中一騎絕塵，在同期舉辦的影象復原大賽中，聯合團隊論文同樣獲得冠軍。據介紹，利用深度學習解決影象超解析度問題，需要用到大量的訓練資料，一般情況下，至少200個以上的影象對才能保證影象的超解析度效果。而此次比賽僅提供60個影象對作為訓練資料，大大限制了超解析度的效果。團隊的論文首次分析並解決了超解析度網路中的過擬合問題，即便使用少量的影象資料，也可以獲得出色的結果。

這支在國際頂級計算機視覺大賽中脫穎而出的隊伍，由深圳先進技術研究院、商湯科技、香港中文大學和南洋理工大學組成，專注於底層計算機視覺，包括影象和視訊的超解析度、去噪與增強等技術。2014年團隊首次利用深度學習實現影象超解析度，引起了深度學習在底層視覺領域應用的熱潮。2017年，團隊獲得CVPR 2017影象超解析度的亞軍，2018年，團隊分別獲得CVPR18和ECCV18兩屆影象超解析度比賽單一賽道的冠軍。今年成績再創新高，也是聯合團隊多年深耕的結果。

今年1月，深圳先進院與商湯科技進一步合作，共同成立“未來視覺技術聯合實驗室”，據聯合實驗室負責人、數字所所長喬宇介紹，該實驗室將圍繞複雜視覺資訊的深度分析與理解方法，以及其它AI前沿技術研究、新產品開發、技術平臺建設、人才培養等多層面展開廣泛、深入合作，共同推進人工智慧技術在各行業領域的示範應用和產業化協同發展。

【記者】杜豔

【作者】 杜豔

【來源】 南方報業傳媒集團南方 客戶端