網路短視訊內容稽覈標準細則（視訊稽覈哪些是違規的）

2023-09-11 17:44:49

短視訊需要防止色情低俗內容，如何設計人工稽覈功能？作者從這一考題出發，從多個方面對這個問題進行了分析解答。

前言：這是和網友的一個即興考核題，以下的內容僅代表個人觀點，內容可能會有措辭不正確，觀點不切實際，考慮不周的情況出現，希望大家不吝賜教，抱拳。

注：考察側重點是功能的設計而不是如何對內容做識別。

思考：防止色情低俗視訊出現汙染視聽，提高視訊稽覈效率減少人工成本。

綜合起來我們需要有敏感詞監控機制、任務分配機制、視訊評分機制、釋出者評分機制、員工考核機制以及人工智慧識別機制。

01 敏感詞監控機制

敏感詞監控機制不僅對釋出的內容有監控對評論也有監控，反正就是隻要你在這個App說的每句話我都監控一遍，不同的是內容監控到敏感詞直接拒絕傳送，評論區監控到敏感詞達到一定複審要求需要對視訊複審，並記錄敏感評論的使用者到“嫌疑人關押處”。

怎麼知道哪些是敏感詞呢，首先要有一個敏感詞庫，庫中的詞從哪裡來呢，一個是滿大街都知道的敏感詞先導進去，一個是從封號或低分內容和評論中不斷獲取還有就是和友商資料共享尤其是做閱讀類的友商（也不知道行的通不）。

視訊每日都在產出，內容五花八門，如何稽覈這些視訊，怎麼分配?

這就需要一個任務分配機制，按量或地區分配視訊。考慮到視訊的每時每刻都在產生，這就需要任務分配機制有個定時器，視訊積累到某個量或者隔某段時間就自動分配任務給人工稽覈，人工優先稽覈傳送時間較早的視訊。

人工也有各種突發情況比如離職、生病請假導致任務無法完成這怎麼辦，視訊不能不審吶，這就需要一個任務再分配轉入轉出的功能來保證當天視訊儘量當天稽覈。

任務分配完了需要稽覈視訊，這時視訊評分機制就開始作用。視訊評分機制分兩種，一種是連續被評為優秀視訊釋出者釋出的視訊系統自動通過稽覈。

這個優秀的標準可以是極其嚴苛的，比如毫無汙點且達到某種數目的點贊、評論和關注才可以評級優，也可以是釋出的內容和評論、點讚的內容只要沒有汙點即可評優。這麼做的主要目的是提高進審效率，因為人工是真的比較慢。

第二種就是人工評分機制，評分標準暫時分為低俗、色情、正常。低俗色情的直接刪除反饋給釋出者，同時記錄下使用者資料、操作者、原因和時間做到每個稽覈都跡可尋，同時也可用於統計該App中發什麼型別的視訊比較多，用於年度總結反思用。

對於人工來說每日都在稽覈大量視訊，百密總有一疏，漏網之魚也不少，如何在事情沒有傳播開來就扼殺掉，這就需要舉報機制。泱泱大國總是不乏正義之士的，舉報機制分等級，等級高的直接百里加急件送給人工複審，等級低的都是小打小鬧，市場最常用的手段是系統自動限流可以參考使用，當然還有其他的。

舉報的等級可按舉報數量、舉報時選擇的舉報原因等級或者兩個結合使用。

釋出者評分機制的依據包括髮布的內容和評論或者瀏覽記錄，總結起來就是他在此App的一言一行。

對於釋出的內容可根據其每年、每季度、每月、每週釋出視訊的評分標籤給出得分，色情低俗達到某值說明是慣犯就直接封號處理，首犯不嚴重或者還沒到達某值就統統丟到“嫌疑人關押處”，此處的人只有兩種結果要麼繼續作惡封號要麼改過自新慢慢脫離嫌疑釋放出來。

評論也是內容輸出的一個入口，在法治社會人人說話都要付出代價，評論舉報隨處可見，被舉報次數多，慣於妖言惑眾日的就直接封號處理，偶爾評論言辭激烈次數達某值或者被舉報次數還不是很嚴重就放到“嫌疑人關押處”，日後哪天發個視訊也能及時稽覈評分。

總是會有一些人只看不說話，看視訊就圖個樂子。這時瀏覽記錄就比較重要了，他瀏覽的創作者評分是多少，瀏覽的內容有哪些，這種使用者只需要保持瀏覽記錄不出問題就可以了。

“嫌疑人關押處”的主要作用是在“嫌疑人”後續釋出的視訊在人工稽覈時有標籤且置頂顯示用於提醒人工稽覈該人時需要注意。畢竟有些視訊萬一發出去不及時處理影響的不只一點點，App的命運搞不好就此發生大轉折。

員工考核機制的主要目的就是為了防止員工懈怠，稽覈不嚴格以及作為優秀員工的獎勵標準之一。

機制主要分三個方面（暫且就想到這三個）：

一個是日完成比例，一天中稽覈完的視訊有多少，還剩下多少；

二是稽覈通過率，稽覈同過率高為啥子呢，稽覈通過率低又為啥子呢，不高不低就是在摸魚麼？

三是平均單位視訊稽覈時長，是高於平均值還是低於平均值。高於平均值到底是因為懈怠需要請他喝杯茶還是因為新手起步慢需要舊帶新或者員工培訓。低於平均值是因為敷衍了事還是技術純熟的得心應手。

以上這些都是要算在考核之內的。

稽覈通過率這個怎麼說，有可能有標準但是需要行業通過資料分析出來。或者就沒有，那只有異常資料才能作為參照標準。還有平均單位視訊稽覈時長這個資料也是需要系統大量計算人工稽覈速度才能計算出來的，不能紙上談兵亂說一通。

這個識別主要是對視訊做第一層評判，不堪入目的內容就通過人工智慧視訊解析直接pass不通過並在釋出者評分機制中留下軌跡。

這個人工識別機制只能是粗略的篩選不能作為主要的篩選工具。實在不行我覺得去掉也可以，也不知道視訊解析有沒有達到這個技術，之前看新聞某視訊播放軟體的標點師說，kiss鏡頭現在的技術還捕捉無法完全找到，只能人工標點，希望人工智慧可以解決。最重要的一點是不知道價位。

以上就是我對“短視訊為防止色情低俗需要一個人工稽覈功能，如何設計”這個問題的一些個人理解和看法。

本文由 @一一得一原創釋出於人人都是產品經理，未經作者許可，禁止轉載。

題圖來自Unsplash，基於CC0協議。