產(chǎn)品設(shè)計(jì)：內(nèi)容審核中臺(tái)

產(chǎn)品設(shè)計(jì)：內(nèi)容審核中臺(tái)編輯導(dǎo)語：每個(gè)產(chǎn)品設(shè)計(jì)完成后都需要進(jìn)行內(nèi)容審核，一些公司想要對(duì)自己生產(chǎn)的內(nèi)容進(jìn)行審核往往會(huì)選擇對(duì)接第三方產(chǎn)品進(jìn)行審核。這篇文章介紹了第三方審核產(chǎn)品功能、如何搭建審核中臺(tái)以及業(yè)務(wù)如何對(duì)接審核，一起來看看吧。市面上有很多非常成熟的內(nèi)容審核的云服務(wù)產(chǎn)品，比如阿里云、騰訊云服務(wù)等。一些非此領(lǐng)域的公司，如果要對(duì)本身產(chǎn)生的內(nèi)容進(jìn)行審核，往往會(huì)對(duì)接一些成熟的第三方產(chǎn)品。一、第三方審核產(chǎn)品功能簡(jiǎn)介市面上的審核媒資，主要是文本、圖片、音頻和視頻。1.相關(guān)技術(shù)簡(jiǎn)介（1）文本審核對(duì)于文本的處理主要是采用了NLP（自然語言處理）技術(shù)，將語句通過語法分析、情感分析、詞向量分析等技術(shù)進(jìn)行識(shí)別和歸類，再與平臺(tái)本身的素材庫進(jìn)行比對(duì)，返回匹配的結(jié)果。比如涉政內(nèi)容識(shí)別、廣告內(nèi)容識(shí)別、垃圾內(nèi)容識(shí)別等。（2）圖片審核圖片審核有兩種審核方式，一是通過圖片的MD5與素材庫中的MD5進(jìn)行比對(duì)從而獲得審核結(jié)果，二是通過CNN（卷積神經(jīng)網(wǎng)絡(luò)）技術(shù)進(jìn)行特征提取、各部分特征匯總以及產(chǎn)生分類器從而預(yù)測(cè)識(shí)別來進(jìn)行審核。(3)音頻審核音頻的處理，是先通過ASR(語音識(shí)別)將音頻經(jīng)過降噪、斷句處理成文字，然后再通過文本審核對(duì)其進(jìn)行處理。(4)視頻審核視頻審核實(shí)則是通過抽幀技術(shù)，對(duì)視頻進(jìn)行抽幀頻率的設(shè)定，然后對(duì)視頻中的圖片進(jìn)行圖片審核?；蛘邔?duì)視頻的MD5與素材庫已有的MD5進(jìn)行比對(duì)從而獲得審核結(jié)果。視頻中的音頻審核同上。2.第三方審核產(chǎn)品審核平臺(tái)往往會(huì)在簽約后提供對(duì)應(yīng)的后臺(tái)系統(tǒng)和API接口，包括如下的內(nèi)容：(1)后臺(tái)系統(tǒng)模版配置模塊：根據(jù)不同的審核規(guī)則，配置不同的審核模版。黑白名單：可以將審核平臺(tái)沒有檢測(cè)到的素材加入黑名單或者白名單進(jìn)行特殊處理。內(nèi)容模塊：對(duì)請(qǐng)求的內(nèi)容和結(jié)果進(jìn)行記錄和查詢。(2)API接口審核接口結(jié)果通知查詢接口公司接入第三方時(shí)，先在第三方后臺(tái)配置對(duì)應(yīng)的模版和審核規(guī)則，后續(xù)通過三方提供的API接口進(jìn)行審核的調(diào)用。以上就是第三方審核產(chǎn)品主要提供的服務(wù)。二、審核中臺(tái)的搭建審核公司的模版會(huì)提供接入文檔。仔細(xì)調(diào)研文檔，或者和第三方的產(chǎn)品或者技術(shù)支持對(duì)接審核流程，確定流程。比如云點(diǎn)播的視頻，需要先進(jìn)行視頻的上傳后，才能進(jìn)行對(duì)應(yīng)的審核，而且審核是以任務(wù)的形式進(jìn)行審核的。定型的規(guī)則，可以中臺(tái)系統(tǒng)進(jìn)行處理，如果基于業(yè)務(wù)規(guī)則不同，那么就講規(guī)則交由業(yè)務(wù)系統(tǒng)進(jìn)行處理。審核中臺(tái)的意義隨著公司業(yè)務(wù)高速發(fā)展，逐漸有很多內(nèi)容需要過審，又由于這些審核需求需求高度相似，重復(fù)的開發(fā)建設(shè)，導(dǎo)致復(fù)用性低、產(chǎn)研資源浪費(fèi)。于是產(chǎn)品化的提供一個(gè)審核中臺(tái)服務(wù)是非常有必要的。審核系統(tǒng)的搭建所謂大中臺(tái)小前臺(tái)。中臺(tái)作為業(yè)務(wù)服務(wù)的提供方，不需要過度依賴業(yè)務(wù)，而是需要不斷為新業(yè)務(wù)提供能力支持。所以主要考察的是產(chǎn)品的抽象整合能力。在調(diào)研了公司業(yè)務(wù)需求和第三方審核功能后，確定了整體的業(yè)務(wù)流：圖1：審核業(yè)務(wù)流程圖從審核中臺(tái)出發(fā)，搭建審核后臺(tái)系統(tǒng)，應(yīng)包括以下模塊圖2：系統(tǒng)模塊拆解圖（1）搭建審核后臺(tái)系統(tǒng)系統(tǒng)分為兩部分，一是配置模塊，二是內(nèi)容模塊。①配置模塊業(yè)務(wù)配置：針對(duì)每種接入的業(yè)務(wù)，需要進(jìn)行對(duì)應(yīng)的配置，比如業(yè)務(wù)本身審核的平臺(tái)規(guī)則，請(qǐng)求第三方審核的策略配置。還有審核員審核的時(shí)候領(lǐng)取規(guī)則的配置等。賬號(hào)角色配置：針對(duì)系統(tǒng)的操作人員，配置不同的角色范圍和業(yè)務(wù)范圍。比如某審核員只能審核業(yè)務(wù)ABC對(duì)應(yīng)的內(nèi)容，此處可以進(jìn)行配置。參數(shù)配置：系統(tǒng)產(chǎn)品規(guī)則的一些靈活配置項(xiàng)。②內(nèi)容模塊設(shè)計(jì)的時(shí)候是按照漏斗設(shè)計(jì)了兩個(gè)池子，一個(gè)是機(jī)審池，另一個(gè)是機(jī)審?fù)耆绻枰藢忂M(jìn)入人審的池子。盡管兩個(gè)數(shù)據(jù)池內(nèi)容有所差異，但具體的展示并無明顯差異。都包括：審核狀態(tài)：審核中、通過、駁回，具體根據(jù)公司業(yè)務(wù)來設(shè)計(jì)。駁審核依據(jù)：此處可以按照平臺(tái)規(guī)則進(jìn)行抽象出一套模版，如涉政，涉黃，涉暴等。也可以直接采用第三方結(jié)果進(jìn)行展示。操作：大致的操作包括領(lǐng)取，審核，釋放，可能還會(huì)涉及到分配。（2）數(shù)據(jù)報(bào)表數(shù)據(jù)報(bào)表部分主要是對(duì)審核內(nèi)容進(jìn)行統(tǒng)計(jì)，可以進(jìn)行后續(xù)的算法優(yōu)化或者人員審核效率的考量標(biāo)準(zhǔn)。以上就是基于第三方服務(wù)，公司內(nèi)部的審核中臺(tái)搭建的具體實(shí)例。三、業(yè)務(wù)如何對(duì)接審核拿做過的評(píng)論審核進(jìn)行舉例。我們公司的審核之前是沒有接入內(nèi)容審核的，都是審核員全部過一遍。后來由于量逐漸起來以后，業(yè)務(wù)方要求接入內(nèi)容審核。于是我在思考如何基于現(xiàn)有業(yè)務(wù)和內(nèi)容審核系統(tǒng)進(jìn)行融合，使現(xiàn)在的系統(tǒng)變化最小，同時(shí)完成業(yè)務(wù)方的審核要求。舉個(gè)簡(jiǎn)單的審核流程圖為例：圖3：評(píng)論審核流程圖總的來說，就是要：確定這個(gè)業(yè)務(wù)，是先發(fā)后審，還是先審后發(fā)?？紤]到用戶評(píng)論是個(gè)實(shí)時(shí)操作，所以做的是先發(fā)后審。是否需要進(jìn)行機(jī)審或者人審，審核策略是什么樣的。因業(yè)務(wù)團(tuán)隊(duì)要求，我們的評(píng)論機(jī)審過后，還需要進(jìn)入人審。如果N分鐘沒有拿到機(jī)審結(jié)果，評(píng)論按照機(jī)審?fù)ㄟ^進(jìn)行處理，后續(xù)進(jìn)行人審復(fù)審。當(dāng)拿到機(jī)審結(jié)果后，業(yè)務(wù)系統(tǒng)就可以對(duì)評(píng)論進(jìn)行操作了，比如說評(píng)論回復(fù)等。此處不再贅述業(yè)務(wù)系統(tǒng)對(duì)評(píng)論本身的操作功能。業(yè)務(wù)系統(tǒng)是否反復(fù)接