2023年B端通用批量數(shù)據(jù)導(dǎo)入方案設(shè)計

B端通用批量數(shù)據(jù)導(dǎo)入方案設(shè)計B端產(chǎn)品常常遇到大量數(shù)據(jù)錄入的需求，如春季聘請完成后，給新招的120個員工建立員工檔案，并創(chuàng)建員工帳號。假如逐條將大量的數(shù)據(jù)錄入系統(tǒng)，將花費(fèi)用戶不少的時間。

新員工的員工信息通常會填寫在一個excel表格中，人力在匯總后，錄入系統(tǒng)。

假如逐個錄入，每創(chuàng)建一個員工的員工檔案，有以下幾個步驟：

打開創(chuàng)建員工檔案的表單頁對比著員工信息，在表單中輸入員工姓名、手機(jī)號、身份證號······保存數(shù)據(jù)打開新的表單頁，重復(fù)以上操作。假如錄入1個員工需要1分鐘，那120個員工，就需要花費(fèi)2個小時。

與此同時，用戶在大量地、重復(fù)做同樣的操作時，犯錯的概率也會增加，導(dǎo)致錄入的數(shù)據(jù)可能消失問題，如將張三的身份證號，錯誤地粘貼到了李四的員工檔案中，或者填寫到其他的字段中。

在批量數(shù)據(jù)錄入場景下，數(shù)據(jù)導(dǎo)入功能，用戶可以將正確的原始數(shù)據(jù)整理到表格中，快速導(dǎo)入到數(shù)據(jù)庫，有效解決“逐條數(shù)據(jù)錄入效率低下”和“操作失誤導(dǎo)致數(shù)據(jù)錯誤”問題。

1.如何設(shè)計批量數(shù)據(jù)導(dǎo)入功能

用戶在批量導(dǎo)入數(shù)據(jù)前，需要先將要錄入系統(tǒng)的數(shù)據(jù)，整理成導(dǎo)入文件。再將導(dǎo)入文件上傳到系統(tǒng)中，系統(tǒng)完成數(shù)據(jù)校驗(yàn)后，再將導(dǎo)入文件中的數(shù)據(jù)，寫入數(shù)據(jù)庫。

從這個流程可以得出，批量數(shù)據(jù)導(dǎo)入功能的核心點(diǎn)有：合理設(shè)計導(dǎo)入模版、明確數(shù)據(jù)校驗(yàn)規(guī)章、異步導(dǎo)入數(shù)據(jù)、導(dǎo)入結(jié)果處理。

1.1合理設(shè)計導(dǎo)入模版

由于excel具備強(qiáng)大的批量數(shù)據(jù)處理力量和便捷的操作體驗(yàn)，用excel整理導(dǎo)入文件是最合適的方式。

但用戶自己并不清晰導(dǎo)入數(shù)據(jù)要如何整理導(dǎo)入文件中，因此我們需要設(shè)計一個導(dǎo)入模版，按業(yè)務(wù)數(shù)據(jù)表的格式要求，對要導(dǎo)入的數(shù)據(jù)進(jìn)行格式規(guī)范，確保要導(dǎo)入的數(shù)據(jù)合法。

員工信息表中“性別”字段的要求是：必填、枚舉類型（男、女），若導(dǎo)入表格中對應(yīng)列的值消失了空值或“不詳”，則數(shù)據(jù)非法。導(dǎo)入非法的數(shù)據(jù)，就會導(dǎo)致業(yè)務(wù)數(shù)據(jù)消失錯誤。

在設(shè)計導(dǎo)入模版時，要依據(jù)業(yè)務(wù)的實(shí)際狀況，梳理出全部的字段，確定每個字段的格式要求，并給出對應(yīng)的提示信息。詳細(xì)要求如下：

明確字段格式：關(guān)鍵字段都要有明確的要求，以引導(dǎo)用戶精確?????整理導(dǎo)入文件。如手機(jī)號字段必需是11位數(shù)字，性別必需是男、女中的一個值；精確到最小顆粒：導(dǎo)入模版中的每一列，都要精確到最小顆粒，盡量不要將多個字段混在一列中，否則在校驗(yàn)數(shù)據(jù)時，必需要先拆分單元格的內(nèi)容，才能對單個數(shù)據(jù)值進(jìn)行校驗(yàn)，增加數(shù)據(jù)校驗(yàn)的簡單度。如省、市、區(qū)應(yīng)當(dāng)分3列，而不是一列導(dǎo)入；在表格中給出填寫規(guī)范提示信息，以削減用戶填寫錯誤的概率。

在導(dǎo)入數(shù)據(jù)前，要引導(dǎo)用戶下載導(dǎo)入模版，并按模版中的格式要求，整理好需要錄入系統(tǒng)的數(shù)據(jù)。

1.2明確數(shù)據(jù)校驗(yàn)規(guī)章

1.2.1導(dǎo)入文件格式校驗(yàn)

數(shù)據(jù)校驗(yàn)的第一步，是校驗(yàn)導(dǎo)入文件的格式是否正確。假如導(dǎo)入文件格式只支持excel，而用戶上傳了pdf格式的文件，那導(dǎo)入肯定無法完成。

1.2.2導(dǎo)入文件表頭校驗(yàn)

格式校驗(yàn)沒問題后，再校驗(yàn)導(dǎo)入文件表頭是否與數(shù)據(jù)表中，需要導(dǎo)入的字段是否匹配。

表頭校驗(yàn)的方法是：將導(dǎo)入文件的表頭每個字段與數(shù)據(jù)表需要導(dǎo)入的字段逐一比對，檢查同一序號對應(yīng)列的字段名是否全都。

只有導(dǎo)入文件全部字段序號和字段名與數(shù)據(jù)表完全全都時，導(dǎo)入文件表頭校驗(yàn)才匹配。

導(dǎo)入文件中第一列是“手機(jī)號”，但數(shù)據(jù)表第一列是“姓名”，即為不匹配；導(dǎo)入文件中第一列是“手機(jī)號”，數(shù)據(jù)表第一列是“手機(jī)號碼”，也是不匹配。數(shù)據(jù)導(dǎo)入時，系統(tǒng)會根據(jù)字段名進(jìn)行匹配，將導(dǎo)入文件中的數(shù)據(jù)，寫入數(shù)據(jù)表中對應(yīng)位置的、同名的字段中。

若不匹配，在數(shù)據(jù)導(dǎo)入時，導(dǎo)入文件中的數(shù)據(jù)無法找到對應(yīng)的數(shù)據(jù)表字段，從而無法導(dǎo)入。

1.2.3導(dǎo)入文件字段值校驗(yàn)

表頭校驗(yàn)正常后，再對導(dǎo)入文件中詳細(xì)的字段值做校驗(yàn)，確認(rèn)其是否合法。

假如不對字段值進(jìn)行合法性校驗(yàn)，直接導(dǎo)入到數(shù)據(jù)表中，就有可能導(dǎo)致業(yè)務(wù)數(shù)據(jù)錯誤，甚至引發(fā)嚴(yán)峻事故。

導(dǎo)入文件中“嘉獎積分”列的值，原來應(yīng)當(dāng)填寫嘉獎的積分?jǐn)?shù)量，但被錯誤地填入了用戶手機(jī)號，結(jié)果導(dǎo)致每個用戶發(fā)放了100多億個積分。

字段值校驗(yàn)的方法是：依據(jù)數(shù)據(jù)表對各個字段值的格式定義，逐個檢查導(dǎo)入文件中的對應(yīng)字段的值是否合法。

字段值校驗(yàn)可能會遇到以下不合法的狀況：

基本要求不滿意：導(dǎo)入模版中有要求值的字符類型、字符長度、業(yè)務(wù)規(guī)章限制，但導(dǎo)入文件就中的值不滿意。若強(qiáng)行導(dǎo)入，會導(dǎo)致數(shù)據(jù)錯誤。如導(dǎo)入模版要求是11位數(shù)字，導(dǎo)入文件的值是中英文的字符；找不到匹配的值：導(dǎo)入文件中的部分字段的值，要求在已有數(shù)據(jù)表中存在，但數(shù)據(jù)表中查不到。若強(qiáng)行導(dǎo)入，會導(dǎo)致該數(shù)據(jù)找不到對應(yīng)的歸屬主體。如導(dǎo)入文件中“用戶ID”的值，在用戶表中找不到；與其他字段的值不匹配：某幾個字段的值之間有聯(lián)動關(guān)系，但導(dǎo)入文件中的值聯(lián)動關(guān)系錯誤。若強(qiáng)行導(dǎo)入，會導(dǎo)致對應(yīng)數(shù)據(jù)錯亂。如導(dǎo)入文件有員工籍貫所在地，分省、市、區(qū)3列，若省的值為廣東，則該條數(shù)據(jù)中，市的值必需是廣東省的地級市，不允許消失了其他省的市。數(shù)據(jù)校驗(yàn)完成后，依據(jù)數(shù)據(jù)校驗(yàn)結(jié)果，打算是否導(dǎo)入數(shù)據(jù)，或?qū)肽男┬械臄?shù)據(jù)。對于全部列的值都合法的數(shù)據(jù)行，可以直接導(dǎo)入；而數(shù)據(jù)行的任意一列的值不合法，則該行數(shù)據(jù)無法導(dǎo)入。

1.3使用異步方式，快速導(dǎo)入正確數(shù)據(jù)

在批量錄入數(shù)據(jù)的場景下，用戶的核心需求是：快速將數(shù)據(jù)錄入系統(tǒng)。產(chǎn)品方案應(yīng)當(dāng)要圍繞該核心需求來設(shè)計。

1.3.1字段值完全正確的數(shù)據(jù)行，可以直接導(dǎo)入

在執(zhí)行數(shù)據(jù)導(dǎo)入前，我們有必要先確定導(dǎo)入文件中，每一行的數(shù)據(jù)都完全正確嗎？

其實(shí)并不需要。

用戶在整理導(dǎo)入文件時，難免會出一些小錯誤。比如導(dǎo)入文件有100行數(shù)據(jù)，某1行數(shù)據(jù)的某個值錯誤，但剩下的99行數(shù)據(jù)的值都是正確的。

假如要求全部數(shù)據(jù)都完全正確，才能被導(dǎo)入，那就會導(dǎo)致完全正確的大部分?jǐn)?shù)據(jù)，不能更“準(zhǔn)時”地錄入系統(tǒng)中，必需要將其中極少數(shù)錯誤的數(shù)據(jù)修正后，重新檢驗(yàn)數(shù)據(jù)，再嘗試導(dǎo)入。

更高效的做法是：導(dǎo)入文件中，字段值完全正確的數(shù)據(jù)行，可以直接導(dǎo)入，而錯誤的部分?jǐn)?shù)據(jù)行，供應(yīng)下載功能，讓用戶修改后，重新導(dǎo)入。

1.3.2掩蓋更新已有數(shù)據(jù)

在系統(tǒng)導(dǎo)入過程中，若某條數(shù)據(jù)在系統(tǒng)中已經(jīng)存在，而導(dǎo)入文件也包含了該條數(shù)據(jù)，此時應(yīng)當(dāng)如何處理？

在產(chǎn)品的角度看，通常有三種處理方式：

不允許導(dǎo)入。若用戶需要更新該條數(shù)據(jù)，就需要先刪除已有數(shù)據(jù)再重新導(dǎo)入，或到系統(tǒng)中修改；詢問用戶是否要掩蓋已有數(shù)據(jù)。系統(tǒng)要找出已存在的數(shù)據(jù)，標(biāo)記兩者之間的差異，用戶選擇是否要更新后，自動執(zhí)行；直接掩蓋已有數(shù)據(jù)。用戶無需做任何處理。很明顯，第3種處理方式的用戶操作成本及研發(fā)成本都是更低的。

導(dǎo)入5月份的考試成果時，通過學(xué)號查詢，發(fā)覺張三的成果已經(jīng)導(dǎo)入過了。此時將依據(jù)導(dǎo)入數(shù)據(jù)，更新張三的成果。

采納這種方式，默認(rèn)了需要導(dǎo)入的數(shù)據(jù)，比系統(tǒng)中已存在的數(shù)據(jù)更準(zhǔn)時、更精確?????。因此我們必需要用戶：若檢測到導(dǎo)入數(shù)據(jù)在數(shù)據(jù)表中已存在，則更新該條數(shù)據(jù)。

1.3.3系統(tǒng)異步處理

假如需要導(dǎo)入的數(shù)據(jù)量大，且系統(tǒng)性能不足，系統(tǒng)就要花費(fèi)較長的時間來處理。

在等待系統(tǒng)處理完成期間，用戶想關(guān)掉導(dǎo)入頁面，去做其他操作，怎么辦？

從研發(fā)的角度看，系統(tǒng)處理數(shù)據(jù)，通常有同步和異步兩種方式。

同步：指發(fā)起懇求后，后端必需馬上響應(yīng)，處理完成時返回結(jié)果。異步：指發(fā)起懇求后，后端會先接收懇求，并在“自己”便利的時候進(jìn)行處理，處理完成后，再返回結(jié)果。假如使用同步方式，就會導(dǎo)致用戶等待時間過長，甚至最終可能由于超時而導(dǎo)入失敗，給用戶帶來極大的負(fù)面感受。

而使用異步方式導(dǎo)入，用戶上傳文件后，即可關(guān)閉導(dǎo)入窗口，放心地去做其他操作，且不會應(yīng)超時而導(dǎo)入失敗。

異步導(dǎo)入，既避開用戶鋪張時間等待，又降低了導(dǎo)入失敗的概率，用戶體驗(yàn)明顯更好。

1.4顯示導(dǎo)入結(jié)果，引導(dǎo)下載導(dǎo)入失敗數(shù)據(jù)

數(shù)據(jù)導(dǎo)入完成后，需顯示導(dǎo)入結(jié)果，告知用戶導(dǎo)入勝利了多少、失敗了多少。

對于導(dǎo)入失敗的數(shù)據(jù)，供應(yīng)下載導(dǎo)入失敗數(shù)據(jù)的入口，并在導(dǎo)出文件中標(biāo)記出不正確的值。這樣，用戶可以在修正后，重新導(dǎo)入。

2.批量導(dǎo)入方案的優(yōu)點(diǎn)

上文描述的批量導(dǎo)入方案，不僅能滿意用戶批量錄入數(shù)據(jù)的需求，還能低成本地復(fù)用到其他功能模塊。

使用異步的方式來導(dǎo)入，用戶將導(dǎo)入文件上傳到系統(tǒng)后，即可放心地去做別的工作，數(shù)據(jù)導(dǎo)入完成后，再來查看導(dǎo)入結(jié)果。大幅度提升了數(shù)據(jù)錄入效率。

當(dāng)另一個功能模塊也需要用到數(shù)據(jù)導(dǎo)入功能時，只需要修改導(dǎo)入模版和字段值校驗(yàn)規(guī)章，即完成產(chǎn)品方案設(shè)計和開發(fā)。有效提升了產(chǎn)品方案輸出和功能開發(fā)的效率，降低人力成本。

3.總結(jié)

批量數(shù)據(jù)導(dǎo)入能快速將數(shù)據(jù)錄入系統(tǒng)，降低