大數(shù)據(jù)架構(gòu)和模式(五)對(duì)大數(shù)據(jù)問題應(yīng)用解決方案模式并選擇實(shí)現(xiàn)它的產(chǎn)品

1、大數(shù)據(jù)架構(gòu)和模式（五）對(duì)大數(shù)據(jù)問題應(yīng)用解決方案模式并選擇實(shí)現(xiàn)它的產(chǎn)品摘要：本文使用了一個(gè)基于場(chǎng)景的方法，概述了可能有助于定義大數(shù)據(jù)解決方案的解決方案模式。每個(gè)場(chǎng)景都從一個(gè)業(yè)務(wù)問題開始，并說明為什么需要大數(shù)據(jù)解決方案。本文會(huì)將一個(gè)具體的解決方案模式（由原子模式和復(fù)合模式組成）應(yīng)用到業(yè)務(wù)場(chǎng)景。這個(gè)逐步分析的方法有助于用戶確定解決方案所需的組件。在文章的末尾，提供了一些建議使用的典型產(chǎn)品和工具。簡(jiǎn)介本系列的 第 3 部分 描述了針對(duì)最常見的、經(jīng)常發(fā)生的大數(shù)據(jù)問題及其解決方案的原子模式和復(fù)合模式。本文將推薦可以用于架構(gòu)大數(shù)據(jù)解決方案的三個(gè)解決方案模式。每個(gè)解決方案模式都使用了一個(gè)復(fù)合模式，該模式由邏輯

2、組件構(gòu)成（參見第 3 部分的介紹）。在本文末尾處，列出了產(chǎn)品和工具清單，它們可映射到每一個(gè)解決方案模式的組件。解決方案模式以下各節(jié)將介紹可以用于架構(gòu)大數(shù)據(jù)解決方案的三個(gè)解決方案模式。為了說明這些模式，我們將它們應(yīng)用到特定的用例（例如，如何檢測(cè)醫(yī)療保險(xiǎn)欺詐），但這些模式可以用于解決其他許多業(yè)務(wù)場(chǎng)景。每個(gè)解決方案模式都利用了一個(gè)復(fù)合模式的優(yōu)勢(shì)。在下表中，列出了本文介紹的解決方案模式，以及作為其基礎(chǔ)的復(fù)合模式。表 1. 每個(gè)解決方案模式所使用的復(fù)合模式解決方案模式復(fù)合模式入門存儲(chǔ)和探索獲得高級(jí)業(yè)務(wù)洞察專用和預(yù)測(cè)分析采取下一個(gè)最佳行動(dòng)可操作的分析 用例描述：保險(xiǎn)欺詐財(cái)務(wù)欺詐對(duì)金融業(yè)的所有領(lǐng)域

3、都帶來了巨大的風(fēng)險(xiǎn)。在美國(guó)，保險(xiǎn)公司每年要損失數(shù)十億美元。在印度，僅僅是 2011 年的虧損總額就達(dá)到 3000 億印度盧比。除了經(jīng)濟(jì)損失，保險(xiǎn)公司還會(huì)失去一些業(yè)務(wù)，因?yàn)榭蛻舾械讲粷M意。雖然許多保險(xiǎn)監(jiān)管機(jī)構(gòu)已經(jīng)定義了框架和流程來控制欺詐行為，但他們往往只是對(duì)欺詐做出反應(yīng)，而不是采取主動(dòng)措施來預(yù)防它們。傳統(tǒng)的方法（如循環(huán)列入黑名單的客戶、保險(xiǎn)代理人和員工）并不能解決欺詐問題。本文為大數(shù)據(jù)解決方案提出了一種解決方案模式，以本系列的第 3 部分中介紹的邏輯架構(gòu)以及 第 4 部分 中介紹的復(fù)合模式為基礎(chǔ)。保險(xiǎn)欺詐是為了讓做出欺詐的當(dāng)事人或其他關(guān)聯(lián)方獲得不正當(dāng)或非法的好處的行為或疏忽。欺詐行為的種類包括

4、：· 保單持有人欺詐和索賠欺詐 在購(gòu)買和執(zhí)行保險(xiǎn)產(chǎn)品時(shí)對(duì)保險(xiǎn)公司的欺詐包括提出保險(xiǎn)索賠時(shí)的欺詐。· 中介欺詐 保險(xiǎn)代理人、企業(yè)代理、中介或第三方代理人對(duì)保險(xiǎn)公司或者保單持有人所做的欺詐。· 內(nèi)部欺詐 保險(xiǎn)公司的董事、經(jīng)理，或其他任何人員或辦公室成員對(duì)保險(xiǎn)公司所做的欺詐。目前的欺詐檢測(cè)流程保險(xiǎn)監(jiān)管委員會(huì)已經(jīng)建立了反欺詐政策，其中包括明確定義的欺詐行為監(jiān)控流程、搜索潛在的欺詐指標(biāo)（并發(fā)布列表）的流程，以及與執(zhí)法部門協(xié)調(diào)的流程。保險(xiǎn)公司配置了專門分析欺詐索賠的工作人員。目前的欺詐檢測(cè)流程的問題保險(xiǎn)監(jiān)管機(jī)構(gòu)已明確定義了欺詐檢測(cè)和緩解的流程。傳統(tǒng)的解決方案使用的模型基于歷史

5、欺詐數(shù)據(jù)、被列入黑名單的客戶和保險(xiǎn)代理人，以及有關(guān)特定于領(lǐng)域的欺詐的數(shù)據(jù)?？捎糜跈z測(cè)欺詐的數(shù)據(jù)被局制于給定保險(xiǎn)公司的 IT 系統(tǒng)和一些外部源。目前的欺詐檢測(cè)流程大多是手工的，只能處理有限的數(shù)據(jù)集。保險(xiǎn)公司可能無法調(diào)查所有指標(biāo)。通常很遲才檢測(cè)到欺詐，而且保險(xiǎn)公司很難對(duì)每個(gè)欺詐案例都進(jìn)行適當(dāng)?shù)母M(jìn)。目前的欺詐檢測(cè)依賴于對(duì)現(xiàn)有欺詐案件的已知情況，所以每一種新型詐騙發(fā)生時(shí)，保險(xiǎn)公司都不得不承擔(dān)第一次的損失。最傳統(tǒng)的方法在一個(gè)特定的數(shù)據(jù)源內(nèi)工作，無法容納不斷增長(zhǎng)的各種不同來源的數(shù)據(jù)。大數(shù)據(jù)解決方案可以幫助解決這些挑戰(zhàn)，并在保險(xiǎn)公司的欺詐檢測(cè)中發(fā)揮重要作用。解決方案模式：入門該解決方案模式基于存儲(chǔ)和探索復(fù)

6、合模式。它集中處理數(shù)據(jù)的獲得并存儲(chǔ)來自企業(yè)內(nèi)部或外部的不同來源的相關(guān)數(shù)據(jù)。在圖 1 所示的數(shù)據(jù)源只是一個(gè)示例；領(lǐng)域?qū)＜铱梢宰R(shí)別適當(dāng)?shù)臄?shù)據(jù)源。因?yàn)楸仨毷占?、存?chǔ)和處理來自多個(gè)來源的大量不同數(shù)據(jù)，此業(yè)務(wù)挑戰(zhàn)是大數(shù)據(jù)解決方案的良好候選場(chǎng)景。下圖顯示了解決方案模式，它映射到了在 第 3 部分 中介紹過的邏輯架構(gòu)。圖 1. 入門解決方案模式點(diǎn)擊查看大圖圖 1 使用以下數(shù)據(jù)提供者：· 外部數(shù)據(jù)源· 結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)· 經(jīng)過轉(zhuǎn)換的結(jié)構(gòu)化數(shù)據(jù)· 實(shí)體解析· 大數(shù)據(jù)瀏覽器組件醫(yī)療保健欺詐檢測(cè)所需的數(shù)據(jù)可以從不同的數(shù)據(jù)源和系統(tǒng)中獲得，比如銀行、醫(yī)療機(jī)構(gòu)、社交媒體和

7、Internet 機(jī)構(gòu)。這些數(shù)據(jù)包括來自博客、社交媒體、新聞機(jī)構(gòu)、各機(jī)構(gòu)的報(bào)告，以及 X 光報(bào)告等來源的非結(jié)構(gòu)化數(shù)據(jù)。更多示例請(qǐng)參見圖 1 中的數(shù)據(jù)源層。利用大數(shù)據(jù)分析，這些不同來源的信息可相互關(guān)聯(lián)和組合，并且被分析（在已定義規(guī)則的幫助下），以確定欺詐的可能性。在這種模式中，所需的外部數(shù)據(jù)是從數(shù)據(jù)供應(yīng)者那里獲得的，他們貢獻(xiàn)經(jīng)過預(yù)處理的非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)已被轉(zhuǎn)化為結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)。在經(jīng)過初始預(yù)處理后，這些數(shù)據(jù)被存儲(chǔ)在大數(shù)據(jù)存儲(chǔ)中。下一步是找出可能的實(shí)體，并從數(shù)據(jù)生成即席報(bào)告。實(shí)體識(shí)別是在數(shù)據(jù)中識(shí)別命名元素的任務(wù)。識(shí)別分析所需的所有實(shí)體必須都被識(shí)別出來，包括那些與其他實(shí)體沒有關(guān)系的松散實(shí)體

8、。實(shí)體識(shí)別主要由數(shù)據(jù)科學(xué)家和業(yè)務(wù)分析師執(zhí)行。實(shí)體解析可以像根據(jù)數(shù)據(jù)關(guān)系和上下文識(shí)別單一實(shí)體或復(fù)雜實(shí)體一樣簡(jiǎn)單。此模式使用了簡(jiǎn)單形式的實(shí)體解析組件。您可以簡(jiǎn)單地將結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成最適合于分析的格式，并直接存儲(chǔ)在大數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)中?？梢栽诖藬?shù)據(jù)上執(zhí)行即席查詢，以獲得相關(guān)信息：· 給定的客戶、區(qū)域、保險(xiǎn)產(chǎn)品、代理或?qū)徟藛T在給定期間內(nèi)的整體欺詐風(fēng)險(xiǎn)· 某些代理或?qū)徟藛T，或跨保險(xiǎn)公司的客戶過往的索賠檢查顧名思義，組織一般采用這種模式開始使用大數(shù)據(jù)。組織采用探索式方法，根據(jù)可用的數(shù)據(jù)評(píng)估可以生成什么樣的洞察。在這個(gè)階段，組織一般不會(huì)對(duì)高級(jí)分析技術(shù)進(jìn)行投資，比如機(jī)器學(xué)習(xí)、特征提取和文

9、本分析。解決方案模式：獲得高級(jí)業(yè)務(wù)洞察這種模式比入門模式更高級(jí)。它在索賠處理的三個(gè)階段預(yù)測(cè)欺詐：1. 索賠已經(jīng)解決。2. 索賠處理正在進(jìn)行中。3. 剛剛收到索賠請(qǐng)求。對(duì)于前兩種情況，可以批量處理索賠，而且可以啟動(dòng)欺詐檢測(cè)流程，它可能是常規(guī)報(bào)告流程的一部分，也可以由業(yè)務(wù)請(qǐng)求啟動(dòng)。第 3 種情況可以近實(shí)時(shí)地進(jìn)行處理。索賠請(qǐng)求攔截器會(huì)攔截索賠請(qǐng)求，啟動(dòng)欺詐檢測(cè)流程（如果指示器報(bào)告這可能是一個(gè)欺詐案件），然后通知在系統(tǒng)中識(shí)別的利益相關(guān)者。越早檢測(cè)到欺詐，風(fēng)險(xiǎn)或損失的嚴(yán)重性就會(huì)越低。圖 2. 獲得高級(jí)業(yè)務(wù)洞察的解決方案模式點(diǎn)擊查看大圖圖 2 使用：· 非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)· 結(jié)構(gòu)化數(shù)據(jù)存

10、儲(chǔ)· 經(jīng)過轉(zhuǎn)換的結(jié)構(gòu)化數(shù)據(jù)· 經(jīng)過預(yù)處理的非結(jié)構(gòu)化數(shù)據(jù)· 實(shí)體解析· 欺詐檢測(cè)引擎· 業(yè)務(wù)規(guī)則· 大數(shù)據(jù)瀏覽器· 對(duì)用戶的警告和通知· 索賠請(qǐng)求攔截器在這個(gè)模式中，組織可以在分析之前選擇對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行預(yù)處理。數(shù)據(jù)被獲取并按原樣存儲(chǔ)在非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)中。然后，它被預(yù)處理成可以被分析層使用的格式。有時(shí)，預(yù)處理可能會(huì)非常復(fù)雜和費(fèi)時(shí)。您可以使用機(jī)器學(xué)習(xí)技術(shù)進(jìn)行文本分析，Hadoop Image Processing Framework 對(duì)于處理圖像很有用。最廣泛使用的技術(shù)是 JSON。經(jīng)過預(yù)處理的數(shù)據(jù)隨后被存儲(chǔ)在結(jié)構(gòu)化

11、數(shù)據(jù)存儲(chǔ)中，如 HBase。此模式的核心組件是欺詐檢測(cè)引擎，由高級(jí)分析功能構(gòu)成，可以幫助預(yù)測(cè)欺詐。被明確定義并經(jīng)常更新的欺詐指標(biāo)有助于識(shí)別欺詐行為。下面欺詐指標(biāo)可以幫助檢測(cè)欺詐，并且可以使用技術(shù)來實(shí)現(xiàn)打擊欺詐行為的系統(tǒng)。下面是常見欺詐指標(biāo)的列表：· 保單生效后不久進(jìn)行索賠。· 在處理索賠時(shí)發(fā)生嚴(yán)重核保失誤。· 被保險(xiǎn)人在追求快速解決時(shí)具有明顯的攻擊性。· 被保險(xiǎn)人愿意接受小額賠償，而不是記錄所有損失。· 文件的真實(shí)性值得懷疑。· 被保險(xiǎn)人在背后償還貸款。· 所產(chǎn)生的傷害是不可見的。· 不存在已知傷亡的高價(jià)值索賠。&

12、#183; 個(gè)人集群之間存在關(guān)系，包括保單持有人、醫(yī)療機(jī)構(gòu)、聯(lián)營(yíng)公司、供應(yīng)商與合作伙伴。· 持牌及非持牌醫(yī)療服務(wù)提供者之間存在聯(lián)系。僅使用傳統(tǒng)方法不足以預(yù)測(cè)詐騙。用戶還需要使用社交網(wǎng)絡(luò)分析來檢測(cè)持牌及非持牌醫(yī)療服務(wù)提供者之間的聯(lián)系，并檢測(cè)保單持有人、醫(yī)療機(jī)構(gòu)、聯(lián)營(yíng)公司、供應(yīng)商與合作伙伴之間的關(guān)系。驗(yàn)證文件的真?zhèn)危⒄业絺€(gè)人的信用評(píng)分，這是用傳統(tǒng)方法難以完成的艱巨任務(wù)。在分析過程中，對(duì)所有這些指標(biāo)的搜索可能會(huì)在龐大數(shù)量的數(shù)據(jù)上同時(shí)發(fā)生。每一個(gè)指標(biāo)都被加權(quán)。所有指標(biāo)的加權(quán)總值表示預(yù)測(cè)欺詐的準(zhǔn)確性和嚴(yán)重程度。在分析完成后，可以向相關(guān)利益方發(fā)送警報(bào)和通知，并且可以生成報(bào)表，以顯示分析結(jié)果。此

13、模式適合于需要使用大數(shù)據(jù)進(jìn)行高級(jí)分析的企業(yè)，包括進(jìn)行復(fù)雜的預(yù)處理，以利用先進(jìn)的技術(shù)（如特征提取、實(shí)體解析、文本分析、機(jī)器學(xué)習(xí)和預(yù)測(cè)分析）可以進(jìn)行分析的形式存儲(chǔ)數(shù)據(jù)。這種模式不涉及采取任何行動(dòng)或根據(jù)分析的輸出提供建議。解決方案模式：采取下一個(gè)最佳行動(dòng)在關(guān)于獲得高級(jí)業(yè)務(wù)洞察的解決方案模式中所做的欺詐預(yù)測(cè)通常導(dǎo)致應(yīng)采取特定行動(dòng)，例如拒絕索賠，或暫緩賠償，直至收到進(jìn)一步的澄清和信息，或報(bào)告它，以采取法律行動(dòng)。在這種模式中，為預(yù)測(cè)的每個(gè)結(jié)果定義了行動(dòng)。這個(gè)行動(dòng)對(duì)結(jié)果（action-to-outcome）的表被稱為行動(dòng)決策矩陣。圖 3. 下一個(gè)最佳行動(dòng)的解決方案模式點(diǎn)擊查看大圖圖 3 使用：·

14、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)· 結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)· 經(jīng)過轉(zhuǎn)換的結(jié)構(gòu)化數(shù)據(jù)· 經(jīng)過預(yù)處理的非結(jié)構(gòu)化數(shù)據(jù)· 實(shí)體解析· 欺詐檢測(cè)引擎· 業(yè)務(wù)規(guī)則· 決策矩陣· 數(shù)據(jù)探索工具· 對(duì)用戶的警告和通知· 索賠請(qǐng)求攔截器· 對(duì)其他系統(tǒng)和業(yè)務(wù)流程組件的變更和通知通?？梢圆扇?3 種行動(dòng)：· 可以向利益相關(guān)者發(fā)送通知，以采取必要的行動(dòng)，例如，通知用戶采取針對(duì)申索人的法律行動(dòng)。· 系統(tǒng)在采取進(jìn)一步行動(dòng)之前通知用戶，并等待用戶的反饋。系統(tǒng)可以等待用戶響應(yīng)任務(wù)，也可以停止或暫緩索賠處理事務(wù)。·

15、; 對(duì)于不需要人工干預(yù)的場(chǎng)景，系統(tǒng)可以采取自動(dòng)行動(dòng)。例如，系統(tǒng)可以向流程發(fā)送一個(gè)觸發(fā)器，以停止理賠程序，并將有關(guān)申索人、代理人和審批人的信息通知給法律部門。此模式適合于需要使用大數(shù)據(jù)進(jìn)行高級(jí)分析的企業(yè)。此模式使用高級(jí)功能來檢測(cè)欺詐行為，通知并提醒相關(guān)利益方，啟動(dòng)自動(dòng)工作流，根據(jù)處理的結(jié)果采取行動(dòng)。形成大數(shù)據(jù)解決方案骨干的產(chǎn)品和技術(shù)下圖顯示了大數(shù)據(jù)軟件如何映射到第 3 部分中所描述的邏輯架構(gòu)的各個(gè)組件。這些產(chǎn)品、技術(shù)或解決方案可以在大數(shù)據(jù)解決方案中使用；必須根據(jù)您自己的需求和環(huán)境來決定選擇用于部署的工具。圖 4 顯示了大數(shù)據(jù)設(shè)備，如 IBM PureData System for Hadoop

16、和 IBM PureData System for Analytics，它們跨越多個(gè)層次。這些設(shè)備具有內(nèi)置的可視化、內(nèi)置的分析加速器，以及單一系統(tǒng)控制臺(tái)等特性。使用設(shè)備有很多優(yōu)點(diǎn)。（請(qǐng)參閱 參考資料，了解有關(guān) IBM PureData System for Hadoop 的更多信息。）圖 4. 映射到邏輯層次圖的產(chǎn)品和技術(shù)點(diǎn)擊查看大圖在欺詐檢測(cè)中使用大數(shù)據(jù)分析的好處與傳統(tǒng)方法相比，使用大數(shù)據(jù)分析來檢測(cè)欺詐具有多種優(yōu)勢(shì)。保險(xiǎn)公司可以構(gòu)建包含所有相關(guān)數(shù)據(jù)源的系統(tǒng)。一個(gè)包羅萬象的系統(tǒng)有助于檢測(cè)不常見的欺詐案件。預(yù)測(cè)模型等技術(shù)可以深入分析欺詐實(shí)例，篩選明顯的案例，并參照低發(fā)欺詐案件執(zhí)行進(jìn)一步分析。大數(shù)據(jù)解決方案還可以幫助建立整個(gè)企業(yè)的反欺詐工作的全局視角。通過鏈接組織內(nèi)的關(guān)聯(lián)信息，全局視角往往導(dǎo)致更好的欺詐檢測(cè)。欺詐行為可以在多個(gè)起源點(diǎn)發(fā)生：理賠、保險(xiǎn)退保、繳費(fèi)、申請(qǐng)新的保單，或者與員工相關(guān)的欺詐或第三方欺詐。各種來源的數(shù)據(jù)相結(jié)合可以實(shí)現(xiàn)更好的預(yù)測(cè)。分析技術(shù)使組織能夠從非結(jié)構(gòu)化數(shù)據(jù)中提取重要信息。雖然大量結(jié)構(gòu)化信息