保險數(shù)據(jù)處理

保險數(shù)據(jù)處理解決保險公司數(shù)據(jù)分析中的信息孤島問題、程序可擴展性問題以及將數(shù)據(jù)分析整合進系統(tǒng)等問題的處理01簡介研究難點兩種數(shù)據(jù)挖掘模型國內(nèi)外研究現(xiàn)狀保險公司數(shù)據(jù)源的收集與處理目錄03050204基本信息保險數(shù)據(jù)處理，主要解決了保險公司數(shù)據(jù)分析中的信息孤島問題、程序可擴展性問題、程序開發(fā)周期過長問題以及將數(shù)據(jù)分析需要的專業(yè)知識整合進系統(tǒng)，減少對數(shù)據(jù)分析程序操作人員專業(yè)度要求。收集多平臺，多來源的數(shù)據(jù)源，建立有效的清理與整合機制，在此基礎(chǔ)上構(gòu)建為數(shù)據(jù)分析服務(wù)的統(tǒng)一的多維度的數(shù)據(jù)集市，使最終用戶不用熟知算法和一些背景專業(yè)知識就可以得到比較專業(yè)的分析結(jié)果。簡介簡介數(shù)據(jù)挖掘和分析是知識發(fā)現(xiàn)的一個過程，是在數(shù)據(jù)處理的過程中不斷發(fā)現(xiàn)問題，修正目標和方法，最終得出結(jié)論的過程。隨著保險公司計算機系統(tǒng)應(yīng)用的不斷推進，保險公司提出了對數(shù)據(jù)進行深入分析和應(yīng)用的需求。傳統(tǒng)軟件開發(fā)的步驟簡單的說可以分為：用戶提出需求，設(shè)計人員設(shè)計方案，程序員編寫程序，不斷溝通、修改，最后交付用戶使用。在數(shù)據(jù)分析中，用戶很難清晰、完整的描述他的需求，或者根本不知道達到目標的方法。這也就是保險公司的程序應(yīng)用中業(yè)務(wù)系統(tǒng)、財務(wù)系統(tǒng)等等可以順利實施，有關(guān)數(shù)據(jù)處理的程序失敗率很高，或者生命周期很短的一個重要原因。保險數(shù)據(jù)處理，主要解決了保險公司數(shù)據(jù)分析中的信息孤島問題、程序可擴展性問題、程序開發(fā)周期過長問題以及將數(shù)據(jù)分析需要的專業(yè)知識整合進系統(tǒng)，減少對數(shù)據(jù)分析程序操作人員專業(yè)度要求。收集多平臺，多來源的數(shù)據(jù)源，建立有效的清理與整合機制，在此基礎(chǔ)上構(gòu)建為數(shù)據(jù)分析服務(wù)的統(tǒng)一的多維度的數(shù)據(jù)集市。提煉出一批可以應(yīng)用在保險公司數(shù)據(jù)分析的算法，將比較復(fù)雜的精算模型，醫(yī)學(xué)知識等整合進分析算法模型中，使最終用戶不用熟知算法和一些背景專業(yè)知識就可以得到比較專業(yè)的分析結(jié)果。經(jīng)過多年來的業(yè)務(wù)發(fā)展和信息系統(tǒng)建設(shè)，保險公司積累了大量的歷史數(shù)據(jù)，如何充分利用這些數(shù)據(jù)，把它轉(zhuǎn)化成商機，一直是各家保險公司思考的問題。國內(nèi)外研究現(xiàn)狀國內(nèi)狀況國外狀況國內(nèi)外研究現(xiàn)狀國外狀況國外保險業(yè)的信息化工作已經(jīng)完成了基礎(chǔ)建設(shè)的構(gòu)建，并在新的領(lǐng)域進行有益的探索，據(jù)相關(guān)報道：澳大利亞的AllianzElementar保險公司、SPANISHINSURER保險公司和BlueCrossandBlueShieldofFlorida保險公司利用數(shù)據(jù)挖掘工具對客戶忠誠度進行分析，用以減少客戶流失；保險欺詐管理方面：據(jù)統(tǒng)計，美國的健康保險部門每年因欺詐損失約60億到250億美元，財產(chǎn)和意外傷害保險欺詐造成的年度虧損為約30億美元。美國的菲爾曼基金公司運用企業(yè)數(shù)據(jù)挖掘系統(tǒng)對付欺詐行為和代位追償進行分析，應(yīng)用這個系統(tǒng)，預(yù)計每年減少欺詐行為造成的損失70萬美元，同時每年實現(xiàn)2百萬美元的代位追償收入。中英人壽保險有限公司(Aviva)想利用客戶的生活方式數(shù)據(jù)的分析，如客戶愛好、常瀏覽的網(wǎng)站、常看的節(jié)目、收入估計等來推測其患高血壓、糖尿病和抑郁癥等等健康隱患的概率。目前客戶投保時保險公司往往需要客戶提供體檢報告，用來分析客戶的健康狀況。如果這種分析方法有效，客戶就不再需要在投保時提供給保險公司體檢報告。因為向客戶索要體檢報告是不太讓客戶感覺舒服的事情。英國保誠保險有限公司(Prudentia)和美國國際集團(AIG)也在探索類似的方法。

國內(nèi)狀況國內(nèi)的外資保險公司目前普遍使用移植于國外母公司的軟件系統(tǒng)，這些系統(tǒng)在涉及境外的保險業(yè)務(wù)上有著自己獨到的優(yōu)勢，但是與國內(nèi)的保險市場匹配上還存在著一些問題，部分外資保險公司現(xiàn)在也在著手開發(fā)適合國內(nèi)保險的信息系統(tǒng)。國內(nèi)保險業(yè)的信息化進程大致可以分為幾個階段：●1949年，保險業(yè)在國內(nèi)復(fù)業(yè)：業(yè)務(wù)處理幾乎全為手工化；●1992年，產(chǎn)壽分業(yè)，各市、縣開發(fā)了大量單獨出單程序：以縣、市為中心的逐步電算化；●2000年，全險種，全流程電子化：逐步開始數(shù)據(jù)大集中建設(shè)，建設(shè)全險種，全流程的核心業(yè)務(wù)系統(tǒng)，提倡以服務(wù)為核心；●2006年，保險業(yè)大集中基本完成，在保險業(yè)競爭的驅(qū)動下逐漸開始挖掘業(yè)務(wù)價值，建立“全組織、全核算”的績效考核體系；●2010年，IT業(yè)務(wù)融合、創(chuàng)新：多中心建設(shè)，新一代系統(tǒng)建設(shè)，創(chuàng)新靈活性IT架構(gòu)支持快速變化、靈活變化并引導(dǎo)服務(wù)的創(chuàng)新；●2013年，大數(shù)據(jù)理念開始被廣泛接受：通過數(shù)據(jù)解讀業(yè)務(wù)問題，基于大數(shù)據(jù)的預(yù)測和相關(guān)性研究。研究難點研究難點(1)數(shù)據(jù)的取得與清洗：保險公司數(shù)據(jù)分析需要的數(shù)據(jù)很多，取得的渠道也很多，可能來自業(yè)務(wù)系統(tǒng)、手工臺帳、調(diào)查問卷等等，但是這些信息往往都是信息孤島。不僅僅公司內(nèi)部與外部獲取的數(shù)據(jù)較難整合在一起，保險公司內(nèi)部不同的業(yè)務(wù)系統(tǒng)中獲取的數(shù)據(jù)也存在著很多不兼容的因素。同時，獲取了大量信息后，不可避免的存在各種數(shù)據(jù)質(zhì)量問題，需要進行有效清洗以后才能應(yīng)用到處理系統(tǒng)中。(2)客戶的需求不清晰：數(shù)據(jù)分析是一種知識發(fā)現(xiàn)的過程，客戶很難一開始就明確的提出流程，需求和分析點。有時候用戶在數(shù)據(jù)分析過程中發(fā)現(xiàn)了一些有用信息，又會進一步提出新的需求，而這種需求的提出是不確定的。傳統(tǒng)軟件設(shè)計流程基本上都要求客戶在程序設(shè)計的開始階段就提出明確的需求。顯然這種模式應(yīng)用到數(shù)據(jù)分析領(lǐng)域會有很大的問題。(3)用戶希望有一個“簡單”的系統(tǒng)：無論中間的過程是簡單還是復(fù)雜，最終用戶往往需要的是簡單的數(shù)據(jù)分析系統(tǒng)。這里的簡單主要是指：a、操作簡單：不需要繁雜的操作就能得到結(jié)果；b、算法簡單：在數(shù)據(jù)分析中盡量使用用戶普遍接受的算法或者已經(jīng)公認，可信度很高的算法，用戶如果對算法理解困難，對最終的分析結(jié)果接受度并不高。保險公司數(shù)據(jù)源的收集與處理數(shù)據(jù)質(zhì)量的主要控制點三類數(shù)據(jù)源的處理方式保險公司數(shù)據(jù)源的收集與處理三類數(shù)據(jù)源的處理方式不同來源的數(shù)據(jù)有其自身的特點?？梢园褦?shù)據(jù)源分為三類，第一類為別的計算機程序生成的數(shù)據(jù)，這類數(shù)據(jù)一般的特點是數(shù)量大，容易被程序識別，缺點是可能包含無用的垃圾數(shù)據(jù)，這類數(shù)據(jù)處理相對比較容易，只需要在分析程序里建立好相應(yīng)的抽取機制即可使用。我們使用語句建立篩選、過濾與替換機制，可以得到大量質(zhì)量較高的源數(shù)據(jù)。第二類是人工錄入的數(shù)據(jù)，這類數(shù)據(jù)一般的特點是數(shù)據(jù)量較小，信息含金量較高，但是錯誤率較高，如果簡單的使用過濾機制將會損失大量的有效信息。這時候可能需要先對原始數(shù)據(jù)進行匯總，再使用一些識別機制找出錯誤信息并進行修正。例如Excel是目前比較流行的辦公處理軟件，很多手工信息登記為Excel格式。如果手上有大量相同格式的Excel數(shù)據(jù)，可以先用程序?qū)⑿畔R總到一張表里。把同一文件夾下所有的Excel信息進行匯總。再結(jié)合業(yè)務(wù)規(guī)則對信息進行統(tǒng)一校驗、整理。整理成的數(shù)據(jù)將是干凈的有價值的數(shù)據(jù)，轉(zhuǎn)換成文本格式就可以被數(shù)據(jù)庫識別。第三類是假設(shè)數(shù)據(jù)，需要給用戶一個方便的錄入端口，并要把它與真實數(shù)據(jù)進行區(qū)分，使其不影響將來的其他分析。數(shù)據(jù)質(zhì)量的主要控制點數(shù)據(jù)的質(zhì)量問題具體表現(xiàn)為正確性、完整性、一致性、完備性、有效性、時效性和可獲取性等。影響質(zhì)量問題的原因有很多，由系統(tǒng)集成和歷史數(shù)據(jù)造成的原因主要包括：業(yè)務(wù)系統(tǒng)不同時期系統(tǒng)之間數(shù)據(jù)模型不一致；業(yè)務(wù)系統(tǒng)不同時期業(yè)務(wù)過程有變化；舊系統(tǒng)模塊在運營、人事、財務(wù)、辦公系統(tǒng)等相關(guān)信息的不一致；遺留系統(tǒng)和新業(yè)務(wù)、管理系統(tǒng)數(shù)據(jù)集成不完備帶來的不一致性。影響數(shù)據(jù)質(zhì)量的因素主要來源于四方面：信息因素、技術(shù)因素、流程因素和管理因素。信息因素：產(chǎn)生這部分數(shù)據(jù)質(zhì)量問題的原因主要有：元數(shù)據(jù)描述及理解錯誤、數(shù)據(jù)度量的各種性質(zhì)(如：數(shù)據(jù)源規(guī)格不統(tǒng)一)得不到保證和變化頻度不恰當(dāng)?shù)取＜夹g(shù)因素：主要是指由于具體數(shù)據(jù)處理的各技術(shù)環(huán)節(jié)的異常造成的數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量問題的產(chǎn)生環(huán)節(jié)主要包括數(shù)據(jù)創(chuàng)建、數(shù)據(jù)獲取、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、數(shù)據(jù)使用、數(shù)據(jù)維護等方面的內(nèi)容。流程因素：是指由于系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)造成的數(shù)據(jù)質(zhì)量問題，主要來源于系統(tǒng)數(shù)據(jù)的創(chuàng)建流程、傳遞流程、裝載流程、使用流程、維護流程和稽核流程等各環(huán)節(jié)。管理因素：是指由于人員素質(zhì)及管理機制方面的原因造成的數(shù)據(jù)質(zhì)量問題。如人員培訓(xùn)、人員管理、培訓(xùn)或者獎懲措施不當(dāng)導(dǎo)致的管理缺失或者管理缺陷陋引。兩種數(shù)據(jù)挖掘模型兩種數(shù)據(jù)挖掘模型根據(jù)海量保險客戶資料，分析客戶：性別、年齡、婚否、職業(yè)、收入、教育程度等特性，建立數(shù)據(jù)挖掘模型，預(yù)測已購買保險的客戶可能還會購買哪些保險，還需要哪些保險責(zé)任，未購買保險的新客戶，根據(jù)其客戶特性，預(yù)測其最可能購買哪些保險及哪些保險責(zé)任，這些預(yù)測信息可用于老客戶保險深度挖掘，也可為新入司銷售人員提供