智能招聘項(xiàng)目解決方案說明書

智能招聘項(xiàng)目解決方案說明書XX科技股份有限公司編制目錄一、項(xiàng)目存在問題及需解決問題 31. 存在問題 32. 需解決問題 4二、解決方案 51.解決方案架構(gòu) 52.關(guān)鍵技術(shù) 6（1）Hadoop 6（2）SpringMVC 6（3）MyBatis 6（4）Echarts 7（5）MySQL 7（6）Hive 7（7）HBASE 8（8）Zookeeper 8（9）Flume 8三、開發(fā)范圍 81. 數(shù)據(jù)生產(chǎn) 82. 數(shù)據(jù)采集/消費(fèi) 93. 數(shù)據(jù)分析 104. 數(shù)據(jù)展示 11

項(xiàng)目存在問題及需解決問題存在問題（1）招聘資源難以有效整合、利用在信息爆炸的今天，招聘渠道和工具更加多樣化，各類招聘、社交網(wǎng)站及APP的出現(xiàn)，令企業(yè)人力資源經(jīng)理可以接觸到更多簡(jiǎn)歷資源和求職信息。但同時(shí)，海量招聘資源如何有效整合、利用，也成了新時(shí)期每個(gè)人力資源經(jīng)理不得不面對(duì)的問題。從各個(gè)渠道匯總來的簡(jiǎn)歷資源，無法進(jìn)行有效的去重、分類，進(jìn)一步提取簡(jiǎn)歷中的關(guān)鍵信息。簡(jiǎn)歷在存入企業(yè)人才庫(kù)之后，相當(dāng)于閑置在庫(kù)內(nèi)，無法得到及時(shí)更新盤活。相關(guān)數(shù)據(jù)顯示，企業(yè)經(jīng)過5年以上的招聘，可通過不同渠道接觸到行業(yè)內(nèi)60％以上的目標(biāo)候選人。大中型公司經(jīng)過3年以上的招聘，從不同渠道所獲取到的簡(jiǎn)歷可達(dá)十萬份甚至數(shù)十萬份。同時(shí)，這些企業(yè)曾經(jīng)接觸過的目標(biāo)候選人，自身能力也在不斷成長(zhǎng)、提升。傳統(tǒng)招聘模式下，企業(yè)累積的簡(jiǎn)歷資源無法得到有效整合利用，自身“人才金礦”的價(jià)值難以挖掘。（2）招聘效率較低現(xiàn)有的線上招聘渠道，如招聘網(wǎng)站及APP，實(shí)質(zhì)上還是處于求職者主動(dòng)尋找工作的狀態(tài)。根據(jù)權(quán)威機(jī)構(gòu)調(diào)研結(jié)果，中國(guó)的主動(dòng)型人才占比近三年來均維持在20％左右，遠(yuǎn)低于36％的全球平均水平。企業(yè)人力資源經(jīng)理需要花費(fèi)大量時(shí)間去主動(dòng)搜索、篩選簡(jiǎn)歷，與候選人進(jìn)行主動(dòng)意向溝通。傳統(tǒng)的搜索工具無法對(duì)簡(jiǎn)歷進(jìn)行準(zhǔn)確的解析，并做到簡(jiǎn)歷與職位的精準(zhǔn)匹配，這就導(dǎo)致人力資源經(jīng)理在搜索簡(jiǎn)歷這一步驟中做了很多“無用功”，造成招聘效率低下。無法實(shí)現(xiàn)招聘的智能化、數(shù)據(jù)化管理企業(yè)在搜索、篩選簡(jiǎn)歷，到與候選人溝通、約見面試等一系列的招聘行為中產(chǎn)生了大量的數(shù)據(jù)，但傳統(tǒng)的招聘模式下，這些數(shù)據(jù)只能進(jìn)行簡(jiǎn)單存儲(chǔ)，無法進(jìn)行更深層次的分析處理，從而支持企業(yè)做出更多的人力資源決策。企業(yè)的在職與離職員工數(shù)據(jù)是不斷變動(dòng)的，但傳統(tǒng)招聘工具無法實(shí)時(shí)追蹤它們，依靠人力資源經(jīng)理人工收集處理數(shù)據(jù)，其實(shí)時(shí)性、準(zhǔn)確性都大打折扣。需解決問題在傳統(tǒng)的人力資源領(lǐng)域，HR會(huì)使用前程無憂、智聯(lián)招聘或其他垂直招聘網(wǎng)站做簡(jiǎn)歷Sourcing，再通過ATS系統(tǒng)管理招聘流程，年終基于ATS系統(tǒng)或本地Excel進(jìn)行工作總結(jié)。整個(gè)過程中產(chǎn)生的數(shù)據(jù)，基本上可以滿足人力資源經(jīng)理日常的統(tǒng)計(jì)需求，了解公司人員流動(dòng)、招聘成本等。而基于大數(shù)據(jù)的招聘服務(wù)則建立在“一切數(shù)據(jù)皆可輔助招聘”的理念之上。e成科技通過引入各種來源的海量數(shù)據(jù)，綜合分析各種數(shù)據(jù)與企業(yè)人才策略之間的關(guān)系，建立了一套基于企業(yè)“選、用、育、留”高度智能化、個(gè)性化的人才服務(wù)體系。這種人才服務(wù)體系在企業(yè)雇主品牌的搭建、企業(yè)畫像的構(gòu)建上更加能夠展現(xiàn)優(yōu)勢(shì)。通過企業(yè)資料、招聘信息、人力資源經(jīng)理招聘行為、簡(jiǎn)歷內(nèi)容、簡(jiǎn)歷動(dòng)向等多種信息，人力資源經(jīng)理可以方便地獲得繪制好的企業(yè)畫像。了解企業(yè)在福利制度、員工晉升、員工穩(wěn)定性、員工知識(shí)結(jié)構(gòu)等指標(biāo)在行業(yè)中的排位情況，有助于人力資源經(jīng)理構(gòu)建更符合本公司健康發(fā)展的人才戰(zhàn)略。同時(shí)，企業(yè)畫像也是公司在招聘時(shí)進(jìn)行雇主品牌宣傳的重要素材。此外，xxx科技還將來自眾多渠道的數(shù)據(jù)進(jìn)行整合、清洗，利用數(shù)據(jù)挖掘分析技術(shù)，使所有數(shù)據(jù)都能為企業(yè)招聘服務(wù)提供價(jià)值。解決方案解決方案架構(gòu)系統(tǒng)開發(fā)平臺(tái)使用Hadoop大數(shù)據(jù)開發(fā)平臺(tái)。Hadoop是一個(gè)高度可擴(kuò)展的存儲(chǔ)平臺(tái)，可以存儲(chǔ)和分發(fā)橫跨數(shù)百個(gè)并行操作的廉價(jià)的服務(wù)器數(shù)據(jù)集群。能擴(kuò)展到處理大量的數(shù)據(jù)，能提供成百上千TB的數(shù)據(jù)節(jié)點(diǎn)上運(yùn)行的應(yīng)用程序。Hadoop能夠有效的在幾分鐘內(nèi)處理TB級(jí)的數(shù)據(jù)。相比關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)更具有優(yōu)勢(shì)。它適用于任何規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)持續(xù)增長(zhǎng)的企業(yè)，將幫助用戶持續(xù)提高用戶體驗(yàn)。系統(tǒng)采用面向?qū)ο蟮能浖O(shè)計(jì)方法，把整個(gè)系統(tǒng)看作是多個(gè)離散對(duì)象的組合。系統(tǒng)設(shè)計(jì)時(shí)，首先把業(yè)務(wù)流程分解成功能模塊及其業(yè)務(wù)實(shí)體對(duì)象，然后根據(jù)業(yè)務(wù)流程分析對(duì)于這些業(yè)務(wù)實(shí)體對(duì)象的操作方法，形成業(yè)務(wù)處理對(duì)象，最后把各個(gè)功能模塊關(guān)聯(lián)起來，形成系統(tǒng)。軟件設(shè)計(jì)是一個(gè)將需求轉(zhuǎn)變?yōu)檐浖倪^程，系統(tǒng)通過逐步求精使得設(shè)計(jì)陳述逐漸接近于源代碼。系統(tǒng)程序采用MVC的設(shè)計(jì)思想，將展現(xiàn)邏輯、控制邏輯、業(yè)務(wù)處理邏輯分離。系統(tǒng)采用參數(shù)化的設(shè)計(jì)思想，定義和管理系統(tǒng)的實(shí)體及配置，調(diào)整實(shí)體以適應(yīng)外部變化。系統(tǒng)采用J2EE技術(shù)保證程序邏輯實(shí)現(xiàn)的平臺(tái)無關(guān)性，并便于安裝部署。系統(tǒng)采用AJAX技術(shù)，提高客戶操作的交互性，保證實(shí)際使用的易用性。系統(tǒng)采用echarts可視化框架實(shí)現(xiàn)數(shù)據(jù)展示。關(guān)鍵技術(shù)HadoopHadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。SpringMVCSpringMVC：屬于SpringFrameWork的后續(xù)產(chǎn)品，已經(jīng)融合在SpringWebFlow里面。Spring框架提供了構(gòu)建Web應(yīng)用程序的全功能MVC模塊。MyBatisMYBatis：是支持普通SQL查詢，存儲(chǔ)過程和高級(jí)映射的優(yōu)秀持久層框架。MyBatis消除了幾乎所有的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索。MyBatis使用簡(jiǎn)單的XML或注解用于配置和原始映射，將接口和Java的POJOs（PlainOldJavaObjects，普通的Java對(duì)象）映射成數(shù)據(jù)庫(kù)中的記錄。EchartsECharts是一款基于Javascript的數(shù)據(jù)可視化圖表庫(kù)，提供直觀，生動(dòng)，可交互，可個(gè)性化定制的數(shù)據(jù)可視化圖表。MySQLMySQL是一個(gè)關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)，由瑞典MySQLAB公司開發(fā)，屬于Oracle旗下產(chǎn)品。MySQL是最流行的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)之一，在WEB應(yīng)用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng))應(yīng)用軟件之一。MySQL是一種關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)，關(guān)系數(shù)據(jù)庫(kù)將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個(gè)大倉(cāng)庫(kù)內(nèi)，這樣就增加了速度并提高了靈活性。MySQL所使用的SQL語言是用于訪問數(shù)據(jù)庫(kù)的最常用標(biāo)準(zhǔn)化語言。MySQL軟件采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點(diǎn)，一般中小型網(wǎng)站的開發(fā)都選擇MySQL作為網(wǎng)站數(shù)據(jù)庫(kù)。Hivehive是基于Hadoop構(gòu)建的一套數(shù)據(jù)倉(cāng)庫(kù)分析系統(tǒng)，它提供了豐富的SQL查詢方式來分析存儲(chǔ)在Hadoop分布式文件系統(tǒng)中的數(shù)據(jù)：可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供完整的SQL查詢功能；可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行，通過自己的SQL查詢分析需要的內(nèi)容，這套SQL簡(jiǎn)稱HiveSQL，使不熟悉mapreduce的用戶可以很方便地利用SQL語言查詢、匯總和分析數(shù)據(jù)。而mapreduce開發(fā)人員可以把自己寫的mapper和reducer作為插件來支持hive做更復(fù)雜的數(shù)據(jù)分析。它與關(guān)系型數(shù)據(jù)庫(kù)的SQL略有不同，但支持了絕大多數(shù)的語句如DDL、DML以及常見的聚合函數(shù)、連接查詢、條件查詢。它還提供了一系列的：具進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載，用來存儲(chǔ)、查詢和分析存儲(chǔ)在Hadoop中的大規(guī)模數(shù)據(jù)集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以實(shí)現(xiàn)對(duì)map和reduce函數(shù)的定制，為數(shù)據(jù)操作提供了良好的伸縮性和可擴(kuò)展性。HBASEHBase–HadoopDatabase，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。ZookeeperZooKeeper是一個(gè)分布式的，開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Google的Chubby一個(gè)開源的實(shí)現(xiàn)，是Hadoop和Hbase的重要組件。它是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組服務(wù)等。FlumeFlume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。開發(fā)范圍數(shù)據(jù)生產(chǎn)對(duì)于該模塊的業(yè)務(wù)，即數(shù)據(jù)生產(chǎn)過程，一般并不會(huì)讓你來進(jìn)行操作，數(shù)據(jù)生產(chǎn)是一套完整且嚴(yán)密的體系，這樣可以保證數(shù)據(jù)的安全性。但是如果涉及到項(xiàng)目的一體化方案的設(shè)計(jì)（數(shù)據(jù)的產(chǎn)生、存儲(chǔ)、分析、展示），則必須清楚每一個(gè)環(huán)節(jié)是如何處理的，包括其中每個(gè)環(huán)境可能隱藏的問題；數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)內(nèi)容可能出現(xiàn)的問題。數(shù)據(jù)采集/消費(fèi)數(shù)據(jù)采集模塊（消費(fèi)），在企業(yè)中你要清楚流式數(shù)據(jù)采集框架flume和kafka的定位是什么。我們?cè)诖诵枰獙?shí)時(shí)數(shù)據(jù)通過flume采集到kafka然后供給給hbase消費(fèi)。flume：cloudera公司研發(fā)適合下游數(shù)據(jù)消費(fèi)者不多的情況；適合數(shù)據(jù)安全性要求不高的操作；適合與Hadoop生態(tài)圈對(duì)接的操作。kafka：linkedin公司研發(fā)適合數(shù)據(jù)下游消費(fèi)眾多的情況；適合數(shù)據(jù)安全性要求較高的操作（支持replication）；因此我們常用的一種模型是：線上數(shù)據(jù)-->flume-->kafka-->flume(根據(jù)情景增刪該流程)-->HDFS線上數(shù)據(jù)