大數(shù)據(jù)分析技術(shù)在房產(chǎn)領(lǐng)域的實(shí)踐

大數(shù)據(jù)在房產(chǎn)領(lǐng)域的實(shí)踐提綱?蜀道難難于上青天?行困難而正確之事?往事可鑒未來(lái)可追蜀道難難于上青天????客少、物少———————數(shù)據(jù)來(lái)源少買(mǎi)賣(mài)行為少周期長(zhǎng)———行為數(shù)據(jù)稀少線下行為重容易分流—線上線下難打通業(yè)務(wù)復(fù)雜性—-————分析挖掘無(wú)坦途提綱

?

?蜀道難難于上青天行困難而正確之事?往事可鑒未來(lái)可追提升服務(wù)品質(zhì)的環(huán)節(jié)?????房源真實(shí)無(wú)虛假合適的房屋給合適的人

房屋買(mǎi)賣(mài)不再難

縮短周期見(jiàn)效率

減少資源浪費(fèi)效果概述1000萬(wàn)/天數(shù)百萬(wàn)/天數(shù)T級(jí)別/天6000萬(wàn)2300萬(wàn)效果概述

經(jīng)紀(jì)人91/150維

業(yè)主/房54/319維

客戶32/107維23/55維33/81維27/72維升30%應(yīng)用挖掘數(shù)據(jù)采集計(jì)算DW存儲(chǔ)分析計(jì)算技術(shù)架構(gòu)手動(dòng)調(diào)度

認(rèn)證系統(tǒng)

權(quán)限

安全

ETLDS

FlumeCollectorSETELinkhdiclog文件

Kafka日志流其他HDFSSparkHiveHadoopMeta

MR

HBaseYarnBIWeb可視化

OLAPData

Service

RDBSNginx

HueAdhoc市場(chǎng)報(bào)告解讀客源解讀A房推薦業(yè)主端鏈家指數(shù)數(shù)據(jù)頻道用戶畫(huà)像房源畫(huà)像小區(qū)畫(huà)像業(yè)主畫(huà)像經(jīng)紀(jì)人畫(huà)像房屋估價(jià)elasticsearch，hbase，spark等成熟的開(kāi)源數(shù)據(jù)存儲(chǔ)、處理系elasticsearch存儲(chǔ)、索引融合層全量數(shù)據(jù)，線上用戶行為數(shù)據(jù)線上日志流處理并傳送至elasticsearch集群。用戶畫(huà)像????統(tǒng)上全量索引以及熱數(shù)據(jù)hbase存儲(chǔ)線上用戶行為數(shù)據(jù)spark完成批量和流式數(shù)據(jù)處理，包括線下全量/增量數(shù)據(jù)導(dǎo)入，用戶畫(huà)像用戶畫(huà)像KV查詢：如通過(guò)手機(jī)號(hào)查詢客源的一切數(shù)據(jù)數(shù)據(jù)篩選：如篩選西山商圈，近三個(gè)月新增房源的小區(qū)名、掛牌價(jià)和房屋狀態(tài)，要求房屋必須是精裝修或大于3居室OLAP查詢:

如查詢海淀區(qū)2015年不同月份客源帶看次數(shù)的分布用戶畫(huà)像用戶特征傾向居室特征分布面積特征傾向價(jià)格特征分布區(qū)域特征傾向應(yīng)用挖掘數(shù)據(jù)采集計(jì)算DW存儲(chǔ)分析計(jì)算行困難而正確之事KafkaETLFlume調(diào)度

認(rèn)證系統(tǒng)

權(quán)限

安全DSSETELinkhdic

Collectorlog文件

日志流

手動(dòng)其他HDFSSparkHiveHadoopMeta

MR

HBaseYarnBIWeb可視化

OLAPData

Service

RDBSNginx

HueAdhoc市場(chǎng)報(bào)告解讀客源解讀A房推薦業(yè)主端鏈家指數(shù)數(shù)據(jù)頻道用戶畫(huà)像房源畫(huà)像小區(qū)畫(huà)像業(yè)主畫(huà)像經(jīng)紀(jì)人畫(huà)像房屋估價(jià)房屋估價(jià)90%房屋估價(jià)經(jīng)紀(jì)人業(yè)主/房客戶房屋價(jià)格房屋估價(jià)房屋估價(jià)估價(jià)準(zhǔn)確：diff

<=

5%房屋估價(jià)房屋估價(jià)房屋估價(jià)DataSource1DataSource2DataSourceN….

ExtractFeatureExtractFeature

FeatureTransform

FeatureTransform

LOF-樣本異常點(diǎn)處理多模型并舉

ANN

Hedonic

GBDT

EvaluateEnsembleBest

Model房屋估價(jià)?

LOF(Local

Outlier

Factor)算法是一種機(jī)遇密度的異常檢測(cè)算法，?

通過(guò)計(jì)算每個(gè)實(shí)例相對(duì)于其鄰居的孤立情況來(lái)判斷這個(gè)實(shí)例是否為離群點(diǎn)?

為每一個(gè)每個(gè)實(shí)例計(jì)算一個(gè)異常分?jǐn)?shù)，這個(gè)分?jǐn)?shù)稱為實(shí)例的局部離群因子（LOF）?

較高的LOF值指示這個(gè)實(shí)例可能是異常的，較低的LOF值指示這個(gè)實(shí)例可能是正常的提綱

?蜀道難難于上青天?行困難而正確之事?往事可鑒未來(lái)可追