2023年數(shù)據(jù)分析工作總結(jié)

2023數(shù)據(jù)分析工作總結(jié)在這一段時(shí)間的工作中，遭受到了許多的問題，也嘗試了多種解決方案，最終獲得良好的效果，這也離不開同事的幫忙，從中可以感悟到自身的缺乏，需要在以后的時(shí)間中加強(qiáng)自我的力量。下面是我?guī)淼?023數(shù)據(jù)分析工作總結(jié)。

近期主要完成了某產(chǎn)品用戶畫像分析，從9月底拿到數(shù)據(jù)，到上周輸出第三稿，中間歷時(shí)一個(gè)半月，假如從收到需求，到三稿輸出，那就超過兩個(gè)月，在這次整個(gè)分析過程中，遇到了不少問題，嘗試了使用不同方法，現(xiàn)在是時(shí)候做一個(gè)復(fù)盤、總結(jié)、反思。

在開頭階段，遇到的主要問題是客戶的要求是分析產(chǎn)品用戶畫像報(bào)告，由于沒有直接跟客戶溝通，而需求只有簡(jiǎn)潔的一句話，我只能依據(jù)閱歷列出要分析的要點(diǎn)，確定需要的數(shù)據(jù)維度。在我確定分析框架后，我發(fā)覺假如根據(jù)我方的想法最終輸出的結(jié)果卻不是客戶想到的，那就白做了，所以確定分析框架后還需要客戶確認(rèn)，思路是否可行，分析方向有無(wú)異議。這個(gè)問題還算比擬好解決，客戶同意了分析思路即可。

經(jīng)過與客戶溝通后，到了其次階段，發(fā)起提數(shù)需求。這個(gè)過程總體算比擬順當(dāng)，客戶方數(shù)據(jù)庫(kù)工程師首先反應(yīng)了一份樣本數(shù)據(jù)，讓我方確認(rèn)數(shù)據(jù)是否正確，如正確，則供應(yīng)全量樣本。數(shù)據(jù)驗(yàn)證的過程，主要是由我來完成，對(duì)樣本數(shù)據(jù)，我提出了一些疑問，對(duì)方也一一解答。固然還有個(gè)別字段規(guī)律問題，我沒有發(fā)覺，對(duì)后續(xù)的分析帶來了一些影響，造成最終能使用的維度削減，是一個(gè)圓滿。

拿到全量數(shù)據(jù)后，對(duì)數(shù)據(jù)進(jìn)展清洗。在這個(gè)過程中發(fā)覺數(shù)據(jù)質(zhì)量特別不抱負(fù)，許多字段的缺失值占比很大，個(gè)別字段也有特別值，總體樣本中能使用的記錄銳減。一開頭我的處理方法比擬簡(jiǎn)潔，對(duì)缺失值占比達(dá)的字段直接不使用，帶來的后果就是輸出的第一版分析報(bào)告過于簡(jiǎn)潔。

重新回到數(shù)據(jù)，再次對(duì)數(shù)據(jù)進(jìn)展摸底，而且也調(diào)整分析方法，嘗試使用聚類分析方法，按用戶活潑渠道，對(duì)用進(jìn)展分群，分群后，再結(jié)合其他維度，對(duì)用戶進(jìn)展描述。這一次輸出的報(bào)告還是存在一些問題，最大問題就是用戶群之間區(qū)分不明顯，只能連續(xù)修改。中間由于要做另一個(gè)分析，用戶畫像分析就臨時(shí)先放一邊。

完成另一個(gè)分析后，連續(xù)回到產(chǎn)品用戶畫像分析，這次同事提出了一些建議，在沒有更好的思路前，我根據(jù)同事的建議第三次修改分析報(bào)告。固然還是要先處理數(shù)據(jù)，這次我對(duì)特別值、缺失值就行了處理，特別值使用的是蓋帽法，對(duì)缺失值，在一些字段中用0填補(bǔ)，這樣增加了可使用的維度。數(shù)據(jù)清洗完后，對(duì)連續(xù)變量進(jìn)展分箱處理，這一次還是先使用聚類分析，對(duì)幾個(gè)字段進(jìn)展聚類，這樣增加了兩個(gè)大的維度，接著基于兩個(gè)大的維度，使用對(duì)應(yīng)分析方法，結(jié)合其他維度觀看變量間的關(guān)系，最終的結(jié)果顯示有局部變量之間是存在明顯的關(guān)系，有些幾乎沒有區(qū)分。數(shù)據(jù)處理完后，再次輸出分析報(bào)告。

完成第三次分析后，我回過頭來看看分析中存在的問題，尤其是使用對(duì)應(yīng)分析，查閱了一些資料，發(fā)覺在對(duì)應(yīng)分析中，應(yīng)當(dāng)先進(jìn)展預(yù)分析。聚類分析，兩次我都是使用k-means聚類，其實(shí)還可以使用二階聚類，二階聚類適用于分類變量，這是快速聚類不適用的，我嘗試在清洗后的數(shù)據(jù)中使用二階聚類，效果尚可。

最近恰好又在看丁亞軍教師的講課視頻，講到聚類分析，再結(jié)合我在工作中的應(yīng)用，對(duì)聚類分析方法有了新的熟悉。聚類方法在剛興起的時(shí)候，是不被傳統(tǒng)的統(tǒng)計(jì)學(xué)家們承受，由于這個(gè)方法太簡(jiǎn)潔，沒有使用到過多的統(tǒng)計(jì)學(xué)學(xué)問。在實(shí)際的工作中，聚類使用的頻率還是很高的，尤其是在用戶分群方面，用戶特征的描述。對(duì)應(yīng)分析是第一次用到，為什么會(huì)想到使用對(duì)應(yīng)分析，主要是依據(jù)變量類型，幾個(gè)分類型變量，探究變量間的關(guān)系，除