2023年數(shù)據(jù)分析師常見筆試題目及答案

數(shù)據(jù)分析師常見的7道筆試題目及答案導讀：探索性數(shù)據(jù)分析側重于在數(shù)據(jù)之中發(fā)現(xiàn)新的特性,而驗證性數(shù)據(jù)分析則側重于已有假設的證實或證偽。以下是由小編J．Ｌ為您整理推薦的實用的應聘筆試題目和經(jīng)驗，歡迎參考閱讀。1、海量日記數(shù)據(jù),提取出某日訪問百度次數(shù)最多的那個IＰ。一方面是這一天，并且是訪問百度的日記中的ＩP取出來，逐個寫入到一個大文獻中。注意到ＩP是32位的，最多有個2^3２個IP。同樣可以采用映射的方法，比如模1000，把整個大文獻映射為10０0個小文獻,再找出每個小文中出現(xiàn)頻率最大的IP(可以采用hash_maｐ進行頻率記錄,然后再找出頻率最大的幾個)及相應的頻率。然后再在這1０00個最大的ＩP中，找出那個頻率最大的IP,即為所求?；蛘呷缦玛U述:算法思想:分而治之+Hasｈ1.IＰ地址最多有2^32=4G種取值情況,所以不能完全加載到內(nèi)存中解決;2.可以考慮采用“分而治之”的思想，按照IP地址的Hash（IP）24值,把海量IP日記分別存儲到1024個小文獻中。這樣,每個小文獻最多包含4MB個ＩP地址;３.對于每一個小文獻,可以構建一個ＩP為kｅy,出現(xiàn)次數(shù)為vａlｕe的Hashmaｐ，同時記錄當前出現(xiàn)次數(shù)最多的那個IP地址;4.可以得到1０24個小文獻中的出現(xiàn)次數(shù)最多的IP，再依據(jù)常規(guī)的排序算法得到總體上出現(xiàn)次數(shù)最多的IP;2、搜索引擎會通過日記文獻把用戶每次檢索使用的所有檢索串都記錄下來,每個查詢串的長度為1-２５5字節(jié)。假設目前有一千萬個記錄(這些查詢串的反復度比較高，雖然總數(shù)是1千萬,但假如除去反復后,不超過3百萬個。一個查詢串的反復度越高,說明查詢它的用戶越多,也就是越熱門。)，請你記錄最熱門的1０個查詢串，規(guī)定使用的內(nèi)存不能超過1G。典型的TopK算法,還是在這篇文章里頭有所闡述,文中,給出的最終算法是:第一步、先對這批海量數(shù)據(jù)預解決,在O(N）的時間內(nèi)用Haｓｈ表完畢記錄(之前寫成了排序，特此訂正。Jｕly、2０23.04.27)；第二步、借助堆這個數(shù)據(jù)結構,找出TopK,時間復雜度為N‘lｏgK。即，借助堆結構，我們可以在loｇ量級的時間內(nèi)查找和調(diào)整/移動。因此，維護一個Ｋ(該題目中是1０）大小的小根堆，然后遍歷３00萬的Queｒy,分別和根元素進行對比所以，我們最終的時間復雜度是：O(Ｎ)＋N’*Ｏ(ｌｏgK），(Ｎ為10０0萬，N’為300萬)。ｏk，更多,詳情，請參考原文?；蛘?采用tｒiｅ樹，關鍵字域存該查詢串出現(xiàn)的次數(shù),沒有出現(xiàn)為0。最后用10個元素的最小推來對出現(xiàn)頻率進行排序。3、有一個1G大小的一個文獻，里面每一行是一個詞，詞的大小不超過16字節(jié),內(nèi)存限制大小是１M。返回頻數(shù)最高的10０個詞。方案：順序讀文獻中，對于每個詞x，取hasｈ(x)P00,然后按照該值存到5000個小文獻(記為x0,x１,…ｘ４999）中。這樣每個文獻大約是200k左右。假如其中的有的文獻超過了1M大小,還可以按照類似的方法繼續(xù)往下分,直到分解得到的小文獻的大小都不超過1M。對每個小文獻，記錄每個文獻中出現(xiàn)的詞以及相應的頻率(可以采用trie樹／hash_map等),并取出出現(xiàn)頻率最大的10０個詞(可以用含100個結點的最小堆)，并把100個詞及相應的頻率存入文獻,這樣又得到了50０0個文獻。下一步就是把這5000個文獻進行歸并(類似與歸并排序）的過程了。4、有10個文獻,每個文獻1G，每個文獻的每一行存放的都是用戶的quｅry,每個文獻的query都也許反復。規(guī)定你按照queｒy的頻度排序。還是典型的ＴOPK算法,解決方案如下：方案1：順序讀?。?個文獻，按照hash(query)的結果將query寫入到此外10個文獻(記為)中。這樣新生成的文獻每個的大小大約也１G(假設haｓｈ函數(shù)是隨機的)。找一臺內(nèi)存在2G左右的機器,依次對用hａｓh_map(queｒｙ，qｕeｒy_count）來記錄每個query出現(xiàn)的次數(shù)。運用快速／堆/歸并排序按照出現(xiàn)次數(shù)進行排序。將排序好的qｕｅry和相應的query_couｔ輸出到文獻中。這樣得到了1０個排好序的文獻（記為)。對這1０個文獻進行歸并排序（內(nèi)排序與外排序相結合)。方案２：一般qｕery的總量是有限的，只是反復的次數(shù)比較多而已，也許對于所有的quｅry,一次性就可以加入到內(nèi)存了。這樣,我們就可以采用trie樹/hash＿ｍaｐ等直接來記錄每個queｒy出現(xiàn)的次數(shù)，然后按出現(xiàn)次數(shù)做快速/堆／歸并排序就可以了。方案3:與方案1類似,但在做完haｓh,提成多個文獻后，可以交給多個文獻來解決，采用分布式的架構來解決(比如MapRｅduce)，最后再進行合并。5、給定a、ｂ兩個文獻,各存放50億個url，每個url各占６4字節(jié)，內(nèi)存限制是4G,讓你找出a、b文獻共同的uｒl?方案1：可以估計每個文獻安的大小為５G×64＝3２0G,遠遠大于內(nèi)存限制的4Ｇ。所以不也許將其完全加載到內(nèi)存中解決?？紤]采用分而治之的方法。遍歷文獻a，對每個urｌ求取hasｈ(url)０0,然后根據(jù)所取得的值將uｒl分別存儲到10０0個小文獻(記為ａ0，a1，…,a999)中。這樣每個小文獻的大約為300M。遍歷文獻b,采用和a相同的方式將url分別存儲到10０0小文獻(記為b0,b1，…,b99９)。這樣解決后,所有也許相同的url都在相應的小文獻(ａ0ｖsｂ0,a１ｖｓb1,…,a９９9vsb999）中，不相應的小文獻不也許有相同的url。然后我們只規(guī)定出1000對小文獻中相同的urｌ即可。求每對小文獻中相同的urｌ時，可以把其中一個小文獻的url存儲到hａsh_seｔ中。然后遍歷另一個小文獻的每個url，看其是否在剛才構建的hａsh＿ｓet中，假如是,那么就是共同的url,存到文獻里面就可以了。方案２:假如允許有一定的錯誤率，可以使用Bｌoomｆilter,４Ｇ內(nèi)存大約可以表達340億bit。將其中一個文獻中的url使用Ｂlｏomｆiltｅｒ映射為這340億ｂit，然后挨個讀取此外一個文獻的uｒl,檢查是否與Ｂloomfiｌｔｅr，假如是,那么該url應當是共同的url（注意會有一定的錯誤率)。Bｌoomｆilｔer日后會在本ＢＬOＧ內(nèi)具體闡述。6、在2.5億個整數(shù)中找出不反復的整數(shù),注,內(nèi)存局限性以容納這2．5億個整數(shù)。方案1:采用2-Bitｍap(每個數(shù)分派2bｉt,0０表達不存在，01表達出現(xiàn)一次，１0表達多次，1１無意義)進行，共需內(nèi)存２＾3２*2bit=１GB內(nèi)存，還可以接受。然后掃描這2.５億個整數(shù),查看Biｔｍap中相相應位，假如是00變01,０1變10,１0保持不變。所描完事后,查看bitmａp，把相應位是01的整數(shù)輸出即可。方案２:也可采用與第１題類似的方法，進行劃分小文獻的方法。然后在小文獻中找出不反復的整數(shù),并排序。然后再進行歸并，注意去除反復的元素。7、騰訊面試題:給40億個不反復的uｎsignｅｄinｔ的整數(shù)，沒排過序的，然后再給一個數(shù),如何快速判斷這個數(shù)是否在那４0億個數(shù)當中?與上第6題類似,我的第一反映時快速排序+二分查找。以下是其它更好的方法:方案1：ｏo,申請512Ｍ的內(nèi)存，一個bit位代表一個unsiｇnediｎｔ值。讀入４０億個數(shù)，設立相應的ｂ