大數(shù)據(jù)開(kāi)發(fā)工程師筆試試題（無(wú)答案）

大數(shù)據(jù)開(kāi)發(fā)工程師筆試試題（無(wú)答案）1、請(qǐng)?jiān)O(shè)計(jì)一個(gè)流式計(jì)算方法，對(duì)于源源不斷輸入的數(shù)值，實(shí)現(xiàn)以下功能（系統(tǒng)開(kāi)銷越小越好）：[多項(xiàng)簡(jiǎn)答題]1)統(tǒng)計(jì)當(dāng)前已經(jīng)輸入的全部數(shù)值中，最大的k（k>0,n>=k）個(gè)值________________________2)統(tǒng)計(jì)當(dāng)前已經(jīng)輸入的全部數(shù)值中的中位數(shù)（1個(gè)或2個(gè)）（寫出偽代碼或描述）________________________2、100維的單位向量，最大均值是多少，什么時(shí)候方差最大？（寫出數(shù)學(xué)推導(dǎo)過(guò)程）3、有n步臺(tái)階，

1)一次可以且僅可以向上走1或2步，一共有多少種走法？

2)一次可以且僅可以向上走X或y步，且滿足以下條件：

n>0,x>0,y>0

n>=x,n>=y

n%x=0,n%y=0

請(qǐng)問(wèn)一共有多少種走法？（寫出偽代碼或描述）4、找到最長(zhǎng)公共子序列（提示：子序列可以不連續(xù)），示例如下：

字符串1：cxn1ewhixope

字符串2：aneewhuovp33e

最長(zhǎng)公共子序列：newhope

利用動(dòng)態(tài)規(guī)劃算法求解該問(wèn)題（寫出偽代碼或描述）5、將6個(gè)完全相同的乒乓球放入3個(gè)完全相同的抽屜，一共有多少種放法？（給出解答過(guò)程及答案）

提示：抽屜可以為空。6、假設(shè)某服務(wù)器集群上存有20億條用戶瀏覽的商品記錄，每條記錄的大小固定為1KB，則整體的記錄大小約為1.86T。當(dāng)前可操作的機(jī)器內(nèi)存為2G，磁盤空間512G?？梢酝ㄟ^(guò)內(nèi)網(wǎng)訪問(wèn)服務(wù)器集群，查詢或獲取相關(guān)記錄。

請(qǐng)?jiān)O(shè)計(jì)方法分別滿足以下需求：

a）快速的對(duì)這20億條記錄按字母進(jìn)行升序排序。

b）快速統(tǒng)計(jì)TOP100的商品ID。PART2|【計(jì)算機(jī)原理與操作系統(tǒng)】PART3|【概率與統(tǒng)計(jì)】

1、抽查產(chǎn)品質(zhì)量時(shí)，發(fā)現(xiàn)一件次品(不合格產(chǎn)品)，這件次品來(lái)自哪條生產(chǎn)線的概率最大？2、抽查產(chǎn)品質(zhì)量時(shí)，發(fā)現(xiàn)一箱當(dāng)中有2件次品，這箱產(chǎn)品來(lái)自哪條生產(chǎn)線的概率最大？3、已知合格產(chǎn)品重量都相等，而次品重量比合格產(chǎn)品輕。抽出n件產(chǎn)品，其中有一件次品，現(xiàn)在用一個(gè)無(wú)砝碼、無(wú)標(biāo)尺的天平從這n件產(chǎn)品中找到這件次品，最少需要多少次(假設(shè)天平秤盤足夠大)？4、一件次品會(huì)被檢驗(yàn)口(共三道)成功檢出的概率有多大(即三道檢驗(yàn)口對(duì)次品識(shí)別的整體召回率)？5、有多大概率能保證該車間每天生產(chǎn)的產(chǎn)品最終出廠后的次品件數(shù)小于2件？6、該車間對(duì)A生產(chǎn)線進(jìn)行了改造，改造后用該生產(chǎn)線生產(chǎn)了50件產(chǎn)品，其中有41件合格，是否可以認(rèn)為改造后的合格率顯著高于改造前(可以自己定義“顯著”的概念，一些數(shù)值可以用字符替代)？PART4|【機(jī)器學(xué)習(xí)】1、列出幾種常用的loss函數(shù)，簡(jiǎn)述其形式、優(yōu)缺點(diǎn)和應(yīng)用場(chǎng)景。2、在NLP或CV領(lǐng)域，有哪些主要的任務(wù)，各有什么樣的應(yīng)用場(chǎng)景，分別有哪些常用算法。(NLP和CV選其中之一回答即可)。2、在分類任務(wù)中，當(dāng)樣本極不均衡時(shí)，會(huì)有什么樣的風(fēng)險(xiǎn)，有哪些解決辦法。3、在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，RNN、CNN、GNN、attention等結(jié)