機器學習 習題9-10答案20240712VIP

操作題根據(jù)教材中的說明和代碼，調(diào)試環(huán)境，實踐項目實施流程，最后輸出圖9-4，驗證書中的結(jié)論。（略）2.項目總結(jié)中提出此工程改進的角度。文本轉(zhuǎn)換為數(shù)值時，可以增加轉(zhuǎn)換維度，以增大計算量為代價，換取分類性能的提升。請修改food_security_check.py，定位到以下代碼：#訓練集文檔向量化:利用get_corpus_vectors函數(shù)對訓練集進行向量化n=3window=30model_train_words_str,corpus_vectors_train_words_str\=get_corpus_vectors(list_train_words_str,n,window)其中n參數(shù)就表示轉(zhuǎn)換的維度。教材為了便于可視化，采用了3維視角的變換。請修改n為5,10,20。觀察分類性能是否得到了提升。答：原來代碼n=3，F(xiàn)1分數(shù)為0.918當n=5時，F(xiàn)1分數(shù)為0.95當n=10時，F(xiàn)1分數(shù)為0.942當n=20時，F(xiàn)1分數(shù)為0.942可見當n=5時f1分數(shù)有所提升，分類性能變好。但是當n=10時，f1有所下降，分類性能略微下降，n繼續(xù)變大時f1維持在恒定值，分類性能保持不變。3.上述代碼中的window參數(shù)，表示一個詞與前后多少詞存在相關(guān)性。Window越大，關(guān)聯(lián)窗口越大；window越小，關(guān)聯(lián)窗口越小。在維持n=3不變的情況下，改變window。分析算法性能的改變情況。答：window=10，f1分數(shù)為0.929window=20，f1分數(shù)為0.947window=30，f1分數(shù)為0.948window=40，f1分數(shù)為0.937window=50，f1分數(shù)為0.947說明window存在一個上限，大約是30左右，達到上限之前，增大window可以使分類性能變好。達到上限以后，繼續(xù)增大，沒有明顯改變。4.教材中采用了支持向量機算法進行分類識別。請采用logistics回歸算法分類，并比較2種算法的性能差異。答：在n=3，window=30的情況下進行二者對比。Logistics算法修改代碼為：fromsklearn.linear_modelimportLogisticRegression#整理數(shù)據(jù)格式，準備訓練樣本x=dfA.iloc[::n].values.tolist()y=dfA.iloc[:nl.values.tolist()print("x:\n".x)print("y:\n".y)#開始訓練clf=LogisticRegression(solver='liblinear')clf.fit(x，y)結(jié)果：f1分數(shù)為0.938原來的代碼，f1分數(shù)為0.938，二者沒有明顯區(qū)別習題10操作題根據(jù)教材中的說明和代碼，調(diào)試環(huán)境，實踐項目實施流程，驗證書中的結(jié)論。略2.在test數(shù)據(jù)庫中，新創(chuàng)建customerRecommendation01表和productRecommendation01表。修改bbb04_06.scala，進行top5商品推薦，并將推薦結(jié)果寫入customerRecommendation01表和productRecommendation01表。答：關(guān)鍵代碼修改：//向所有用戶推薦排名前五的商品,show的false參數(shù)可以顯示較長字段valdf04=model.recommendForAllUsers(numItems=5)//向所有的商品推薦排名前五的用戶valdf07=model.recommendForAllItems(numUsers=5)3.在數(shù)據(jù)規(guī)模不大的情況下，可以考慮不用數(shù)據(jù)倉庫，直接用Spark處理MySQL中的消費記錄，并把結(jié)果寫入MySQL。新創(chuàng)建associationRules01表。修改bbb04_05.scala，實現(xiàn)直接用Spark讀取MySQL中的消費記錄，進行關(guān)聯(lián)規(guī)則分析，并把結(jié)果寫入associationRules01表。答：直接連接數(shù)據(jù)庫：valdf0l=spark.read.jdbc(url="idbc:mysql://192.168.152.210:3306/test",table="shopping",properties)df01.cache()最后處理的結(jié)果直接保存入數(shù)據(jù)庫：df06.coalesce(1).wri