2023《數(shù)據(jù)技術(shù)及應(yīng)用》實驗指導(dǎo)書

未知驅(qū)動探索，專注成就專業(yè)《數(shù)據(jù)技術(shù)及應(yīng)用》實驗指導(dǎo)書實驗一：數(shù)據(jù)清洗與預(yù)處理實驗?zāi)康谋緦嶒炛荚谕ㄟ^對實際數(shù)據(jù)進(jìn)行清洗和預(yù)處理的過程，理解數(shù)據(jù)清洗的重要性以及常用的數(shù)據(jù)清洗方法。實驗材料計算機(jī)安裝有Python環(huán)境的操作系統(tǒng)實驗步驟下載并導(dǎo)入所需的Python庫。importpandasaspd

importnumpyasnp加載待清洗的數(shù)據(jù)集。df=pd.read_csv('data.csv')進(jìn)行數(shù)據(jù)查看和初步探索分析。#查看數(shù)據(jù)前幾行

print(df.head())

#統(tǒng)計數(shù)據(jù)維度

print(df.shape)

#查看數(shù)據(jù)基本統(tǒng)計信息

print(df.describe())

#查看缺失值情況

print(df.isnull().sum())處理缺失值。#刪除含有缺失值的行

df=df.dropna()

#填充缺失值為0

df=df.fillna(0)

#使用均值填充缺失值

df=df.fillna(df.mean())處理異常值。#刪除數(shù)值超過3倍標(biāo)準(zhǔn)差的異常值

df=df[(np.abs(df-df.mean())/df.std())<=3].dropna()數(shù)據(jù)類型轉(zhuǎn)換。#轉(zhuǎn)換日期格式

df['date']=pd.to_datetime(df['date'])

#轉(zhuǎn)換數(shù)據(jù)類型為整數(shù)

df['age']=df['age'].astype(int)數(shù)據(jù)重復(fù)處理。#查找重復(fù)值

duplicate_rows=df[df.duplicated()]

#刪除重復(fù)值

df=df.drop_duplicates()數(shù)據(jù)標(biāo)準(zhǔn)化。fromsklearn.preprocessingimportStandardScaler

#創(chuàng)建標(biāo)準(zhǔn)化對象

scaler=StandardScaler()

#標(biāo)準(zhǔn)化數(shù)據(jù)

df_scaled=scaler.fit_transform(df)數(shù)據(jù)集劃分。fromsklearn.model_selectionimporttrain_test_split

#劃分特征和標(biāo)簽

X=df.iloc[:,:-1]

y=df.iloc[:,-1]

#劃分訓(xùn)練集和測試集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)實驗總結(jié)通過本次實驗，我們學(xué)習(xí)了數(shù)據(jù)清洗的基本步驟和常用方法。數(shù)據(jù)清洗是數(shù)據(jù)分析的前提，只有經(jīng)過合理的數(shù)據(jù)清洗和預(yù)處理，我們才能得到準(zhǔn)確可信的分析結(jié)果。在實際工作中，要根據(jù)數(shù)據(jù)的具體情況選擇合適的清洗方法，并進(jìn)行多次迭代和