Python-Excel及Json數(shù)據(jù)與Mysql比對(duì)-附上源碼

1、Python-Excel及Json數(shù)據(jù)與Mysql對(duì)-附上源碼 Python數(shù)據(jù)對(duì) Python環(huán)境 Python：3.7.6 Pycharm：2020.1 社區(qū)版 功能簡(jiǎn)介及設(shè)計(jì)理念 功能簡(jiǎn)介： 主要來對(duì)Excel或Json報(bào)中的原始數(shù)據(jù)和存到Mysql中的數(shù)據(jù)欄位是否匹配，通過將數(shù)據(jù)統(tǒng)轉(zhuǎn)成String格式存字典再進(jìn)對(duì) 處理 核思想： 將Excel、Json或者mysql中讀取出來的數(shù)據(jù)寫字典中，通過對(duì)兩個(gè)字典的較實(shí)現(xiàn)欄位之間的對(duì) 錄結(jié)構(gòu)如下： 涉及主要模塊： 1、客戶端類： excel_compare_db_client：于對(duì)Excel中數(shù)據(jù)和Mysql中存儲(chǔ)數(shù)據(jù)欄位取值是否相同（全部轉(zhuǎn)為

2、String進(jìn)計(jì)較），并將具體差異輸 出到新的Excel中 json_compare_db_client：于對(duì)json報(bào)數(shù)據(jù)和Mysql中存儲(chǔ)數(shù)據(jù)欄位取值是否相同（全部轉(zhuǎn)為String進(jìn)計(jì)較），并將具體差異輸 出到新的Excel中 2、具類： common_convert_utils：通轉(zhuǎn)換具類，包含駝峰與下劃線格式互轉(zhuǎn)等 dicts_compare_utils：較兩個(gè)字典是否相同 file_read_write_utils：件讀取、寫等相關(guān)操作 read_excel_into_dict_utils：將Excel中的數(shù)據(jù)讀到字典中 read_json_into_dict_utils：將Json

3、報(bào)中的數(shù)據(jù)讀到字典中 read_mysql_into_dict_utils：將Mysql中查詢得到的數(shù)據(jù)讀到字典中 3、全局變量類： sys_constant：定義全局系統(tǒng)變量 Excel中數(shù)據(jù)與Mysql對(duì) 客戶端類：excel_compare_db_client 功能：于對(duì)Excel中數(shù)據(jù)和Mysql中存儲(chǔ)數(shù)據(jù)欄位取值是否相同（全部轉(zhuǎn)為String進(jìn)計(jì)較），并將具體差異輸出到新的Excel中 author：飛天警 create：2020-05-31 from constant import sys_constant from utils import dicts_compare_utils

4、 from utils import file_read_write_utils from utils import read_excel_into_dict_utils from utils import read_mysql_into_dict_utils def process(): print(=Excel數(shù)據(jù)和數(shù)據(jù)庫(kù)中（Mysql）數(shù)據(jù)對(duì)處理開始=) print(=1、讀取Excel件中對(duì)應(yīng)sheet頁(yè)數(shù)據(jù)，轉(zhuǎn)化為字典格式=) excel_data_dict = read_excel_into_dict_utils.read_excel_into_dict(sys_constant.

5、excel_file_path, sys_constant.my_sheet_name) # 2、根據(jù)sql語(yǔ)句查詢標(biāo)中數(shù)據(jù)，并轉(zhuǎn)化為list格式（list中存儲(chǔ)的元素為字典） print(n=2、根據(jù)sql語(yǔ)句查詢標(biāo)中數(shù)據(jù)，并轉(zhuǎn)化為list格式（list中存儲(chǔ)的元素為字典）=) db_dict_list = read_mysql_into_dict_utils.read_mysql_into_dict(sys_constant.my_mysql_config_file_path, sys_constant.sql_select) if len(db_dict_list) = 0: print

6、(數(shù)據(jù)庫(kù)中對(duì)應(yīng)的記錄) return # 3、開始較excel數(shù)據(jù)和數(shù)據(jù)庫(kù)欄位取值是否相同 print(n=3、開始較excel數(shù)據(jù)和數(shù)據(jù)庫(kù)欄位取值是否相同=) diff_vals_list = dicts_compare_pare_different_wih_same_key(excel_data_dict, db_dict_list0) # 4、將具體差異寫到Excel中 print(n=4、將具體差異寫到Excel中=) file_read_write_utils.write_diff_into_excel(sys_constant.excel_data_diff_file_path,

7、diff_vals_list) # 5、讀取Excel中的具體差異 print(n=5、讀取Excel中的具體差異=) file_read_write_utils.read_excel_xls(sys_constant.excel_data_diff_file_path) if _name_ = _main_: # 具體對(duì)處理 process() Json報(bào)中數(shù)據(jù)與Mysql對(duì) 功能：于對(duì)json報(bào)數(shù)據(jù)和Mysql中存儲(chǔ)數(shù)據(jù)欄位取值是否相同（全部轉(zhuǎn)為String進(jìn)計(jì)較），并將具體差異輸出到新的Excel中 author：飛天警 create：2020-05-31 from constant i

8、mport sys_constant from utils import dicts_compare_utils from utils import read_json_into_dict_utils from utils import read_mysql_into_dict_utils from utils import file_read_write_utils def process(): print(=json報(bào)和數(shù)據(jù)庫(kù)中（Mysql）數(shù)據(jù)對(duì)處理開始=) print(=1、讀取json報(bào)數(shù)據(jù)，轉(zhuǎn)化為字典格式=) json_dict = read_json_into_dict_util

9、s.read_json_into_dict(sys_constant.json_file_path, , ) # 2、根據(jù)sql語(yǔ)句查詢標(biāo)中數(shù)據(jù)，并轉(zhuǎn)化為list格式（list中存儲(chǔ)的元素為字典） print(n=2、根據(jù)sql語(yǔ)句查詢標(biāo)中數(shù)據(jù)，并轉(zhuǎn)化為list格式（list中存儲(chǔ)的元素為字典）=) db_dict_list = read_mysql_into_dict_utils.read_mysql_into_dict(sys_constant.my_mysql_config_file_path, sys_constant.sql_select) if len(db_dict_list)

10、= 0: print(數(shù)據(jù)庫(kù)中對(duì)應(yīng)的記錄) return # 3、開始較json報(bào)和數(shù)據(jù)庫(kù)欄位取值是否相同 print(n=3、開始較json報(bào)和數(shù)據(jù)庫(kù)欄位取值是否相同=) diff_vals_list = dicts_compare_pare_different_wih_same_key(json_dict, db_dict_list0) # 4、將具體差異寫到Excel中 print(n=4、將具體差異寫到Excel中=) file_read_write_utils.write_diff_into_excel(sys_constant.excel_data_diff_file_path, diff_vals_list) # 5、讀