全國熱點城市二手房信息分析

成果名稱：全國熱點城市二手房信息分析一、實踐目的1．素養(yǎng)提升（1）心智訓(xùn)練這次是有關(guān)數(shù)據(jù)庫的建立和基本的大屏制作學(xué)習(xí)，通過這次學(xué)習(xí)訓(xùn)練我們對于數(shù)據(jù)的思維方式和敏感度，無論是對整體數(shù)據(jù)處理的把握還是對于數(shù)據(jù)要求的認識我能都能從宏提升了我們的對于數(shù)據(jù)思維的心智養(yǎng)成。由于我們是統(tǒng)計專業(yè)的學(xué)生，也加深了我們對于統(tǒng)計建模應(yīng)用的認識。（2）實踐素養(yǎng)通過這幾天實際的公司項目操作我們認識到一個公司真正需要的人才技術(shù)，并且初步了解了他的難度系數(shù)，認識到要時刻從數(shù)據(jù)分析師的角度看待數(shù)據(jù)，并且對數(shù)據(jù)整合和處理出來，讓它們具有實際的意義，才能被我們所用。（3）實踐創(chuàng)新隨著高等教育規(guī)模的不斷擴大，高等教育職能正在由精英教育向素質(zhì)教育轉(zhuǎn)化．學(xué)習(xí)也正由階段教育向終身教育轉(zhuǎn)化，學(xué)習(xí)將成為個人生存、競爭、發(fā)展和完善的第一需要。在知識的無限膨脹，陳舊周期迅速縮短的情況下，大學(xué)生的社會職業(yè)將變成更加不穩(wěn)定。在創(chuàng)新意識和創(chuàng)新能力的指引下，大學(xué)生有能力在畢業(yè)之后，利用各種有利條件，根據(jù)所從事的工作不斷完善自身的知識和能力結(jié)構(gòu)，更好地達到完善自我和適應(yīng)社會的。（4）創(chuàng)業(yè)思維創(chuàng)業(yè)意識是指大學(xué)生對于知識的儲備．以及學(xué)以致用的能力。筆者認為創(chuàng)業(yè)意識具體包括以下三點。一是獨立性的思維。大學(xué)生應(yīng)做到不依賴他人的思想，做到能獨立思考問題和有自己獨特的見解和思想，獨立性思維是成功創(chuàng)業(yè)的重要基礎(chǔ)之一其重要地位可見一斑。二是靈活多變的認識問題。大學(xué)生面對問題的時候應(yīng)從不同角度去思考問題，要做到能夠觸類旁通，舉一反三，對于同一問題不同認識。在這個信息時代，我們應(yīng)該利用自己的統(tǒng)計專業(yè)知識做出貢獻。（5）大局意識在這個信息化的時代生活上我們有接觸更多數(shù)據(jù)，更有人說，每個人都是由數(shù)據(jù)構(gòu)成的，所以說對于數(shù)據(jù)的分析尤為重要。只有掌握這一認知，我們才能對數(shù)據(jù)的處理有不斷深層次的看法，加深自己的印象，用宏觀的角度完成這一任務(wù)。2．?dāng)?shù)據(jù)分析首先我們學(xué)習(xí)了帶有數(shù)據(jù)性質(zhì)的軟件，數(shù)據(jù)分析一定的帶著某種業(yè)務(wù)目的的。它可能是要追蹤一個新產(chǎn)品上線之后的用戶使用情況；也可能是觀察用戶在某段時間的留存情況，還有可能是運營某種優(yōu)惠券是否有效。帶著一定的目的，確定要從哪幾個角度進行分析。然后找到能夠說明目的的指標(biāo)。（1）數(shù)據(jù)的收集在確定了此次數(shù)據(jù)分析的核心指標(biāo)后，就要針對數(shù)據(jù)指標(biāo)做數(shù)據(jù)收集。有些企業(yè)的數(shù)據(jù)準(zhǔn)備非常充分，數(shù)據(jù)倉庫、數(shù)據(jù)集市等早早就建設(shè)好。有一些企業(yè)在數(shù)據(jù)分析上比較落后，那就需要我們自己做前期大量的數(shù)據(jù)收集工作。（2）數(shù)據(jù)處理數(shù)據(jù)提取出來之后，要剔除臟數(shù)據(jù)（清洗），然后數(shù)據(jù)轉(zhuǎn)化。在進行最基本的數(shù)據(jù)匯總、聚合之后，我們就可以拿到比較簡單的字段相對豐富的數(shù)據(jù)表。（3）數(shù)據(jù)分析數(shù)據(jù)分析是用適當(dāng)?shù)姆治龇椒肮ぞ?，對處理過的數(shù)據(jù)進行分析，提取有價值的信息，形成有效結(jié)論的過程。3．軟件能力學(xué)習(xí)Mysql數(shù)據(jù)庫的環(huán)境搭建與創(chuàng)建數(shù)據(jù)庫，Mysql數(shù)據(jù)庫的可視化使用。以及如何使用FineReport（帆軟）鏈接Mysql數(shù)據(jù)庫，并使用其中的數(shù)據(jù)制作決策報表。搭建python工作環(huán)境，同時學(xué)習(xí)了如何使用Pycharm軟件編寫Python網(wǎng)絡(luò)爬蟲在互聯(lián)網(wǎng)上爬取自己所需要的大量的信息。二、實踐內(nèi)容 本次實訓(xùn)內(nèi)容可分四大部分MySQL，帆軟，python，及講座。1. MysqlMySQL是一種開放源代碼的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)（RDBMS），MySQL數(shù)據(jù)庫系統(tǒng)使用最常用的數(shù)據(jù)庫管理語言--結(jié)構(gòu)化查詢語言（SQL）進行數(shù)據(jù)庫管理。由于MySQL是開放源代碼的，因此任何人都可以在GeneralPublicLicense的許可下下載并根據(jù)個性化的需要對其進行修改。MySQL因為其速度、可靠性和適應(yīng)性而備受關(guān)注。大多數(shù)人都認為在不需要事務(wù)化處理的情況下，MySQL是管理內(nèi)容最好的選擇。MySQL這個名字，起源不是很明確。一個比較有影響的說法是，基本指南和大量的庫和工具帶有前綴“my”已經(jīng)有10年以上，而且不管怎樣，MySQLAB創(chuàng)始人之一的MontyWidenius的女兒也叫My。這兩個到底是哪一個給出了MySQL這個名字至今依然是個迷，包括開發(fā)者在內(nèi)也不知道。MySQL的海豚標(biāo)志的名字叫“sakila”，它是由MySQLAB的創(chuàng)始人從用戶在“海豚命名”的競賽中建議的大量的名字表中選出的。獲勝的名字是由來自非洲斯威士蘭的開源軟件開發(fā)者AmbroseTwebaze提供。根據(jù)Ambrose所說，Sakila來自一種叫SiSwati的斯威士蘭方言，也是在Ambrose的家鄉(xiāng)烏干達附近的坦桑尼亞的Arusha的一個小鎮(zhèn)的名字。MySQL，雖然功能未必很強大，但因為它的開源、廣泛傳播，導(dǎo)致很多人都了解到這個數(shù)據(jù)庫。它的歷史也富有傳奇性。老師為我們講解了數(shù)據(jù)庫基本操作增，刪，改，查。除了利用MySQL的黑屏寫代碼外，老師讓我們安裝了navicat可視化軟件，這時的我們寫代碼非常便捷，可以清楚地顯示需要的數(shù)據(jù)。學(xué)習(xí)如何建一個數(shù)據(jù)庫，createdatabasemysql...在數(shù)據(jù)庫中間一個表，需注意字段名的設(shè)置，varchart型還是int型，還是float型需結(jié)合自己的表。然后就是錄入數(shù)據(jù)了，insertintostu(aqul,hh)valuesq6函數(shù)合計函數(shù)selectcount（*）fromemp最大值函數(shù)selectmax(sal)fromemp平均值函數(shù)selectavg(sal)fromemp加密selectpassword(.root.);2．帆軟帆軟軟件的使用建立在MySQL之上，是如何把報表展示出來，安裝了帆軟9.0之后，學(xué)習(xí)如何連接數(shù)據(jù)庫，新建，數(shù)據(jù)庫連接，改地址，連接、。老師帶領(lǐng)我們先建立普通報表，把已有的數(shù)據(jù)總結(jié)成表，然后就是交叉表的建立，此處的難點是如何使用父子格，不能把單元格本身設(shè)為他的父格，免得軟件陷入死循環(huán)當(dāng)中。決策報表就是整個大屏展示了。先要選擇自己要用的報表樣式，然后將它們拖在視圖中，可用餅圖將整個報表建立名稱。然后就是數(shù)據(jù)的導(dǎo)入了，要想是所需的數(shù)據(jù)導(dǎo)入在報表中，須在navicat中查詢，“select面積from表名;”當(dāng)然也可以分組“select年齡，體重groupby特征from表名”，這項操作也可以在帆軟中數(shù)據(jù)庫查詢中進行，先把想要的表拖入在然后將查詢代碼敲入即可，并可瀏覽所查詢的表。餅圖設(shè)置數(shù)據(jù)的時候?qū)⒎诸愡x擇無，以免出現(xiàn)很多單獨的餅圖。設(shè)置地圖時，若采用區(qū)域名為城市，則要加上某某市，另外直轄市與普通城市最好別放一塊，以免地圖上無法顯示。3.PythonPython主要是如何獲取想要的數(shù)據(jù)，這要求大家熟悉掌握計算機獲取數(shù)據(jù)的基本方式思想，即先發(fā)送一個請求，然后給出一些自身信息，解析數(shù)據(jù)，得到一個回應(yīng)，讀取數(shù)據(jù)，保存數(shù)據(jù),每個命令中發(fā)送請求和計算機配置名一般是固定的，只需每次更改一下解析器及條件格式。我們主要聯(lián)系了如何把影評逐個讀取出來，并在此基礎(chǔ)上進行細節(jié)更改。4.講座懷著對企業(yè)中人際關(guān)系的迫切了解，我們有幸聽到了來自西北大學(xué)歷史系的老師為我們講解了九重性格的表現(xiàn)及其作用。總之，性格無好壞之分。九重性格包括成功型，完美型，權(quán)威型，快樂型，獨特型，忠誠型，和平型，助人型，領(lǐng)袖型。完美型的人注重把每件事情都做到恰如其分。忠誠型的人物數(shù)見不鮮如周恩來。領(lǐng)袖型如毛澤東，斯大林等。權(quán)威型和領(lǐng)袖型性格特點十分相似。在講座過程當(dāng)中，老師與學(xué)生們親切互動，盡快破解了不熟悉的僵局，還讓同學(xué)們兩手相交叉通過左右拇指的上下位置去判別一個人是偏理性的還是感性的?？傊@場講座讓我對九種性格有了全新獨特的認識，并讓我發(fā)現(xiàn)自己的性格特點，為使我更好地認識自己。三、實踐過程本次夏季短學(xué)期實踐活動周，我們在北京光環(huán)致成國際管理咨詢有限公司的三位老師的指導(dǎo)下度過，其主體分為四大部分，分別是1、學(xué)習(xí)Mysql數(shù)據(jù)庫的環(huán)境搭建與創(chuàng)建數(shù)據(jù)庫，并且學(xué)習(xí)了Mysql數(shù)據(jù)庫的可視化使用。2、學(xué)習(xí)了如何使用FineReport（帆軟）鏈接Mysql數(shù)據(jù)庫，并使用其中的數(shù)據(jù)制作決策報表。3、學(xué)習(xí)了如何搭建python工作環(huán)境，同時學(xué)習(xí)了如何使用Pycharm軟件編寫Python網(wǎng)絡(luò)爬蟲在互聯(lián)網(wǎng)上爬取自己所需要的大量的信息。4、小組成員合作使用FineReport及其他實踐所學(xué)知識，制作了一份有關(guān)全國二手房出售信息的決策報表（如圖），并且完成了實踐周的項目答辯。具體實踐內(nèi)容：1、 Mysql數(shù)據(jù)庫相關(guān)內(nèi)容的學(xué)習(xí)（6.24—6.26）學(xué)習(xí)了數(shù)據(jù)和數(shù)據(jù)庫的相關(guān)概念，了解了數(shù)據(jù)的多種格式以及目前廣泛使用的多種數(shù)據(jù)庫。成功安裝了Mysql運行環(huán)境以及Mysql數(shù)據(jù)庫，為接下來的工作做好了準(zhǔn)備。同時學(xué)習(xí)了NavicatPremium的使用方法，使Mysql數(shù)據(jù)庫不再只是在DOS環(huán)境下運行，賦予了它可視化操作的手段，使得接下來的學(xué)習(xí)變得更加簡單易上手。2、 FineReport軟件的學(xué)習(xí)（6.27—7.1）學(xué)習(xí)了FineReport（帆軟）的使用方法，通過連接到第一部分學(xué)習(xí)時搭建的數(shù)據(jù)庫取得數(shù)據(jù)，然后對數(shù)據(jù)進行可視化處理，使得雜亂的數(shù)據(jù)變得有序，并且通過FineReport內(nèi)的功能，使得數(shù)據(jù)所反映的信息更加簡潔明了，可以很直觀的將結(jié)果表現(xiàn)在決策報表上，F(xiàn)ineReport的學(xué)習(xí)成果是十分有用的，無論是對日后的就業(yè)還是其他方面，都可以成為個人能力的一部分，使自己在和他人的競爭中取得優(yōu)勢。3、 Python網(wǎng)絡(luò)爬蟲的學(xué)習(xí)（7.2—7.4）學(xué)習(xí)了Python環(huán)境的搭建以及Pycharm的安裝，在學(xué)習(xí)Html源代碼的構(gòu)成知識后，找到了貓眼電影榜單頁面源代碼中的數(shù)據(jù)信息，并成功地在Pycharm中編寫了一個Python爬蟲用于爬取貓眼電影榜單前一百名的影片信息作為練習(xí)。之后學(xué)習(xí)了兩種將爬蟲爬取到的數(shù)據(jù)保存在本地計算機中的方法（以.txt文件進行存儲和使用Mysql數(shù)據(jù)庫進行存儲）。還自行編寫了另一個Python爬蟲用于獲取全國熱點城市的二手房出售信息作為答辯報告的數(shù)據(jù)獲取方式。還學(xué)習(xí)了使用八爪魚軟件對目標(biāo)網(wǎng)頁進行數(shù)據(jù)爬取的操作。4、 小組合作制作決策報表并進行答辯（7.4—7.5）本組經(jīng)過商討確定達標(biāo)報告題目為《全國熱點城市二手房出售情況》，在第一部分的搭建的數(shù)據(jù)庫下存儲了第三部分學(xué)習(xí)的爬蟲所獲取的數(shù)據(jù)，同時在第二部分制作報表時加以引用這些數(shù)據(jù)作為支撐。在小組的分工合作下，我們?nèi)缙谕瓿闪藞蟊聿⒓恿舜疝q。小組分工如下：數(shù)據(jù)收集：袁雯麗、羅倩報表制作：羅倩、丑沛汕、李濰杉報表后期修改：袁雯麗答辯：丑沛汕圖片素材收集及其他：李濰杉、羅倩實踐體會通過本次實訓(xùn),我們學(xué)習(xí)到了Python語言理論基礎(chǔ)、爬蟲理論基礎(chǔ)、Mysql基本數(shù)據(jù)操作以及帆軟軟件的使用，并且進行了實戰(zhàn)操作、對拉勾網(wǎng)招聘信息的抓取。實訓(xùn)鍛煉了我們的編程能力，把學(xué)習(xí)的理論知識運用于實踐當(dāng)中，有利于融會貫通。同時，也能開拓了視野，完善了我的知識結(jié)構(gòu)。實訓(xùn)是為了讓學(xué)生對專業(yè)知識形成一個客觀、理性的認識，從而不與社會現(xiàn)實相脫節(jié)。通過對實際開發(fā)的模擬訓(xùn)練,讓我們把學(xué)到的知識點付諸實戰(zhàn),最大程度地體驗到了實際開發(fā)的流程,完成理論到認知的全過程。首先，我們了解了何為大數(shù)據(jù)，它有什么用處，以及與我們的關(guān)系。老實說，在此之前我們并沒有接觸過，也從未聽說過。這次在幾位實習(xí)老師的領(lǐng)導(dǎo)下我們親密的接觸了大數(shù)據(jù)，并跟隨老師的腳步進行了上機操作，了解了它的一些最常用的功能?？偟膩碚f，大數(shù)據(jù)與當(dāng)今信息社會的關(guān)系，就如同魚兒與水一樣。我們每天上網(wǎng)查找信息，我們的上網(wǎng)痕跡會被記錄下來，整理匯總，再經(jīng)過反饋，最后在我們下一次瀏覽網(wǎng)頁時它就會給出我們可能需要的推薦內(nèi)容。上網(wǎng)購物的道理也大同小異。后臺人員根據(jù)我們往常的購買記錄做出分析匯總，最后在我們下次購物時給出推薦。其次，我們此次校內(nèi)實習(xí)以小組的形式展開，因此對于團隊協(xié)作的精髓亦深有體會。我們小組共有五名成員：在完成報告成果之時，我們大家分享了各自的學(xué)習(xí)心得，分別發(fā)表了對于大數(shù)據(jù)的看法和認識，交流了學(xué)習(xí)中遇到的疑惑。經(jīng)過一番討論，大家均表示大數(shù)據(jù)很有時代性。由于我們身處信息社會每天每時每刻都離不開網(wǎng)絡(luò)，然而網(wǎng)絡(luò)即大數(shù)據(jù)這個說法也實在沒錯，因此我們一致認為當(dāng)代青年必須認識和了解大數(shù)據(jù)，除此之外，至少掌握一項大數(shù)據(jù)軟件。這對于我們將來的工作和生活是極其重要和必要的。隨著不斷的學(xué)習(xí)使用，漸漸的接受了python的編碼方式，python簡單的語法的確帶來的極大的便利。我們們不需要去糾結(jié)變量的類型問題，了解了python的基本4大組件之后就可以開始我們自己的編程之路。特殊的語法規(guī)則大大的減少了代碼的數(shù)量，嚴(yán)格的縮進要求使得代碼的格式更加統(tǒng)一，交接更加便捷。針對于輕量級的任務(wù)而言，代碼透明影響不大，網(wǎng)絡(luò)上提供了大量的開源包，使得編程者的工作量驟減。為了讓我們更好的理解所學(xué)的知識，老師還為我們準(zhǔn)備與教學(xué)知識相關(guān)的實驗內(nèi)容,，一般在每堂理論課后都會有實驗課,所做的實驗都是我們剛學(xué)的那些基本的，重點的知識。這種理論與實驗相結(jié)合的方式加深了我們對教材的理解。剛開始做實驗時,因為是初學(xué)，所以老師會把所有的步驟都寫上，讓我們照著做，先熟悉它的基本操作，再慢慢的理解,時間久了，老師就會省去一些簡單的步驟,讓我們自己練習(xí)。并且每次實驗之間都有一定的聯(lián)系,比如下一次實驗時當(dāng)中有的東西就要用到上一次或前幾次的實驗內(nèi)容。如果第一次沒有做或者沒有做完，就會影響到下一次的實驗,剛開始我因為不熟就做不完，也不知道與以后的實驗是有聯(lián)系的,偶爾做完了也不知道保存，直到做到下次實驗不會做去問老師時，才知道那是上節(jié)課的內(nèi)容，于是我又們從第一次重新開始做起。這樣不僅浪費時間,而且趕不上老師的進度,每一節(jié)我就會忙于做以前的任務(wù)，而不能及時做當(dāng)天的,從而總覺得自己很忙，但又不知忙了些什么,更不能及時掌握當(dāng)天所學(xué)的知識。使不懂的知識越來越多，自然也就覺得學(xué)起來很吃力。通過為期兩周的學(xué)習(xí)，我們對大數(shù)據(jù)初步建立起了概念。運用準(zhǔn)確的計算機語言編寫出自己想要實現(xiàn)的語句，然后計算機經(jīng)過運行之