基于人工智能的電氣自動(dòng)化系統(tǒng)設(shè)計(jì)

摘要人工智能的思想概念是從上世紀(jì)50-60年代提出來(lái)的思想，那時(shí)的計(jì)算機(jī)運(yùn)算能力非常有限，無(wú)法對(duì)大數(shù)據(jù)量進(jìn)行快速運(yùn)算和存儲(chǔ)。當(dāng)時(shí)的計(jì)算機(jī)水平制作工藝還處于初期發(fā)展階段，相關(guān)電子材料還沒有重大突破，因此制約了大數(shù)據(jù)量運(yùn)算概念的發(fā)展和完善基礎(chǔ)。人工智能的實(shí)現(xiàn)基礎(chǔ)在于機(jī)器的自我認(rèn)知，當(dāng)前實(shí)現(xiàn)機(jī)器自我認(rèn)知的途徑主要是通過(guò)數(shù)據(jù)建模和邏輯建模，讓機(jī)器擁有自我學(xué)習(xí)的能力。人類自從有了計(jì)算機(jī)之后就逐步的開始提高計(jì)算機(jī)的計(jì)算能力，從最開始的幾兆運(yùn)算能力到現(xiàn)在的幾個(gè)吉的運(yùn)算能力，特別是摩爾定律出現(xiàn)后計(jì)算機(jī)的計(jì)算性能每?jī)赡昃蜁?huì)有一次運(yùn)算能力提升，經(jīng)過(guò)多年的發(fā)展我們的計(jì)算能力已初步具備大數(shù)據(jù)量運(yùn)算的能力，同時(shí)也得益于軟件架構(gòu)思想的提升，主要是基于分布式的軟件架構(gòu)思想以及集群協(xié)作的計(jì)算理念為實(shí)現(xiàn)大規(guī)模計(jì)算奠定基礎(chǔ)。在軟硬件具備大規(guī)模計(jì)算能力以后，就可以通過(guò)海量的數(shù)據(jù)讓機(jī)器進(jìn)行學(xué)習(xí)。成熟的機(jī)器學(xué)習(xí)有兩種模式：1.有監(jiān)督的機(jī)器學(xué)習(xí)；有監(jiān)督的機(jī)器學(xué)習(xí)主要基于數(shù)據(jù)建模，基于一定的模式規(guī)則進(jìn)行學(xué)習(xí)。主要的理論支持是基于數(shù)學(xué)的概率論，線性回歸函數(shù)等等基礎(chǔ)理論。2.無(wú)監(jiān)督的機(jī)器學(xué)習(xí)；無(wú)監(jiān)督的機(jī)器學(xué)習(xí)通常以數(shù)據(jù)的關(guān)聯(lián)關(guān)系以及相似特征進(jìn)行自歸類，自關(guān)聯(lián)的方式進(jìn)行學(xué)習(xí)然后給出判斷結(jié)果。目前主要用的算法有神經(jīng)網(wǎng)絡(luò)算法為基礎(chǔ)進(jìn)行數(shù)據(jù)建模。那么在大數(shù)據(jù)，云計(jì)算和機(jī)器學(xué)習(xí)逐步成熟的今天，在電氣自動(dòng)化領(lǐng)域完全可以集成人工智能的相關(guān)技術(shù)，通過(guò)人工智能技術(shù)來(lái)提升電氣自動(dòng)化的智能水平，同時(shí)帶來(lái)更好的社會(huì)效益。關(guān)鍵詞：人工智能，大數(shù)據(jù)，云計(jì)算，機(jī)器學(xué)習(xí)，電氣自動(dòng)化檢測(cè)，智能檢測(cè)系統(tǒng)第1章前言人工智能技術(shù)是通過(guò)機(jī)器學(xué)習(xí)加邏輯規(guī)則系統(tǒng)結(jié)合而成的一門綜合技術(shù)，通過(guò)大數(shù)據(jù)處理機(jī)器學(xué)習(xí)通過(guò)數(shù)學(xué)算法建模，對(duì)大規(guī)模數(shù)據(jù)進(jìn)行分析推理思考，從而使其能夠達(dá)到類似人類的認(rèn)知能力，隨著硬件技術(shù)的發(fā)展，包括量子計(jì)算機(jī)的出現(xiàn)，離全面超過(guò)人類的認(rèn)知能力的智能系統(tǒng)將在不遠(yuǎn)的將來(lái)誕生，人工智能系統(tǒng)依靠強(qiáng)大的算力，海量的數(shù)據(jù)，以及經(jīng)典的算法模型必然會(huì)爆發(fā)出巨大的創(chuàng)造力，隨著電氣自動(dòng)化系統(tǒng)智能的能力提升，必會(huì)提高生產(chǎn)效率，節(jié)省資源耗費(fèi)，減少電氣系統(tǒng)的故障發(fā)生率，讓電氣系統(tǒng)的運(yùn)行更加穩(wěn)定，為社會(huì)經(jīng)濟(jì)發(fā)展創(chuàng)造更多效益，為人民的的生活水平提高提供更好的動(dòng)力。1.1課題的來(lái)源和目的1.1.1人工智能化的趨勢(shì)\t"/item/%E6%96%B0%E4%B8%80%E4%BB%A3%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%8F%91%E5%B1%95%E8%A7%84%E5%88%92/_blank"人工智能技術(shù)經(jīng)過(guò)60多年的發(fā)展，目前已經(jīng)到了可以對(duì)日常生活中一些復(fù)雜的生活場(chǎng)景進(jìn)行智能化處理，目前人工智能系統(tǒng)在理論建模方面已取得重大突破，包含硬件方面的突破，比如神經(jīng)網(wǎng)絡(luò)算法，深度學(xué)習(xí)算法，量子計(jì)算機(jī)等。當(dāng)前人工智能研究在國(guó)際上也是一個(gè)耀眼的焦點(diǎn)，美國(guó)在人工智能研究領(lǐng)域處于第一梯隊(duì)，特別是美國(guó)的硅谷公司，比如大型的搜索引擎公司google，以及知名的人工智能算法研究團(tuán)隊(duì)，來(lái)自斯坦福大學(xué)的機(jī)器學(xué)習(xí)算法專業(yè)等，第二梯隊(duì)是來(lái)自我國(guó)的的一些大型互聯(lián)網(wǎng)公司，我國(guó)的型互聯(lián)網(wǎng)公司從2014年就開始進(jìn)入人工智能領(lǐng)域，比如百度人工大腦，目前是行業(yè)內(nèi)的領(lǐng)航企業(yè)，在未來(lái)了的人工智能技術(shù)領(lǐng)域，我們要繼續(xù)保持奮斗精神走在世界前沿。1.1.2傳統(tǒng)的電氣自動(dòng)化系統(tǒng)（一）現(xiàn)場(chǎng)總控與分布式控制系統(tǒng)的應(yīng)用。現(xiàn)場(chǎng)總控指的是連接智能現(xiàn)場(chǎng)設(shè)備和自動(dòng)化系統(tǒng)的通信系統(tǒng)，這一技術(shù)能夠解決智能化儀表、控制器等現(xiàn)場(chǎng)設(shè)備之間的通信問題，可以對(duì)一些高級(jí)控制系統(tǒng)之間的信息傳遞進(jìn)行控制，在電氣自動(dòng)化領(lǐng)域中都對(duì)其有所應(yīng)用。分布式控制系統(tǒng)能夠?qū)崿F(xiàn)人機(jī)交互、數(shù)字控制、以及監(jiān)控管理等功能，應(yīng)用起來(lái)較為可靠，且反應(yīng)比較靈活，具有維修簡(jiǎn)單、協(xié)調(diào)性好和控制功能齊全的優(yōu)勢(shì)。（二）遠(yuǎn)程監(jiān)控方式的應(yīng)用。對(duì)于電氣自動(dòng)化而言，長(zhǎng)久在固定的領(lǐng)域中實(shí)施監(jiān)控，并不是最終的訴求。因此，在大量的研究和拓展以后，遠(yuǎn)程監(jiān)控方式得到確立，并且在推廣應(yīng)用后獲得了人們的認(rèn)可。但是，遠(yuǎn)程監(jiān)控方式的應(yīng)用也存在著一定的限制性。例如，各種現(xiàn)場(chǎng)總控的通訊速度，并沒有辦法達(dá)到較高的特點(diǎn)，同時(shí)電廠的電氣控制部分在通訊量方面，表現(xiàn)出了較大的情況，在遠(yuǎn)程監(jiān)控方式的操作，可能會(huì)與理論上的效果存在一定的差距。建議在以后的應(yīng)用中，將電氣遠(yuǎn)程監(jiān)控方式安置在小系統(tǒng)的監(jiān)控上，盡量不要應(yīng)用到整個(gè)廠區(qū)的電氣自動(dòng)化構(gòu)建上，應(yīng)該將其優(yōu)勢(shì)更好的發(fā)揮。（三）軟件技術(shù)與電氣工業(yè)自動(dòng)化的結(jié)合。在計(jì)算機(jī)信息技術(shù)發(fā)達(dá)的今天，軟件技術(shù)與多媒體技術(shù)在自動(dòng)化的發(fā)展過(guò)程中添上了濃墨重彩的一筆，在軟件行業(yè)的自動(dòng)化應(yīng)用過(guò)程中已經(jīng)有辦公自動(dòng)化逐漸向控制環(huán)境的方向進(jìn)行轉(zhuǎn)變，隨著市場(chǎng)需求的增加，將電氣自動(dòng)化和軟件技術(shù)更加深入的聯(lián)系到一起，并且將自動(dòng)電氣化的發(fā)展推向了一種創(chuàng)新的熱潮，軟件技術(shù)不僅僅是在工業(yè)領(lǐng)域發(fā)揮出了重要的作用，同時(shí)在工業(yè)、自動(dòng)化設(shè)備的生產(chǎn)與研發(fā)等各個(gè)環(huán)節(jié)都產(chǎn)生了重要的影響，對(duì)網(wǎng)絡(luò)建設(shè)的日益完善將產(chǎn)生巨大的意義。1.2開發(fā)技術(shù)的選擇1.2.1大數(shù)據(jù)介紹大數(shù)據(jù)是指在一定的時(shí)間內(nèi)能夠處理大數(shù)據(jù)量的一種軟件技術(shù)，可以對(duì)非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，以及對(duì)實(shí)時(shí)在線離線數(shù)據(jù)進(jìn)行流式處理分析。大數(shù)據(jù)有四大特征分別是指：大數(shù)據(jù)軟件架構(gòu)思想符合處理海量數(shù)據(jù)的處理方法，及處理海量數(shù)據(jù)的特征。大數(shù)據(jù)軟件架構(gòu)思想能夠快速處理海量數(shù)據(jù)，處理海量數(shù)據(jù)的方法是基于龐大的計(jì)算集群實(shí)現(xiàn)的，及處理速度快的特征。海量數(shù)據(jù)的多樣性，現(xiàn)實(shí)世界中是一個(gè)多元文化，每一種文化都有多樣性的特征，正如我們生活存在多樣性一樣，所以說(shuō)大數(shù)據(jù)的一大特征就是數(shù)據(jù)的多樣性。在有了海量的數(shù)據(jù)后數(shù)據(jù)的價(jià)值就非常重要了，不同數(shù)據(jù)特征對(duì)分析問題處理問題具有很高的價(jià)值，所以大數(shù)據(jù)的另一特征就是數(shù)據(jù)的高價(jià)值特征。在云計(jì)算時(shí)代，大數(shù)據(jù)的計(jì)算平臺(tái)都在云處理運(yùn)算，云計(jì)算平臺(tái)提供充沛的計(jì)算能力，同時(shí)也為數(shù)據(jù)存儲(chǔ)提供了大容量的存儲(chǔ)空間，讓真正的存儲(chǔ)海量數(shù)據(jù)成為可能，另外云計(jì)算平臺(tái)為大數(shù)據(jù)的集群化運(yùn)維提供了方便，傳統(tǒng)的大數(shù)據(jù)運(yùn)維比較復(fù)雜，對(duì)機(jī)器的安裝部署，已經(jīng)集群化配置，參數(shù)調(diào)優(yōu)，數(shù)據(jù)存儲(chǔ)和等都為傳統(tǒng)的運(yùn)維方式帶來(lái)了不便，有了云計(jì)算平臺(tái)后大數(shù)據(jù)的運(yùn)算性能，數(shù)據(jù)存儲(chǔ)能力，運(yùn)維管理能力顯著提升，為建造一個(gè)人工智能平臺(tái)提供了堅(jiān)實(shí)的基礎(chǔ)。1.2.2Hadoop簡(jiǎn)介Hadoop是一個(gè)由軟件基金會(huì)所支持開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop軟件架構(gòu)思想是根據(jù)谷歌的論文思想實(shí)現(xiàn)而成的一種分布式計(jì)算軟件技術(shù)，Hadoop實(shí)現(xiàn)了集群計(jì)算和海量數(shù)據(jù)存儲(chǔ)使用的相關(guān)技術(shù)，并且將相關(guān)技術(shù)開源了出來(lái)，廣大的技術(shù)愛好者可以基于此開源軟件進(jìn)行二次開發(fā)，來(lái)實(shí)現(xiàn)不同業(yè)務(wù)場(chǎng)景下的技術(shù)要求。Hadoop有三個(gè)重要組成部分，第一部分是文件存儲(chǔ)系統(tǒng)，簡(jiǎn)稱HDFS（HadoopDirectoryFileSystem），HDFS具有高容錯(cuò)性，并且可以在低廉的硬件服務(wù)器上運(yùn)行，是因?yàn)樗辽儆?份數(shù)據(jù)備份，所以在廉價(jià)的服務(wù)器上一兩個(gè)節(jié)點(diǎn)出現(xiàn)問題也不會(huì)影響數(shù)據(jù)的正確處理，這就是它高容錯(cuò)性的特點(diǎn)，另外的一個(gè)特點(diǎn)就是高吞吐量的來(lái)訪問存儲(chǔ)的數(shù)據(jù)適合大數(shù)據(jù)量的應(yīng)用程序。第二部分就是邏輯處理運(yùn)行算部分MapReduce，MapReduce的思想就是將關(guān)鍵字作為key在各個(gè)機(jī)器節(jié)點(diǎn)上進(jìn)行文件檢索處理，將整個(gè)集群里的所有關(guān)鍵字檢索出來(lái)進(jìn)行合并累加計(jì)算然后輸出，在通過(guò)機(jī)器學(xué)習(xí)算法進(jìn)行統(tǒng)計(jì)分析，最后得出分析結(jié)果供智能系統(tǒng)參考使用。第三部分，分布式架構(gòu)思想，Hadoop具有很好的容錯(cuò)性，服務(wù)可靠性，穩(wěn)定性，彈性設(shè)計(jì)等思想保證了人工智能系統(tǒng)平臺(tái)的穩(wěn)定。1.2.3Spark簡(jiǎn)介Spark是美國(guó)加州伯克利分校的AMP實(shí)驗(yàn)室開發(fā)的一款基于內(nèi)存并行計(jì)算的分布式框架Spark是使用Scala語(yǔ)言進(jìn)行開發(fā)，它是一款參照高級(jí)語(yǔ)言編程開發(fā)一套語(yǔ)言，具有靈活的函數(shù)式編程，同時(shí)也支持面向?qū)ο缶幊?，是一個(gè)很不錯(cuò)的編程語(yǔ)言。1.Spark主要是基于內(nèi)存運(yùn)算的一個(gè)應(yīng)用思想，在進(jìn)行大數(shù)據(jù)集群計(jì)算時(shí)，它的編程運(yùn)算路徑是提前規(guī)劃好的，是一個(gè)有向的無(wú)循環(huán)圖，支持在內(nèi)存中對(duì)數(shù)據(jù)檢索計(jì)算這個(gè)速度比Hadoop基于磁盤的讀取運(yùn)行快100倍以上。2.Spark使用的編程語(yǔ)言是Scala，它的編程易用性好，Scale的函數(shù)式編程不僅大大的簡(jiǎn)化的編程的難度，對(duì)應(yīng)機(jī)器學(xué)習(xí)算法的編寫提供了很多便利使用方法，對(duì)于其他語(yǔ)言的支持也有很多好的結(jié)合方式，比如對(duì)java語(yǔ)言的支持，Scale語(yǔ)言可以運(yùn)行在Java虛擬機(jī)中等等。3.Spark有很多組件庫(kù)可以大大簡(jiǎn)化的整個(gè)系統(tǒng)的開發(fā)工作量和額難度，將現(xiàn)有的組件加入到Spark系統(tǒng)集群中就可以方便的使用，常用的組件庫(kù)有SparkCore，SparkSQL,SparkStreaming,MLLib和GraphX等組件。4.Spark的運(yùn)行范圍也很廣，具有很廣的適用性，能夠從不同數(shù)據(jù)系統(tǒng)讀取數(shù)據(jù)，比如HDFS，Cassandra，HBase，Techyon，Hive,Database,ETL等為持久層都寫原始數(shù)據(jù)，能夠以集群模式運(yùn)行或者單機(jī)版集群下管理運(yùn)行，通過(guò)自身攜帶資源調(diào)度器來(lái)管理job，完成大數(shù)據(jù)量的job程序計(jì)算。第2章系統(tǒng)設(shè)計(jì)在大數(shù)據(jù)技術(shù)應(yīng)用場(chǎng)景下的建模，一般有兩種形式的基本需求：一是實(shí)時(shí)數(shù)據(jù)流的建模，二是大批量離線數(shù)據(jù)分析建模。這兩種需求在當(dāng)前分別有不同的解決方案，對(duì)第一個(gè)需求可以使用流數(shù)據(jù)計(jì)算平臺(tái)，而對(duì)第二個(gè)需求則可以使用Hadoop或MPI等高性能集群進(jìn)行離線數(shù)據(jù)分析。然而在一般的應(yīng)用中，這兩個(gè)需求是同時(shí)產(chǎn)生，比如一個(gè)在線實(shí)時(shí)監(jiān)測(cè)系統(tǒng)，既需要有對(duì)大容量的歷史數(shù)據(jù)進(jìn)行挖掘分析，如建立一個(gè)地區(qū)的長(zhǎng)期用電波動(dòng)以及用電設(shè)備狀態(tài)分析，也有對(duì)當(dāng)前電網(wǎng)的用電異動(dòng)和設(shè)備異常變化快速反饋的實(shí)時(shí)建模。2.1功能設(shè)計(jì)2.1.1人工智能技術(shù)平臺(tái)人工智能技術(shù)平臺(tái)的主要組成部分有：1.搭建一個(gè)能存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的文件存儲(chǔ)平臺(tái)，這個(gè)結(jié)構(gòu)化和非結(jié)構(gòu)化存儲(chǔ)平臺(tái)要有很高的容錯(cuò)性，可擴(kuò)張展現(xiàn)性，穩(wěn)定性等等特點(diǎn)。然后我們可以在這個(gè)文件存儲(chǔ)平臺(tái)上面存儲(chǔ)各種格式的文件，文件的內(nèi)容可以包含一些結(jié)構(gòu)化的數(shù)據(jù)或一些非結(jié)構(gòu)化的數(shù)據(jù)，比如，數(shù)據(jù)庫(kù)的結(jié)構(gòu)化建模數(shù)據(jù)，excel文件的表格數(shù)據(jù)，word文檔的文本數(shù)據(jù)，圖片數(shù)據(jù)等等。2.需要實(shí)現(xiàn)一個(gè)分布式的計(jì)算框架，為什么需要一個(gè)分布式的計(jì)算框架，因?yàn)閷?lái)要把各式各樣的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)到一個(gè)分布式的文件存儲(chǔ)系統(tǒng)上，到時(shí)一些數(shù)據(jù)可能被存儲(chǔ)到這個(gè)文件系統(tǒng)的極個(gè)別服務(wù)器上面，那么我們的計(jì)算框架要滿足跨多臺(tái)服務(wù)器計(jì)算數(shù)據(jù)的能力，然后將各個(gè)計(jì)算節(jié)點(diǎn)的數(shù)據(jù)匯總歸納，這對(duì)分布式計(jì)算框架的計(jì)算性能要求很高，要具有很高的跨機(jī)器通信能力，并且在大規(guī)模集群的情況下可以對(duì)計(jì)算節(jié)點(diǎn)進(jìn)行job任務(wù)編排，實(shí)現(xiàn)整個(gè)集群協(xié)同作業(yè)讓整個(gè)集群運(yùn)算處在最優(yōu)的狀態(tài)下。3.實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)流計(jì)算框架，實(shí)時(shí)數(shù)據(jù)流主要是采集一些動(dòng)態(tài)物體的實(shí)時(shí)數(shù)據(jù)，有了這些實(shí)時(shí)數(shù)據(jù)就可以實(shí)現(xiàn)電氣檢測(cè)場(chǎng)景中的預(yù)測(cè)檢查，實(shí)時(shí)數(shù)據(jù)流計(jì)算框架需要具備高吞吐量數(shù)據(jù)的能力，同時(shí)具備動(dòng)態(tài)擴(kuò)展能力，快速計(jì)算結(jié)果。4.數(shù)據(jù)顯示層，數(shù)據(jù)顯示層要具備數(shù)據(jù)抽象組合能力，將不同結(jié)果列表進(jìn)行組合展示的能力5.將第2步和第3步計(jì)算的結(jié)果同步到電氣自動(dòng)化系統(tǒng)供電氣自動(dòng)化系統(tǒng)做決策依據(jù)。2.1.2數(shù)據(jù)收集來(lái)源本例針對(duì)變電檢測(cè)系統(tǒng)，變電檢測(cè)系統(tǒng)的數(shù)據(jù)來(lái)源可以有，通過(guò)傳感器檢測(cè)變電設(shè)備溫度，檢測(cè)環(huán)境溫度，濕度等，檢測(cè)電路電壓數(shù)據(jù)，檢測(cè)變壓器油溫，變電設(shè)備儲(chǔ)存油量容積，電子拍照系統(tǒng)將電路氧化信息拍照記錄等等檢測(cè)手段獲取數(shù)據(jù)，然后將這些數(shù)據(jù)收集儲(chǔ)存到HDFS文件平臺(tái)，最后HDFS文件系統(tǒng)基于收集到的數(shù)據(jù)結(jié)合歷史數(shù)據(jù)整合后供機(jī)器學(xué)習(xí)引擎計(jì)算使用。2.1.3如何將數(shù)據(jù)存儲(chǔ)到HDFS文件系統(tǒng)將從變電設(shè)備端采集的數(shù)據(jù)存放到HDFS之前要做以下幾件事情，第一需要將數(shù)據(jù)進(jìn)行必要的數(shù)據(jù)篩選，將那些無(wú)用沒有價(jià)值的數(shù)據(jù)通過(guò)數(shù)據(jù)清洗工具將他過(guò)濾掉，過(guò)濾工具可以使用Kettle或自行編寫一個(gè)MapReduce算法進(jìn)行數(shù)據(jù)清洗，第二步根據(jù)數(shù)據(jù)采集的頻率將數(shù)據(jù)緩存到一個(gè)消息隊(duì)列里，有的數(shù)據(jù)采集頻率比較高，比如電壓電流采集端每豪秒采集一次，這樣的采集頻率對(duì)于HDFS存儲(chǔ)系統(tǒng)來(lái)說(shuō)，存在大量的采集終端的情況下，HDFS系統(tǒng)無(wú)法快速響應(yīng)存儲(chǔ)請(qǐng)求，反而會(huì)拉低系統(tǒng)整體性能，因此需要加一個(gè)數(shù)據(jù)緩沖隊(duì)列，將采集到的數(shù)據(jù)統(tǒng)一緩存到數(shù)據(jù)隊(duì)列，然后再通過(guò)數(shù)據(jù)隊(duì)列將數(shù)據(jù)輸送到HDFS文件存儲(chǔ)系統(tǒng)。HDFS流程圖如下圖2-1HDFS流程2.1.4Spark計(jì)算學(xué)習(xí)引擎將數(shù)據(jù)存儲(chǔ)到HDFS以后，通過(guò)使用Spark的分布式計(jì)算學(xué)習(xí)引擎檢測(cè)數(shù)據(jù)異動(dòng)情況，使用Spark的分布式計(jì)算學(xué)習(xí)引擎前需要先建立學(xué)習(xí)模型，建立訓(xùn)練模型前要分析所建模型的數(shù)據(jù)特征，根據(jù)特征建模，特征的選擇要基于業(yè)務(wù)的特點(diǎn)進(jìn)行分析，好的特征能夠影響建模的好壞，選取完特征后就可以對(duì)這些特征進(jìn)行建模訓(xùn)練，將訓(xùn)練好的模型作為驗(yàn)證數(shù)據(jù)好壞的一個(gè)標(biāo)準(zhǔn)，然后每次加入的數(shù)據(jù)計(jì)算后使用模型進(jìn)行概率驗(yàn)證是否正確，然后經(jīng)驗(yàn)證結(jié)果保存的結(jié)果表中通知給變電檢測(cè)系統(tǒng)作為業(yè)務(wù)決策才參考。另外，也可以通過(guò)視圖層展示計(jì)算結(jié)果。圖2-2Sprak計(jì)算流程2.1.5變電檢測(cè)系統(tǒng)和人工智能平臺(tái)對(duì)接傳統(tǒng)的變電檢測(cè)系統(tǒng)根據(jù)邏輯算法，規(guī)則設(shè)定，條件判斷等形式處理系統(tǒng)運(yùn)行中遇到的各種問題，基于這些規(guī)則算法往往能解決一部分問題，但隨著經(jīng)濟(jì)的發(fā)展，使用電量的增加變電設(shè)施越來(lái)越多，一個(gè)好的變電檢測(cè)系統(tǒng)能省去大量的人工成本，提高效率，并且隨著歷史數(shù)據(jù)的堆積，和環(huán)境的變化能處理的問題將越來(lái)越復(fù)雜。隨著技術(shù)的發(fā)展變電檢測(cè)技術(shù)和人工智能技術(shù)的結(jié)合是越來(lái)越必要了，人工智能技術(shù)能將歷史數(shù)據(jù)收集起來(lái)，將現(xiàn)有采集的數(shù)據(jù)和歷史數(shù)據(jù)一起進(jìn)行數(shù)據(jù)學(xué)習(xí)運(yùn)行得出更準(zhǔn)確的決策依據(jù)，人工智能技術(shù)是依據(jù)大數(shù)據(jù)進(jìn)行數(shù)據(jù)學(xué)習(xí)運(yùn)算的，其特點(diǎn)就是數(shù)據(jù)量大，數(shù)據(jù)多樣性，數(shù)據(jù)價(jià)值更高，處理速度快等特點(diǎn)，基于以上特點(diǎn)比傳統(tǒng)的專家系統(tǒng)各有準(zhǔn)確性，更加靈活，更便捷的處理特殊場(chǎng)景，比如圖片識(shí)別，對(duì)于圖片上一些細(xì)微的變化有很好的捕捉能力，并且可以處理大量的圖片數(shù)據(jù)。因此，需要設(shè)計(jì)一個(gè)基于人工智能技術(shù)的變電檢測(cè)系統(tǒng)，變電檢測(cè)系統(tǒng)需要提供數(shù)據(jù)輸入接口，根據(jù)人工智能平臺(tái)運(yùn)算后的數(shù)據(jù)進(jìn)行業(yè)務(wù)處理。圖2-3變電檢測(cè)流程在數(shù)據(jù)處理方式上，分離線數(shù)據(jù)方式和實(shí)時(shí)在線處理方式，基于目前的計(jì)算機(jī)處理能力，在離線數(shù)據(jù)處理主要針對(duì)整個(gè)數(shù)據(jù)集進(jìn)行完整的數(shù)據(jù)計(jì)算處理，從理論上說(shuō)離線處理更高復(fù)雜，但計(jì)算處理效果也是最好的一種方式，而實(shí)時(shí)在線數(shù)據(jù)處理基于目前的計(jì)算能力只能實(shí)現(xiàn)一些較為普通的計(jì)算任務(wù)處理。因此我們將根據(jù)各種計(jì)算方式各自的計(jì)算特點(diǎn)進(jìn)行側(cè)重使用，使用混合架構(gòu)較為合適，在混合架構(gòu)模式下才能充分發(fā)揮各個(gè)場(chǎng)景下的計(jì)算性能最大化。圖2-4Hadoop+Spark混合架構(gòu)2.2平臺(tái)整體架構(gòu)人工智能技術(shù)平臺(tái)總體架構(gòu)技術(shù)使用，最底層使用的是HDFS技術(shù)，HDFS實(shí)現(xiàn)了分布式文件存儲(chǔ)的能力，具備高可用性，可維護(hù)性，和可擴(kuò)展性。第二層使用Spark計(jì)算框架，Spark計(jì)算框架使用通過(guò)Scale語(yǔ)言編程實(shí)現(xiàn)的，Spark計(jì)算框架的實(shí)現(xiàn)思路是將存儲(chǔ)在磁盤上的數(shù)據(jù)加載到內(nèi)存中進(jìn)行計(jì)算，然后通過(guò)調(diào)度算法對(duì)將要計(jì)算的job任務(wù)進(jìn)行合理分配，具體使用的調(diào)度算法是有向不循環(huán)圖技術(shù)，同時(shí)也提供了很多機(jī)器學(xué)習(xí)算法庫(kù)，以及一些自定義算子的編寫函數(shù)，大大的方便了開發(fā)人員的編程工作。第三層是各種平臺(tái)的數(shù)據(jù)交互接口，可以在第三層將第二層的運(yùn)算結(jié)果同步的電氣自動(dòng)檢測(cè)系統(tǒng)中，然后觸發(fā)電氣自動(dòng)檢測(cè)系統(tǒng)的后續(xù)業(yè)務(wù)處理中。圖2-5基于人工智能平臺(tái)設(shè)計(jì)的整體流程圖圖2-6人工智能平臺(tái)總體架構(gòu)2.3本章小結(jié)本章主要介紹了人工智能系統(tǒng)的架構(gòu)設(shè)計(jì)思想，提出了人工智能平臺(tái)總體三層架構(gòu)，分別是基礎(chǔ)數(shù)據(jù)存儲(chǔ)層、業(yè)務(wù)計(jì)算服務(wù)層，以及數(shù)據(jù)結(jié)果導(dǎo)向?qū)?，同時(shí)，針對(duì)本文的重點(diǎn)工作內(nèi)容：人工智能機(jī)器學(xué)習(xí)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)，提出了整體的設(shè)計(jì)思路。第3章系統(tǒng)實(shí)現(xiàn)本文主要目標(biāo)是設(shè)計(jì)和實(shí)現(xiàn)一個(gè)可擴(kuò)展、實(shí)用性和靈活性兼?zhèn)涞娜斯ぶ悄芷脚_(tái)，該平臺(tái)能充分發(fā)揮分布式計(jì)算集群的優(yōu)勢(shì)，并利用良好的對(duì)象與類封裝便于平臺(tái)的擴(kuò)展，達(dá)到靈活性的目標(biāo)。3.1功能模塊3.1.1搭建HDFS文件存儲(chǔ)系統(tǒng)下載Hadoop安裝包Wget/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0-src.tar.gz解壓安裝包tarzxvf

hadoop-3.0.0-src.tar.gz配置Hadoop的環(huán)境變量vi/etc/profile（三臺(tái)機(jī)器）增加以下配置#Hadoop3.0exportHADOOP_PREFIX=/home/hadoop/hadoop-3.0.0exportPATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbinexportHADOOP_COMMON_HOME=$HADOOP_PREFIXexportHADOOP_HDFS_HOME=$HADOOP_PREFIXexportHADOOP_MAPRED_HOME=$HADOOP_PREFIXexportHADOOP_YARN_HOME=$HADOOP_PREFIXexportHADOOP_INSTALL=$HADOOP_PREFIXexportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/nativeexportHADOOP_CONF_DIR=$HADOOP_PREFIXexportHADOOP_PREFIX=$HADOOP_PREFIXexportHADOOP_LIBEXEC_DIR=$HADOOP_PREFIX/libexecexportJAVA_LIBRARY_PATH=$HADOOP_PREFIX/lib/native:$JAVA_LIBRARY_PATHexportHADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoopsource/etc/profile修改配置文件vi/etc/hosts(三臺(tái)機(jī)器)增加以下配置01node1002node1003node103vi

/home/hadoop/hadoop-3.0.0/etc/hadoop/core-site.xml（三臺(tái)機(jī)器）<configuration><property><name>fs.defaultFS</name><value>hdfs://node101:9000</value><description>HDFS的URI，文件系統(tǒng)://namenode標(biāo)識(shí):端口</description></property><property><name>hadoop.tmp.dir</name><value>/opt/hadoop</value><description>namenode上傳到hadoop的臨時(shí)文件夾</description></property><property><name>fs.checkpoint.period</name><value>3600</value><description>用來(lái)設(shè)置檢查點(diǎn)備份日志的最長(zhǎng)時(shí)間</description></property></configuration>vim

/home/hadoop/hadoop-3.0.0/etc/hadoop/hdfs-site.xml（三臺(tái)機(jī)器）<configuration><property><name>dfs.replication</name><value>3</value><description>副本個(gè)數(shù)，默認(rèn)配置是3，應(yīng)小于datanode機(jī)器數(shù)量</description></property><property><name>.dir</name><value>/home/hadoop/hadoop-3.0.0/hdfs/name</value><description>datanode上存儲(chǔ)hdfs名字空間元數(shù)據(jù)</description></property><property><name>dfs.data.dir</name><value>/home/hadoop/hadoop-3.0.0/hdfs/data</value><description>datanode上數(shù)據(jù)塊的物理存儲(chǔ)位置</description></property></configuration>vim

/home/hadoop/hadoop-3.0.0/etc/hadoop/hadoop-env.sh

（三臺(tái)機(jī)器）設(shè)置java_home(54行左右)exportJAVA_HOME=/usr/java/jdk1.8.0_11vi

/home/hadoop/hadoop-3.0.0/etc/hadoop/worker（namenode節(jié)點(diǎn)機(jī)器）node101node102node103備注：node101、node102、node103分別是三臺(tái)服務(wù)器設(shè)置的名稱初始化namenode節(jié)點(diǎn)/home/hadoop/hadoop-3.0.0/bin/hadoopnamenode-format啟動(dòng)HDFS/home/hadoop/hadoop-3.0.0/sbin/start-dfs.sh檢查HDFS集群?jiǎn)?dòng)情況jps在namenode節(jié)點(diǎn)的機(jī)器上能看到namenode和datanode兩個(gè)進(jìn)程，在datanode節(jié)點(diǎn)的機(jī)器上只能看到datanode進(jìn)程，我安裝的namenode在node101機(jī)器上，datanode是101~1033.1.2Spark環(huán)境搭建安裝前準(zhǔn)備Spark下載由于我們的Hadoop的版本是2.7.6.所以在選中Spark版本的時(shí)候,要注意.要選中pre-builtforapachehadoop2.7andlater的版本#下載Spark[root@spark-masterlocal]#wget/apache/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz#解壓[root@spark-masterlocal]#tar-xvfspark-2.3.0-bin-hadoop2.7.tgz#重命名文件夾[root@spark-masterlocal]#tar-xvfspark-2.3.0-bin-hadoop2.7spark-2.3.0環(huán)境配置#配置環(huán)境變量exportSPARK_HOME=/usr/local/spark-2.3.0exportPATH=$PATH:$SPARK_HOME/bin#使環(huán)境變量生效[root@spark-masterlocal]#source/etc/profileScala的安裝Spark需要安裝Scala語(yǔ)言的支持,在Spark的下載頁(yè)面,我們看到要求最低的版本是Scala2.10我們這里安裝的是Scala-2.12.6#解壓[root@spark-masteropt]#tar-xvfscala-2.12.6.tgz#配置環(huán)境變量[root@spark-masteropt]#vim/etc/profileexportSCALA_HOME=/usr/scala-2.12.6exportPATH=$PATH:$SCALA_HOME/bin#使環(huán)境變量生效[root@spark-masteropt]#source/etc/profile#檢查是否配置成功[root@spark-masteropt]#scala-versionScalacoderunnerversion2.12.6--Copyright2002-2018,LAMP/EPFLandLightbend,Inc.安裝完成之后,安裝同樣的步驟安裝到另外兩臺(tái)slave機(jī)器上修改配置文件需要修改的配置文件有兩個(gè)spark-env.sh,spark-defaults.conf,slavesspark-env.sh#復(fù)制模版配置文件[root@spark-masterspark-2.3.0]#cpconf/spark-env.sh.templateconf/spark-env.sh#修改配置文件.[root@spark-masterspark-2.3.0]#vimconf/spark-env.shexportJAVA_HOME=/opt/jdk1.8.0_144exportSCALA_HOME=/opt/scala-2.12.6exportHADOOP_HOME=/usr/local/hadoop-2.7.6/exportHADOOP_CONF_DIR=/usr/local/hadoop-2.7.6/etc/hadoop#定義管理端口exportSPARK_MASTER_WEBUI_PORT=8088#定義master域名和端口exportSPARK_MASTER_HOST=spark-masterexportSPARK_MASTER_PORT=7077#定義master的地址slave節(jié)點(diǎn)使用exportSPARK_MASTER_IP=spark-master#定義work節(jié)點(diǎn)的管理端口.work節(jié)點(diǎn)使用exportSPARK_WORKER_WEBUI_PORT=8088#每個(gè)worker節(jié)點(diǎn)能夠最大分配給exectors的內(nèi)存大小exportSPARK_WORKER_MEMORY=4gslaves#復(fù)制模版配置文件[root@spark-masterspark-2.3.0]#cpconf/slaves.templateconf/slaves#修改配置文件.[root@spark-masterspark-2.3.0]#vimconf/slavesspark-slave1spark-slave2spark-defaults.conf[root@spark-masterspark-2.3.0]#vimconf/spark-defaults.confspark.eventLog.enabled=truespark.eventLpress=true#保存在本地#spark.eventLog.dir=file://usr/local/hadoop-2.7.6/logs/userlogs#spark.history.fs.logDirectory=file://usr/local/hadoop-2.7.6/logs/userlogs#保存在hdfs上spark.eventLog.dir=hdfs://spark-master:9000/tmp/logs/root/logsspark.history.fs.logDirectory=hdfs://spark-master:9000/tmp/logs/root/logsspark.yarn.historyServer.address=spark-master:180803.1.3配置百度大腦機(jī)器學(xué)習(xí)引擎使用maven依賴：添加以下依賴即可。其中版本號(hào)可在maven官網(wǎng)查詢<dependency><groupId>com.baidu.aip</groupId><artifactId>java-sdk</artifactId><version>${version}</version></dependency>直接使用JAR包步驟如下：1.在官方網(wǎng)站下載JavaSDK壓縮工具包。2.將下載的aip-java-sdk-version.zip解壓后，復(fù)制到工程文件夾中。3.在Eclipse右鍵“工程->Properties->JavaBuildPath->AddJARs”。4.添加SDK工具包aip-java-sdk-version.jar和第三方依賴工具包json-20160810.jar

slf4j-api-1.7.25.jar

slf4j-simple-1.7.25.jar（可選）。其中，version為版本號(hào)，添加完成后，用戶就可以在工程中使用ContentCensorJavaSDK。新建AipContentCensorAipContentCensor是圖像審核的Java客戶端，為使用圖像審核的開發(fā)人員提供了一系列的交互方法。用戶可以參考如下代碼新建一個(gè)AipContentCensor,初始化完成后建議單例使用,避免重復(fù)獲取access_token：publicclassSample{//設(shè)置APPID/AK/SKpublicstaticfinalStringAPP_ID="你的AppID";publicstaticfinalStringAPI_KEY="你的ApiKey";publicstaticfinalStringSECRET_KEY="你的SecretKey";publicstaticvoidmain(String[]args){//初始化一個(gè)AipContentCensorAipContentCensorclient=newAipContentCensor(APP_ID,API_KEY,SECRET_KEY);//可選：設(shè)置網(wǎng)絡(luò)連接參數(shù)client.setConnectionTimeoutInMillis(2000);client.setSocketTimeoutInMillis(60000);//可選：設(shè)置代理服務(wù)器地址,http和socket二選一，或者均不設(shè)置client.setHttpProxy("proxy_host",proxy_port);//設(shè)置http代理client.setSocketProxy("proxy_host",proxy_port);//設(shè)置socket代理//調(diào)用接口Stringpath="test.jpg";JSONObjectres=client.antiPorn(path);System.out.println(res.toString(2));}}在上面代碼中，常量APP_ID在百度云控制臺(tái)中創(chuàng)建，常量API_KEY與SECRET_KEY是在創(chuàng)建完畢應(yīng)用后，系統(tǒng)分配給用戶的，均為字符串，用于標(biāo)識(shí)用戶，為訪問做簽名驗(yàn)證，可在AI服務(wù)控制臺(tái)中的應(yīng)用列表中查看。注意：如您以前是百度云的老用戶，其中API_KEY對(duì)應(yīng)百度云的“AccessKeyID”，SECRET_KEY對(duì)應(yīng)百度云的“AccessKeySecret”。配置AipContentCensor如果用戶需要配置AipContentCensor的一些細(xì)節(jié)參數(shù)，可以在構(gòu)造AipContentCensor之后調(diào)用接口設(shè)置參數(shù)，目前只支持以下參數(shù)：接口說(shuō)明setConnectionTimeoutInMillis建立連接的超時(shí)時(shí)間（單位：毫秒）setSocketTimeoutInMillis通過(guò)打開的連接傳輸數(shù)據(jù)的超時(shí)時(shí)間（單位：毫秒）setHttpProxy設(shè)置http代理服務(wù)器setSocketProxy設(shè)置socket代理服務(wù)器（http和socket類型代理服務(wù)器只能二選一）SDK默認(rèn)使用slf4j-simple包進(jìn)行日志輸出，若用戶需要使用自定義日志實(shí)現(xiàn)，可去除slf4j-simple依賴包，再額外添加相應(yīng)的日志實(shí)現(xiàn)包即可。maven去除slf4j-simple依賴包示例：<dependency><groupId>com.baidu.aip</groupId><artifactId>java-sdk</artifactId><version>${version}</version><exclusions><exclusion><groupId>org.slf4j</groupId><artifactId>slf4j-simple</artifactId></exclusion></exclusions></dependency>接口說(shuō)明圖像檢測(cè)接口提供圖像垃圾文本識(shí)別（反作弊）、惡心圖像識(shí)別等一系列圖像識(shí)別接口的一站式服務(wù)調(diào)用，并且支持用戶在控制臺(tái)中自定義配置所有接口的報(bào)警閾值和疑似區(qū)間，上傳自定義文本黑庫(kù)和敏感物體名單等。相比于組合服務(wù)接口，本接口除了支持自定義配置外，還對(duì)返回結(jié)果進(jìn)行了總體的包裝，按照用戶在控制臺(tái)中配置的規(guī)則直接返回是否合規(guī)，如果不合規(guī)則指出具體不合規(guī)的內(nèi)容。publicvoidsample(AipContentCensorclient){//參數(shù)為本地圖片路徑Stringpath="test.jpg";JSONObjectresponse=client.imageCensorUserDefined(path,EimgType.FILE,null);System.out.println(response.toString());//參數(shù)為urlStringurl="http://testurl";response=client.imageCensorUserDefined(url,EimgType.URL,null);System.out.println(response.toString());//參數(shù)為本地圖片文件二進(jìn)制數(shù)組byte[]file=readImageFile(imagePath);response=client.imageCensorUserDefined(file,null);System.out.println(response.toString());}3.2本章小結(jié)本章主要介紹本文的主要工作：主要實(shí)現(xiàn)了人工智能平臺(tái)的機(jī)器學(xué)習(xí)算法設(shè)計(jì)與實(shí)現(xiàn)，首先本文介紹了搭建整個(gè)人工智能平臺(tái)的流程化操作，然后分別針對(duì)每個(gè)功能模塊的安裝步驟進(jìn)行的逐一介紹，hdfs主要是收集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)，在搭建的過(guò)程中要關(guān)注集群環(huán)境下的安裝配置方法，這對(duì)hdfs是否能正常工作發(fā)揮出高質(zhì)量的效果至關(guān)重要，第二步介紹了Spark計(jì)算引擎的搭建，Spark采用機(jī)器算法將寫好的算法邏輯分發(fā)到各個(gè)子服務(wù)器進(jìn)行計(jì)算匯總最后給出結(jié)果，第三不主要是按裝配置第三方應(yīng)用SDK，本例中使用的是百度大腦機(jī)器學(xué)習(xí)引擎，基于百度大腦對(duì)變電檢測(cè)中的圖片進(jìn)行故障檢測(cè)，將根據(jù)圖像特征分析將分析后的結(jié)果數(shù)據(jù)通知給變電檢測(cè)系統(tǒng)，然后再進(jìn)一步業(yè)務(wù)處理后返回給工作人員或自動(dòng)觸發(fā)應(yīng)對(duì)措施。在按照本章介紹的安裝步驟操作完成后一個(gè)人工智能化的平臺(tái)便搭建成功。第4章結(jié)果驗(yàn)證4.1驗(yàn)證HDFS安裝是否成功1.啟動(dòng)HDFSLinux命令行輸入：hdfsmaster節(jié)點(diǎn)安裝目錄下bin/start-dfs.sh啟動(dòng)后在瀏覽器輸入hdfs服務(wù)地址，查看hdfs控制臺(tái)信息HDFS所在服務(wù)器http://ip:8088/cluster4.2啟動(dòng)Spark[root@spark-masterspark-2.3.0]#sbin/start-all.sh