人工神經網絡學習ppt課件

人工神經網絡學習,人工神經網絡是一種應用類似于大腦神經突觸聯(lián)接的結構進行信息處理的數學模型， 由大量的神經元之間相互聯(lián)接構成，每兩個神經元間的連接都代表一個對于通過該連接信號的加權值,反向傳播算法，使用梯度下降來調節(jié)網絡參數以最佳擬合由輸入-輸出對組成的訓練集合 先用樣本數據訓練神經網絡時，它自動地將輸出值與期望值進行比較，得到誤差信號，再根據誤差信號，從后向前調節(jié)各神經網絡層神經元之間的連接強度，然后再進行運算，使誤差減小，再將新的輸出值與期望值進行比較，得到新的比先前小的誤差信號，再根據較小的誤差信號，從后向前重新調節(jié)各神經網絡層神經元之間的連接強度，依此不斷地多次進行，直到誤差滿足要求為止,感知器,感知器以一個實數值向量作為輸入，計算這些輸入的線性組合，如果結果大于某個閾值，就輸出1，否則輸出-1。 其中每個wi是一個實數常量，或叫做權值，用來決定輸入xi對感知器輸出的貢獻率。特別地，-w0是閾值。,f(v),x1,x2,xn,X0=1,w0,w1,w2,wn,附加一個常量輸入x0=1，前面的不等式寫成,或,感知器的表征能力,可以把感知器看作是n維實例空間（即點空間）中的超平面決策面 對于超平面一側的實例，感知器輸出1，對于另一側的實例，輸出-1 這個決策超平面方程是 可以被某個超平面分割的樣例集合，稱為線性可分樣例集合,delta法則,delta法則克服感應器法則的不足，在線性不可分的訓練樣本上，收斂到目標概念的最佳近似 delta法則的關鍵思想是，使用梯度下降來搜索可能的權向量的假設空間，以找到最佳擬合訓練樣例的權向量 把delta訓練法則理解為訓練一個無閾值的感知器（一個線性單元）,指定一個度量標準來衡量假設相對于訓練樣例的訓練誤差 其中，D是訓練樣例集合， 是訓練樣例d 的目標輸出， 是線性單元對訓練樣例d的輸出 經貝葉斯論證，對于給定的訓練數據使E最小化的假設也就是H中最可能的假設 梯度下降搜索從一個任意的初始權向量開始，然后沿誤差曲面最陡峭下降的方向，以很小的步伐反復修改這個向量，直到得到全局的最小誤差點,梯度下降法則的推導 如何發(fā)現(xiàn)沿誤差曲面最陡峭下降的方向？ 通過計算E相對向量 的每個分量的導數，這個向量導數被稱為E對于 的梯度，記作 當梯度被解釋為權空間的一個向量時，它確定了使E最陡峭上升的方向，所以這個向量的反方向給出了最陡峭下降的方向 梯度訓練法則 其中,訓練法則的分量形式： 其中 最陡峭的下降可以按照比例 改變 中的每一分量wi來實現(xiàn) 需要一個高效的方法在每一步都計算這個梯度 梯度下降權值更新法則,多層網絡和反向傳播算法,單個的感知器僅能表示線性決策面，而反向傳播算法所學習的多層網絡能夠表示種類繁多的非線性曲面。 可微閾值單元 使用什么類型的單元來構建多層網絡？ 我們需要的單元滿足的條件 輸出是輸入的非線性函數 輸出是輸入的可微函數 Sigmoid單元，類似于感知器單元，但基于一個平滑的可微閾值函數,sigmoid單元先計算它的輸入的線性組合，然后應用到一個閾值上，閾值輸出是輸入的連續(xù)函數,f(v),x1,x2,xn,X0=1,w0,w1,w2,wn,其中 sigmoid函數 也稱logistic函數 擠壓函數 輸出范圍是0到1 單調遞增 導數很容易用函數本身表示 反向傳播算法 用來學習多層網絡的權值 采用梯度下降方法試圖最小化網絡輸出值和目標值之間的誤差平方 網絡的誤差定義公式，對所有網絡輸出的誤差求和,對于每一個訓練樣例d，每個權 被增加 ： 其中，Ed是訓練樣例的誤差 隱藏單元的權值訓練法則 對于網絡中的隱藏單元的情況，推導 必須考慮 間接地影響網絡輸出，從而影響 ，,重新組織各項并使用 表示 我們得到： 其中Downstream(j)表示單元j的直接下游單元的集合,反向傳播算法面臨的學習任務 搜索一個巨大的假設空間，這個空間由網絡中所有的單元的所有可能的權值定義，得到誤差曲面 在多層網絡中，誤差曲面可能有多個局部極小值，梯度下降僅能保