人工神經(jīng)網(wǎng)絡(luò)II

1、2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 1 內(nèi) 容 前向神經(jīng)網(wǎng)絡(luò)模型 前向神經(jīng)網(wǎng)絡(luò)用途 前向神經(jīng)網(wǎng)絡(luò)訓(xùn)練 BP算法 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 2 前向神經(jīng)網(wǎng)絡(luò) 多層前向網(wǎng)絡(luò) 一個(gè)M層的多層前向網(wǎng)絡(luò)可描述為： 網(wǎng)絡(luò)包含一個(gè)輸入層（定義為第0層）和M- 1個(gè)隱層，最后一個(gè)隱層稱為輸出層； 第 l 層包含 個(gè)神經(jīng)元和一個(gè)閾值單元 （定義為每層的第0單元），輸出層不含閾值 單元； l N 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 3 前向神經(jīng)網(wǎng)絡(luò) 第 層第 個(gè)單元到第個(gè)單元的權(quán)值表為 ； 第 層（ 0

2、）第 個(gè)（ 0）神經(jīng)元的輸 入定義為 ，輸出定義 為 ，其中 為隱單元激勵(lì)函數(shù)， 常采用Sigmoid函數(shù)，即 。輸入 單元一般采用線性激勵(lì)函數(shù) ，閾值 單元的輸出始終為1； 1l i ll ij ,1 ll jj 1 0 1,1 l N i l i ll ij l j yx )( l j l j xfy )(f 1 )exp(1 )( xxf xxf)( 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 4 前向神經(jīng)網(wǎng)絡(luò) x1o1 輸出層輸出層隱藏層隱藏層輸入層輸入層 x2 o2 omxn 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 5 前向神經(jīng)

3、網(wǎng)絡(luò)用途 弄這么個(gè)東西有用么？ 怎么用呢？ 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 6 前向神經(jīng)網(wǎng)絡(luò)用途 用途非常廣泛 非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性 連續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線 性。 并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲(chǔ)存和并行 處理的，這使它具有很強(qiáng)的容錯(cuò)性和很快的處理速度。 自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能從輸入、輸 出的數(shù)據(jù)中提取出規(guī)律性的知識(shí)，記憶于網(wǎng)絡(luò)的權(quán)值中， 并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)行。 多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的

4、， 對(duì)單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式， 不必考慮各子系統(tǒng)間的解耦問題。 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 7 前向神經(jīng)網(wǎng)絡(luò)用途 Bool 函數(shù) 任何bool函數(shù)都可以用一個(gè)單隱層的網(wǎng)絡(luò)來表示 但是可能要求指數(shù)級(jí)的隱層單元個(gè)數(shù) 連續(xù)函數(shù) 每一個(gè)有界的連續(xù)函數(shù)都可以有一個(gè)兩級(jí)的網(wǎng)絡(luò) 以任意小的誤差（在有限的范數(shù)下）逼近 任意函數(shù) 任意函數(shù)都可以被一個(gè)由三級(jí)的網(wǎng)絡(luò)以任意精度 逼近 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 8 前向神經(jīng)網(wǎng)絡(luò)訓(xùn)練 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 給定一組樣本，即一組神經(jīng)網(wǎng)絡(luò)的輸入輸出，不 斷調(diào)整網(wǎng)絡(luò)中的權(quán)重

5、使得網(wǎng)絡(luò)最終能夠很好的滿 足樣本所給定的輸入輸出關(guān)系。 最基本的算法: BP算法 其它方法 Hebb學(xué)習(xí) 概率式學(xué)習(xí) 競(jìng)爭(zhēng)學(xué)習(xí) 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 9 前向神經(jīng)網(wǎng)絡(luò)訓(xùn)練 本質(zhì)：優(yōu)化如下目標(biāo)函數(shù) 其中P為樣本數(shù)， 為第p個(gè)樣本的第j個(gè)輸出 分量。是理想輸出和實(shí)際輸出的誤差函數(shù) P p N j pj M pj P p p M tyEE 11 2 , 1 , 1 1 )( 2 1 pj t , 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 10 BP算法 BP算法-前向網(wǎng)絡(luò)的訓(xùn)練算法 BP算法的出現(xiàn) 1974年，Werbos已

6、提出了該方法 1982年，Paker完成了相似的工作 UCSD PDP小組的Rumelhart、Hinton和 Williams1986年獨(dú)立地給出了BP算法清楚而簡(jiǎn)單 的描述 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 11 BP算法 算法實(shí)施過程 根據(jù)輸入輸出狀態(tài)維數(shù)決定網(wǎng)絡(luò)的輸入層和輸出 層神經(jīng)元的個(gè)數(shù) 根據(jù)問題特點(diǎn)和經(jīng)驗(yàn)決定隱層層數(shù)和神經(jīng)元個(gè)數(shù) 一般選擇 M=2 設(shè)定網(wǎng)絡(luò)的初始參數(shù) 按照梯度下降法極小化目標(biāo)函數(shù)，逐步調(diào)整權(quán)重 矩陣直到滿意為止 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 12 梯度下降算法 )(minxf ,.1 ,

7、0 ),()() 1(kkxfkxkx 求解函數(shù)優(yōu)化問題 可按照如下公式迭代 其中序列初值任取 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 13 BP算法 P p l pi l pj ll ij ll ij ll ij ll ij kykk kEkk 1 1 , , 1 , 1, 1, 1 )()()( )(/)()1( 1 1 11 , , , , 1 , 2),()()( 1),()( )(l N m l jm l pm l pj l pjpj l pj l pj Mlkkkxf Mlkxftky k 梯度下降法 2021/4/26 by 謝廣明 ， 200520

8、06學(xué)年度第一學(xué)期 14 BP算法 特點(diǎn)： 網(wǎng)絡(luò)權(quán)重的調(diào)節(jié)上用的是梯度下降算法 容易推廣到任意有向網(wǎng)絡(luò) 訓(xùn)練的時(shí)候迭代的次數(shù)可能很多，慢 訓(xùn)練后使用網(wǎng)絡(luò)會(huì)非?？?問題 收斂性和局部極小值 過擬和的問題:指網(wǎng)絡(luò)訓(xùn)練精度很高,但推廣檢驗(yàn)樣 本精度較差,也稱為網(wǎng)絡(luò)的泛化能力差 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 15 算法設(shè)計(jì) 輸入/輸出變量的確定及其數(shù)據(jù)的預(yù)處理 網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影 響因子或自變量）數(shù)，一般根據(jù)專業(yè)知識(shí)確定。 若輸入變量較多，一般可通過主成份分析方法壓 減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng) 誤差與原系統(tǒng)誤差的比值的大小

9、來壓減輸入變量。 輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能 指標(biāo)或因變量），可以是一個(gè)，也可以是多個(gè)。 一般將一個(gè)具有多個(gè)輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個(gè) 具有一個(gè)輸出的網(wǎng)絡(luò)模型效果會(huì)更好，訓(xùn)練也更 方便。 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 16 算法設(shè)計(jì) 樣本數(shù)據(jù)收集和整理分組 采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有 足夠多典型性好和精度高的樣本。 為訓(xùn)練過程使之不發(fā)生“過擬合”和評(píng)價(jià)建立的 網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù) 據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本（10%以上）和 測(cè)試樣本（10%以上）3部分。 此外，數(shù)據(jù)分組時(shí)還應(yīng)盡可能考慮樣本模式間的

10、平衡。 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 17 算法設(shè)計(jì) 由于采用Sigmoid轉(zhuǎn)換函數(shù)，為提高訓(xùn)練速度和靈 敏性以及有效避開Sigmoid函數(shù)的飽和區(qū)，一般要求 輸入數(shù)據(jù)的值在01之間。因此，要對(duì)輸入數(shù)據(jù)進(jìn)行 預(yù)處理。 如果輸出層節(jié)點(diǎn)也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變量 也必須作相應(yīng)的預(yù)處理，否則，輸出變量也可以不 做預(yù)處理。 預(yù)處理的方法有多種多樣，各文獻(xiàn)采用的公式也不 盡相同。預(yù)處理的數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié) 果要進(jìn)行反變換才能得到實(shí)際值。 為保證建立的模型具有一定的外推能力，最好使數(shù) 據(jù)預(yù)處理后的值在0.20.8之間。 2021/4/26 by

11、 謝廣明 ， 20052006學(xué)年度第一學(xué)期 18 算法設(shè)計(jì) 隱層數(shù) 一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文獻(xiàn)認(rèn)為 不一定能有效降低），提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從 而增加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和出現(xiàn)“過擬合”的傾向。 應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個(gè)隱層）。 一般地，靠增加隱層節(jié)點(diǎn)數(shù)來獲得較低的誤差，其訓(xùn)練效 果要比增加隱層數(shù)更容易實(shí)現(xiàn)。 對(duì)于沒有隱層的神經(jīng)網(wǎng)絡(luò)模型，實(shí)際上就是一個(gè)線性或非 線性（取決于輸出層采用線性或非線性轉(zhuǎn)換函數(shù)型式）回 歸模型。因此，一般認(rèn)為，應(yīng)將不含隱層的網(wǎng)絡(luò)模型歸入 回歸分析中，技術(shù)已很成熟，沒有必要在神經(jīng)網(wǎng)絡(luò)理論中 再討論之。 2021/4/26 by 謝廣明

12、， 20052006學(xué)年度第一學(xué)期 19 算法設(shè)計(jì) 隱層節(jié)點(diǎn)數(shù) 隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對(duì)建立的神經(jīng)網(wǎng)絡(luò)模 型的性能影響很大，而且是訓(xùn)練時(shí)出現(xiàn)“過擬合”的直接 原因，但是目前理論上還沒有一種科學(xué)的和普遍的確定方 法。 目前多數(shù)文獻(xiàn)中提出的確定隱層節(jié)點(diǎn)數(shù)的計(jì)算公式都是針 對(duì)訓(xùn)練樣本任意多的情況，而且多數(shù)是針對(duì)最不利的情況， 一般工程實(shí)踐中很難滿足，不宜采用。 確定隱層節(jié)點(diǎn)數(shù)的最基本原則是：在滿足精度要求的前提 下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點(diǎn)數(shù)。 研究表明，隱層節(jié)點(diǎn)數(shù)不僅與輸入/輸出層的節(jié)點(diǎn)數(shù)有關(guān)， 更與需解決的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本 數(shù)據(jù)的特性等因素有關(guān)。

13、2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 20 算法設(shè)計(jì) 在確定隱層節(jié)點(diǎn)數(shù)時(shí)必須滿足下列條件： 隱層節(jié)點(diǎn)數(shù)必須小于N-1（其中N為訓(xùn)練樣本數(shù)）， 否則，網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓(xùn)練樣本的特性無 關(guān)而趨于零，即建立的網(wǎng)絡(luò)模型沒有泛化能力， 也沒有任何實(shí)用價(jià)值。同理可推得：輸入層的節(jié) 點(diǎn)數(shù)（變量數(shù)）必須小于N-1。 訓(xùn)練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，一般 為210倍，否則，樣本必須分成幾部分并采用 “輪流訓(xùn)練”的方法才可能得到可靠的神經(jīng)網(wǎng)絡(luò) 模型。 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 21 算法設(shè)計(jì) 折衷選擇 若隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)可能

14、根本不能訓(xùn)練或網(wǎng)絡(luò)性能很 差； 若隱層節(jié)點(diǎn)數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一 方面使網(wǎng)絡(luò)訓(xùn)練時(shí)間延長(zhǎng)，另一方面，訓(xùn)練容易陷入局部 極小點(diǎn)而得不到最優(yōu)點(diǎn)，也是訓(xùn)練時(shí)出現(xiàn)“過擬合”的內(nèi) 在原因。 合理隱層節(jié)點(diǎn)數(shù)應(yīng)在綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大 小的情況下用節(jié)點(diǎn)刪除法和擴(kuò)張法確定。 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 22 算法設(shè)計(jì) 迄今為止還沒有構(gòu)造性結(jié)論，即在給定有限個(gè)（訓(xùn) 練）樣本的情況下，如何設(shè)計(jì)一個(gè)合理的BP網(wǎng)絡(luò)模 型并通過向所給的有限個(gè)樣本的學(xué)習(xí)（訓(xùn)練）來滿 意地逼近樣本所蘊(yùn)含的規(guī)律（函數(shù)關(guān)系，不僅僅是 使訓(xùn)練樣本的誤差達(dá)到很?。┑膯栴}。 通過

15、訓(xùn)練樣本的學(xué)習(xí)（訓(xùn)練）建立合理的BP神經(jīng)網(wǎng) 絡(luò)模型的過程，在國(guó)外被稱為“藝術(shù)創(chuàng)造的過程”， 是一個(gè)復(fù)雜而又十分煩瑣和困難的過程。 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 23 算法設(shè)計(jì) 學(xué)習(xí)率 學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過程的穩(wěn)定性。大的學(xué)習(xí)率 可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，甚至?xí)?dǎo) 致權(quán)值在修正過程中超出某個(gè)誤差的極小值呈不 規(guī)則跳躍而不收斂；但過小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時(shí) 間過長(zhǎng)，不過能保證收斂于某個(gè)極小值。所以， 一般傾向選取較小的學(xué)習(xí)率以保證學(xué)習(xí)過程的收 斂性（穩(wěn)定性），通常在0.010.8之間。 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期

16、 24 算法設(shè)計(jì) 初始連接權(quán)值 誤差函數(shù)一般存在（很）多個(gè)局部極小點(diǎn)，不同 的網(wǎng)絡(luò)初始權(quán)值直接決定了BP算法收斂于哪個(gè)局 部極小點(diǎn)或是全局極小點(diǎn)。 要求計(jì)算程序必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán) 值。 由于Sigmoid轉(zhuǎn)換函數(shù)的特性，一般要求初始權(quán)值 分布在-0.50.5之間比較有效。 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 25 算法設(shè)計(jì) 網(wǎng)絡(luò)模型的性能和泛化能力 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓(xùn)練好的 網(wǎng)絡(luò)模型對(duì)非訓(xùn)練樣本具有好的泛化能力（推廣 性），即有效逼近樣本蘊(yùn)含的內(nèi)在規(guī)律，而不是 看網(wǎng)絡(luò)模型對(duì)訓(xùn)練樣本的擬合能力。 從存在性結(jié)論可知，即使每個(gè)訓(xùn)練樣本的

17、誤差都 很小（可以為零），并不意味著建立的模型已逼 近訓(xùn)練樣本所蘊(yùn)含的規(guī)律。 僅給出訓(xùn)練樣本誤差（通常是指均方根誤差 RSME或均方誤差、AAE或MAPE等）的大小而 不給出非訓(xùn)練樣本誤差的大小是沒有任何意義的。 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 26 算法設(shè)計(jì) 分析模型泛化能力，應(yīng)該也必須用非訓(xùn)練樣 本誤差的大小來表示和評(píng)價(jià)。 判斷建立的模型是否已有效逼近樣本所蘊(yùn)含 的規(guī)律,最直接和客觀的指標(biāo)是從總樣本中隨 機(jī)抽取的非訓(xùn)練樣本（檢驗(yàn)樣本和測(cè)試樣本） 誤差是否和訓(xùn)練樣本的誤差一樣小或稍大。 非訓(xùn)練樣本誤差很接近訓(xùn)練樣本誤差或比其 小，一般可認(rèn)為建立的網(wǎng)絡(luò)模型

18、已有效逼近 訓(xùn)練樣本所蘊(yùn)含的規(guī)律。 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 27 算法設(shè)計(jì) 因?yàn)橛?xùn)練樣本的誤差可以達(dá)到很小，因此， 用從總樣本中隨機(jī)抽取的一部分測(cè)試樣本的 誤差表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測(cè)所具有的精度 （網(wǎng)絡(luò)性能）是合理的和可靠的。 判斷網(wǎng)絡(luò)模型泛化能力的好壞，主要不是看 測(cè)試樣本誤差大小的本身，而是要看測(cè)試樣 本的誤差是否接近于訓(xùn)練樣本和檢驗(yàn)樣本的 誤差。 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 28 算法設(shè)計(jì) 合理網(wǎng)絡(luò)模型的確定 對(duì)同一結(jié)構(gòu)的網(wǎng)絡(luò)，由于BP算法存在（很）多個(gè) 局部極小點(diǎn)，因此，必須通過多次（通常是幾十 次

19、）改變網(wǎng)絡(luò)初始連接權(quán)值求得相應(yīng)的極小點(diǎn)， 才能通過比較這些極小點(diǎn)的網(wǎng)絡(luò)誤差的大小，確 定全局極小點(diǎn)，從而得到該網(wǎng)絡(luò)結(jié)構(gòu)的最佳網(wǎng)絡(luò) 連接權(quán)值。 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 29 算法設(shè)計(jì) 收斂誤差界值 在網(wǎng)絡(luò)訓(xùn)練過程中應(yīng)根據(jù)實(shí)際情況預(yù)先確定誤差 界值。 誤差界值的選擇完全根據(jù)網(wǎng)絡(luò)模型的收斂速度大 小和具體樣本的學(xué)習(xí)精度來確定。 當(dāng)選擇較小時(shí)，學(xué)習(xí)效果好，但收斂速度慢，訓(xùn) 練次數(shù)增加。 取得較大時(shí)則相反。 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 30 算法改進(jìn) 由于BP網(wǎng)絡(luò)采用誤差反傳算法，其實(shí)質(zhì)是一 個(gè)無約束的非線性最優(yōu)化計(jì)

20、算過程，在網(wǎng)絡(luò) 結(jié)構(gòu)較大時(shí)不僅計(jì)算時(shí)間長(zhǎng)，而且很容易限 入局部極小點(diǎn)而得不到最優(yōu)結(jié)果。 目前已有改進(jìn)BP法、遺傳算法（GA）和模擬 退火算法等多種優(yōu)化方法用于BP網(wǎng)絡(luò)的訓(xùn)練。 2021/4/26 by 謝廣明 ， 20052006學(xué)年度第一學(xué)期 31 題 目： 基于自適應(yīng)BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)損傷檢測(cè) 題 目： 基于BP神經(jīng)網(wǎng)絡(luò)的企業(yè)技術(shù)創(chuàng)新能力評(píng)價(jià)及應(yīng)用研究 題 目： BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)油田廢水混凝處理效果 題 目： 基于BP神經(jīng)網(wǎng)絡(luò)構(gòu)建城市時(shí)需水量預(yù)測(cè)模型 題 目： BP神經(jīng)網(wǎng)絡(luò)在焉耆盆地水質(zhì)評(píng)價(jià)中的應(yīng)用 題 目： BP神經(jīng)網(wǎng)絡(luò)在焉耆盆地農(nóng)田排水量估算中的應(yīng)用 題 目： 基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的中子法檢測(cè)煤中氫含量 題 目： BP神經(jīng)網(wǎng)絡(luò)進(jìn)行系統(tǒng)辨識(shí)的紅外圖像超分辨力復(fù)原方法 題 目： 基于BP神經(jīng)網(wǎng)絡(luò)的長(zhǎng)江流域人口預(yù)測(cè)研究 題 目： BP神經(jīng)網(wǎng)絡(luò)在腦電圖信號(hào)預(yù)測(cè)中的應(yīng)用 一個(gè)相對(duì)比較容易完成的選題！ 9、 人的價(jià)值，在招收誘惑的一瞬間被決定。21.5.721.5.7Friday, May 07, 2021 10、低頭要有勇氣，抬頭要有低氣。*5/7/2021 9:45:04 PM 11、人總是珍惜為得到。21.5.7*May-217-May-21 12、人亂于心，不寬余請(qǐng)。*Friday, May 07, 2021 13、生氣是拿別人做錯(cuò)的事來懲罰自己。2