控制器重啟引發(fā)機(jī)組跳閘事故案例.docx

控制器重啟引發(fā)機(jī)組跳閘事故案例; k+ |, k6 D6 s; e2.1 事件經(jīng)過 R* Y4 A7 ?, P# x: U! u 2001年11月1日，A電廠4號機(jī)組停機(jī)前有功負(fù)荷270MW，無功96MVar，A、B勵磁調(diào)節(jié)器自動并列運行，手動50Hz柜跟蹤備用。- a# | k1 & N/ d4 S 14時26分，事故音響發(fā)出，發(fā)電機(jī)出口開關(guān)、勵磁開關(guān)跳閘，調(diào)節(jié)器A柜退出運行、調(diào)節(jié)器B柜退出運行等報警信號發(fā)出，機(jī)組解列。對ECS控制系統(tǒng)檢查、試驗，發(fā)現(xiàn)#14控制器發(fā)生故障已離線，與之冗余的34控制器發(fā)生重啟，更換了#14和34控制器主機(jī)板后，機(jī)組重新啟動，不久，發(fā)變組與系統(tǒng)并列。- O ?; - + j5 h4 p7 & S2.2原因分析2 n: ; U1 Z 根據(jù)歷時數(shù)據(jù)分析，13時31分，#14控制器硬件故障而離線運行，熱備用的#34控制器自動由輔控切為主控。14時26分，#34控制器由于通訊阻塞引起WATCHDOG誤判斷，致使控制器重啟。由于控制器控制勵磁調(diào)節(jié)器的方式為長信號，沒有斷點保護(hù)功能，#34控制器重啟后，不能自動回到斷點前的狀態(tài)，導(dǎo)致A、B調(diào)節(jié)器自動退出運行，手動50Hz柜自動投入。由于發(fā)電機(jī)失磁，發(fā)電機(jī)端電壓下降，導(dǎo)致廠用電源電壓降低，手動50Hz柜輸出電壓繼續(xù)降低，手動50Hz柜投入后發(fā)電機(jī)沒有脫離失磁狀態(tài)，直至切除勵磁裝置，造成發(fā)電機(jī)失磁保護(hù)動作，發(fā)電機(jī)出口開關(guān)跳閘。: d+ Ts( , q8 O3 G; i8 i6 u# #14控制器和#34控制器控制發(fā)變組設(shè)備，包括廠用電切換的備自投繼電器接點BK，#34控制器重啟后，BK自動復(fù)位，繼電器接點斷開，BK投到退出位置，造成6KV電源開關(guān)6410、6420開關(guān)自投不成功。5 e. 2 O% v3 X4 I2.3防范措施, N) W1 G4 1 w3 R3 z1 S1 Y6 Mh3 U2.3.1將故障控制器更換。后來制造廠確認(rèn)這一批主板晶振存在問題，同意免費更換，利用停機(jī)機(jī)會更換4號機(jī)組所有控制器主板。, Y) L$ C8 J: 8 V- A9 o, T2.3.2增加任一控制器、I/O卡、通訊卡離線報警功能。( x5 x0 A- - p6 X& * q9 l2.3.3程序內(nèi)部WATCHDOG的時間設(shè)置太短，易造成誤判斷，對所有控制器進(jìn)行軟件升級。4 4 s6 FU* ?2.3.4調(diào)節(jié)器AQK、BQK方式開關(guān)和廠用電備自投BK開關(guān)組態(tài)圖增加斷點保護(hù)功能，防止控制器自啟動后，勵磁調(diào)節(jié)器和廠用電自投開關(guān)退出運行。8 C* F9 t- J( O* J1 5 u$ G8 Z; s/ z! f$ N7 2.3.5檢查ECS系統(tǒng)的所有組態(tài)，對存在以上問題的邏輯進(jìn)行修改。6 r& rH: S, z5 E d2.3.6聯(lián)系調(diào)節(jié)器廠家，使調(diào)節(jié)器內(nèi)部可以作到運行狀態(tài)自保持，將控制器控制調(diào)節(jié)器的方式改為短脈沖信號控制。* x- O4 F l_- _# ur2.6.7在ECS內(nèi)增加手動50Hz柜輸出電壓自動跟蹤功能。9 V* : q1 S: Q0 I) P/ ! U三、案例二在線傳代碼致使機(jī)組解列4 1 n! p8 * D( 0 |3.1事件經(jīng)過0 6 G; $ D- T9 Y X# Y5 H 2002年7月12日，B電廠5機(jī)組監(jiān)盤人員發(fā)現(xiàn)機(jī)組負(fù)荷從552MW迅速下降，主汽壓力突升，汽輪機(jī)調(diào)門開度，由原來的20%關(guān)閉到10%并繼續(xù)關(guān)閉，高調(diào)門繼續(xù)迅速關(guān)閉至0%，機(jī)組負(fù)荷降低至5MW，運行人員被迫手動緊急停爐，汽輪機(jī)跳閘，發(fā)電機(jī)解列。4 U 3 ( h9 u- _9 R 3.2原因分析& s/ n8 n( * F; DCS與汽輪機(jī)控制系統(tǒng)分別由兩家國外公司制造，兩系統(tǒng)差異較大，通訊問題沒有很好地解決，存在一些難以消除的缺陷。熱控人員在DCS工程師站上向負(fù)責(zé)DCS與汽輪機(jī)控制系統(tǒng)通訊的PLC傳送通訊代碼時，DCS將汽輪機(jī)閥位限制由正常運行中的120%修改為0.25%，造成汽機(jī)1、2、3號調(diào)門由20%關(guān)閉至0%，機(jī)組負(fù)荷由552MW迅速降至5MW。 j: B; e6 j/ 2 A* B/ C( 6 L3.3 防范措施5 R1 s/ : p: f; C7 & E& W: L3.3.1機(jī)組運行期間，禁止DCS傳代碼工作。8 6 |2 q1 W9 k% X6 z3.3.2機(jī)組停運期間，DCS傳代碼時，應(yīng)經(jīng)運行班長同意，并做好安全措施。, z9 R2 F* . X1 p4 j3 t2 I; m8 g3.3.2將DCS操作員站對汽輪機(jī)控制系統(tǒng)操作員站畫面進(jìn)行操作的功能閉鎖，但在DCS操作員站上仍能監(jiān)視到汽輪機(jī)控制系統(tǒng)的信息。# Z7 y7 t9 u% 9 Z1 # v2 V3 四、案例三 DCS工作站時鐘混亂引發(fā)DCS失靈: k& W7 n2 z% g$ W6 g) m4.1事件經(jīng)過：, 6 - 6 g: |& n: L) R2001年 8月3日，C電廠2號機(jī)組負(fù)荷200MW，#1至#9控制器處于控制方式，#51至#59控制器處于備用方式。8時23分，各控制器依次發(fā)NTP報警，歷史站報警窗口顯示如下：. 7 g& N2 L. K2 WAug 3 08：23：50 drop7 7 NTP：too many recvbufs allocated（30）d; 8 e. * |Aug 3 08：23：50 drop4 7 NTP：too many recvbufs allocated（30）8 Bj/ X9 X# q( % V& O0 ?- n7 g7 e0 a- u5 N/ c8 & u( N2 l5 G( V 8時26分，#2控制器脫網(wǎng)，#52控制器切為主控；11時05分，#52控制器脫網(wǎng)；13時39分，#7控制器脫網(wǎng)，#57控制器切為主控，在#7控制器向#57控制器切換瞬間，由該控制器控制的A、B磨煤機(jī)跳閘；15時11分，#9控制器脫網(wǎng)，#59控制器切為主控，在#9控制器向#59控制器切換瞬間，由該控制器控制的E磨煤機(jī)跳閘；15時51分，#1控制器脫網(wǎng)，#51控制器切為主控，在#1控制器向#51控制器切換瞬間，由該控制器控制的A引風(fēng)機(jī)動葉被強(qiáng)制關(guān)閉。0 N7 F2 P6 7 L # a/ R1 fq 15時22分，重啟操作員站drop213（備用時鐘站），NTP報警未消失；15時35分，重啟歷史站，NTP報警未消失；15時59分，重啟工程師站（主時鐘站），NTP報警基本消失；16時09分，重啟歷史站，16時30分，系統(tǒng)恢復(fù)正常。8 n3 Dc& n8 |* Xr; E4.2原因分析- J& V2 A- c4 r: O1 U NTP軟件的作用就是維持網(wǎng)絡(luò)時鐘的統(tǒng)一，主時鐘設(shè)置在工程師站上，備用時鐘設(shè)置在操作員站上。控制器脫網(wǎng)原因為主時鐘與備用時鐘不同步造成系統(tǒng)時鐘紊亂，從而造成NTP報警導(dǎo)致控制器脫網(wǎng)。, L o1 l9 S- y9 NTP故障的原因有兩種可能，一種是主頻為400MHz工作站，不同于1號機(jī)組的270MHz(SUN公司在400MHz工作站上對操作系統(tǒng)有較大改進(jìn))工作站，2號機(jī)組所用的1.1版本軟件在400MHz工作站上未測試過，不能確保1.1版本軟件在此配置上不出問題。另一種是主時鐘與備用時鐘不同步，在8月3日控制器脫網(wǎng)后，曾發(fā)現(xiàn)Drop214的時鐘比其它站快了2秒, 當(dāng)時Drop214的畫面調(diào)用速度較慢，經(jīng)重啟后正常，并且NTP時鐘報警是在系統(tǒng)運行73-75天左右才出現(xiàn)的，估計是系統(tǒng)時鐘偏差積累到一定程度后導(dǎo)致主、備時鐘不同步，而引起系統(tǒng)時鐘紊亂，最終導(dǎo)致控制器脫網(wǎng)。1 y7 8 a1 d; % 1 E NTP時鐘故障使控制器脫網(wǎng)，處理不及時會使報警的控制器依次脫網(wǎng)，從而導(dǎo)致整個控制系統(tǒng)癱瘓。. G) g! ! F- Z& ?4.3防范措施8 n- k0 E( l; x9 ; j4.3.1根據(jù)本次故障現(xiàn)象，制造商將軟件由1.1版本升級為1.2版本。& q% F+ Y M+ A1 H2 e# % N4.3.2為確?？刂葡到y(tǒng)可靠運行，定期重啟主時鐘和備用時鐘站。$ l0 ; c! t9 J; E: Z4.4 D電廠5號機(jī)組在2002年試運期間曾發(fā)生DCS時鐘與GPS時鐘不同步，引發(fā)DCS操作員站失靈事件。由于網(wǎng) 上傳送的數(shù)據(jù)均帶時間標(biāo)簽，時鐘紊亂后會給運行機(jī)組帶來嚴(yán)重后果，基本情況與C電廠2號機(jī)組類似。采取的措施是暫時斷開GPS時鐘，待軟件升級和問題得到根本解決后，再恢復(fù)GPS時鐘。. W0 e! S I# A6 E0 j: H+ Z6 Q五、案例四 CABLETRON集線器總通訊板故障導(dǎo)致MFT誤動; A$ I6 ; v+ j# t; O; X# M! 5.1事件經(jīng)過& f0 e( K, ; T8 & V 2002年 1月1日，E電廠1號機(jī)組負(fù)荷250MW，#51至#59控制器處于控制方式，#1至#9控制器處于備用方式，A、B、C、E、F磨煤機(jī)運行。18時57分，所有磨煤機(jī)跳閘（直吹爐），MFT動作，機(jī)組跳閘。3 1 J6 n# |% I% a ! L o5.2原因分析5 ?, n, J; a4 K, m is+ s+ U8 D 經(jīng)分析，確認(rèn)是DCS集線器的總通訊板故障，導(dǎo)致連在其上的所有控制器同時發(fā)生切換，在控制器向備用控制器切換過程中，#57、#58、#59控制器PK鍵信號誤發(fā)（這三個控制器屬FSSS系統(tǒng)），即CRT上磨煤機(jī)跳閘按鈕的跳閘和確認(rèn)指令同時發(fā)出，使所有磨煤機(jī)跳閘，導(dǎo)致MFT動作。 t/ 9 W8 D; e0 C C3 B7 h+ p5.3防范措施: E6 i* H6 I$ B- f3 T1 v7 e6 l* CABLETRON集線器屬于早期產(chǎn)品，目前在市場上購買備件已比較困難，采用CISCO集線器來取代CABLETRON集線器。+ K; J6 p& i5 L六、案例五 冗余控制器失靈造成機(jī)組跳閘) W7 R7 K- o/ y7 H& n G% 9 D6.1事件經(jīng)過3 t; M+ z Qj5 W; Y 2003年3月23日，F(xiàn)電廠3機(jī)組停機(jī)前電負(fù)荷115MW，爐側(cè)主汽壓9.55MPa，主汽溫537，主給水調(diào)節(jié)門開度43%，旁路給水調(diào)節(jié)門開度47%（每一條給水管道均能滿足100%負(fù)荷的供水），汽包水位正常；其它各參數(shù)無異常變化。7 J8 3 d& N5 * 0 j1 i# p- ; x% A 監(jiān)盤人員發(fā)現(xiàn)鍋爐側(cè)部分參數(shù)顯示異常，各項操作均不能進(jìn)行，同時爐側(cè)CRT畫面顯示各項自動已處于解除狀態(tài)。調(diào)自檢畫面發(fā)現(xiàn)#3控制器離線，#23控制器處于主控狀態(tài)。運行人員立即聯(lián)系熱工人員處理，同時借助汽機(jī)側(cè)CRT畫面監(jiān)視主汽壓、主汽溫，并對汽包電接點水位計和水位TV加強(qiáng)監(jiān)視，主汽壓在9.09.6MPa波動、主汽溫在510540波動、汽包水位在+75-50mm波動，維持運行。- AH2 W% l1 z4 A3 G3 Y 幾分鐘后，熱工人員趕到現(xiàn)場，發(fā)現(xiàn)#3控制器離線、#23控制器為主控狀態(tài)，但#23控制器主控下的I/O點（汽包水位、主汽溫、主汽壓、給水壓力、等）均為壞點，自動控制手操失靈。經(jīng)過多次重啟，#3控制器恢復(fù)升為主控狀態(tài)。在釋放強(qiáng)制的I/O點時，監(jiān)盤人員發(fā)現(xiàn)汽包水位急劇下降，就地檢查發(fā)現(xiàn)旁路給水調(diào)節(jié)門在關(guān)閉狀態(tài)，手動搖起三次均自動關(guān)閉，汽包水位TV和顯示表監(jiān)視不到水位，手動停爐、停機(jī)。7 p+ t1 w7 - o1 3 D o5 s6.2原因分析# T) l+ W1 M, A; j2 ; c; R 根據(jù)能追憶到的歷史記錄分析，可以推斷#3控制器（主控）故障前，#23控制器（輔控）因硬件故障或通訊阻塞，已經(jīng)同I/O總線失去了通訊。當(dāng)#3控制器因主機(jī)卡故障離線后，#23控制器升為主控，但無法讀取I/O數(shù)據(jù)，造成參與汽水系統(tǒng)控制的一對冗余控制器同時失靈，給水自動控制系統(tǒng)失控，汽包水位保護(hù)失靈。在新更換的3控制器重啟成功后釋放強(qiáng)制點的過程中，DCS將旁路給水調(diào)節(jié)門指令置零（邏輯如此設(shè)計是為了在控制器故障時，運行機(jī)組向更安全的方向發(fā)展），關(guān)閉旁路調(diào)節(jié)門。而旁路調(diào)節(jié)門為老型號的閥門，相當(dāng)于解除了自保持的電動門（接受脈沖量信號），切手動時不能做到電氣脫扣，因此，緊急情況下不能順利打開，造成汽包缺水。2 Y! % a; Z: l+ N/ 8 P6.3防范措施5 d6 o G5 w1 t* L6.3.1更換#3、#23控制器主機(jī)板，同時考慮增加主機(jī)板的備品儲備。3 J5 s T- H$ j$ O# I6 J/ K* x6.3.2增加通訊卡，使控制器與I/O卡之間的通訊為冗余的。& t# 5 m5 H; O* f2 Z) |! i; ?6.3.3對所有控制器、I/O卡、BC卡的通訊進(jìn)行監(jiān)測，增加脫網(wǎng)邏輯判斷功能，生成報警點并進(jìn)行歷史記錄。一旦控制器工作異常，可及時報警并處理。9 m- h- & ; O! c) w6.3.4增加控制器超溫報警功能，在控制器出現(xiàn)故障之前可以采取措施，將事故消滅在萌芽之中。( ?3 s q3 e0 j6.3.5汽包水位等重要調(diào)節(jié)、保護(hù)系統(tǒng)的輸入信號，一般應(yīng)為三路相互獨立的信號，通過分流器將這三路信號變成六路信