問(wèn)題描述

由7個(gè)OSN3500組成MSTP+網(wǎng)絡(luò)，有兩個(gè)核心站點(diǎn)，這兩個(gè)站點(diǎn)分別配置了到其他5個(gè)站點(diǎn)的ELINE業(yè)務(wù)，并配置了到各個(gè)節(jié)點(diǎn)的1：1APS保護(hù)。某日，其上所有PEX1單板上報(bào)MPLS_TUNNEL_LOCV告警，光纜中斷時(shí)，倒換不成功，業(yè)務(wù)中斷。

告警信息

MPLS_TUNNEL_LOCV

處理過(guò)程

1、MPLS_TUNNEL_LOCV為T(mén)UNNEL連通性失效，查詢(xún)各個(gè)節(jié)點(diǎn)的APS倒換狀態(tài)，發(fā)現(xiàn)2個(gè)核心點(diǎn)至其余連續(xù)的4個(gè)點(diǎn)保護(hù)通道和工作通道都失效，至第5節(jié)點(diǎn)工作通道壞，保護(hù)通道正常。

2、由于是斷纖纜導(dǎo)致工作通道壞，懷疑第5個(gè)節(jié)點(diǎn)2端單板故障。查詢(xún)其PEX1單板PW端口的RMON計(jì)數(shù)，發(fā)現(xiàn)該端口只存在接收沒(méi)有任何的發(fā)送計(jì)數(shù)，而對(duì)端的PEX1單板PW端口的RMON計(jì)數(shù)有收有發(fā)，我們可以判斷該問(wèn)題的觸發(fā)因素是由于其PEX1單板導(dǎo)致。

3、查詢(xún)PEX1單板版本信息，發(fā)現(xiàn)PEX1單板的PL280邏輯版本為210，該邏輯版本存在在單板同步以太功能關(guān)閉的情況下，無(wú)規(guī)律發(fā)生端口發(fā)送方向FIFO堵塞的情況，導(dǎo)致業(yè)務(wù)中斷的問(wèn)題。觸發(fā)APS倒換是因?yàn)锳PS保護(hù)承載在MPLSOAM協(xié)議上，所以發(fā)送方向FIFO堵塞會(huì)導(dǎo)致MPLSOAM報(bào)文無(wú)法正常轉(zhuǎn)發(fā)，產(chǎn)生MPLSLOCV告警，觸發(fā)APS倒換。

4、硬復(fù)位PEX1單板之后，業(yè)務(wù)恢復(fù)。

5、升級(jí)版本至V1R9C03SPC200（5.21.30.15P01）版本（PEX1單板PL280邏輯版本為220版本）徹底解決。

根因

PEX1單板的PL280邏輯版本為210，該邏輯版本存在在單板同步以太功能關(guān)閉的情況下，無(wú)規(guī)律發(fā)生端口發(fā)送方向FIFO堵塞的情況，導(dǎo)致業(yè)務(wù)中斷的BUG。觸發(fā)APS倒換是因?yàn)锳PS保護(hù)承載在MPLSOAM協(xié)議上，所以發(fā)送方向FIFO堵塞會(huì)導(dǎo)致MPLSOAM報(bào)文無(wú)法正常轉(zhuǎn)發(fā)，產(chǎn)生MPLSLOCV告警，觸發(fā)APS倒換。