cisco 6500/sup720-3b-xl - przestaje routować

[jaroj]

Witajcie,

mam problem z 6500 i Sup720-3b-xl 1GB RAM.
3 pełne BGP + 2 niepełne (50k, 80k prefiksów).

Mam wrażenie, że przestał routować, tzn. odpytanie:
# sh ip route A.B.C.d
zwraca poprawnie wynik ale MTR zatrzymuje sie na nim.

Troche podejrzanie wygląda sh processes memory:

sh processes memory
Processor Pool Total: 896880880 Used: 805758148 Free: 91122732
I/O Pool Total: 67108864 Used: 21605592 Free: 45503272

PID TTY Allocated Freed Holding Getbufs Retbufs Process
0 0 152652220 17188 148229900 0 0 *Init*
0 0 20584 30357240 20584 0 0 *Sched*
0 0 2094568736 2083153332 2547756 21269076 75552 *Dead*
1 0 1306088 599488 848484 0 0 Chunk Manager
2 0 180 180 4028 0 0 Load Meter
3 0 1032120 1032120 7056 0 0 BGP Open

Czy mogę coś jeszcze sprawdzić zanim zdecyduje sie na drastyczne rozwiązanie czyli reload?

Pozdrawiam

[lbromirs]

Pokaż 'sh mls cef exception status' i 'sh platform hardware capacity forwarding'.

[jaroj]

Pokaż 'sh mls cef exception status' i 'sh platform hardware capacity forwarding'.

#sh mls cef exception status
Current IPv4 FIB exception state = FALSE
Current IPv6 FIB exception state = FALSE
Current MPLS FIB exception state = FALSE

#sh platform hardware capacity forwarding
L2 Forwarding Resources
MAC Table usage: Module Collisions Total Used %Used
5 0 65536 5657 9%
6 0 65536 5656 9%

VPN CAM usage: Total Used %Used
512 0 0%
L3 Forwarding Resources
FIB TCAM usage: Total Used %Used
72 bits (IPv4, MPLS, EoM) 688128 581159 84%
144 bits (IP mcast, IPv6) 180224 27335 15%

detail: Protocol Used %Used
IPv4 581159 84%
MPLS 0 0%
EoM 0 0%

IPv6 27328 15%
IPv4 mcast 4 1%
IPv6 mcast 3 1%

Adjacency usage: Total Used %Used
1048576 1400 1%

Forwarding engine load:
Module pps peak-pps peak-time
5 651644 3147093 14:39:49 CET Fri Feb 12 2016
6 652641 3072611 00:11:04 CET Thu Feb 4 2016

[lbromirs]

Sprzętowy FIB trzyma wszystkie prefiksy, choć jesteś już dosyć blisko granicy dzisiejszej konfiguracji. Być może warto przy okazji planowanego reloadu dodać trochę miejsca na IPv4 kosztem IPv6.

Nie jest to więc powód do problemów.

Sprawdź jak wygląda wpis dla CEF do prefiksów w sofcie i w sprzęcie dla interesującego Cię prefiksu, w tym sprawdź konfigurację interfejsów (pod kątem uRPFa, etc).

[gangrena]

Mam wrażenie, że przestał routować, tzn. odpytanie:
# sh ip route A.B.C.d
zwraca poprawnie wynik ale MTR zatrzymuje sie na nim.

Czyli wcześniej routował? Może routuje, ale po cichu? Czy router ma trasę powrotną do źródła traceroute'a? Czy są jakieś firewalle, ACLki po drodze lub sieć MPLS? To, co lbromirs zapytał, czyli sprawdź wpis w CEF na supie i karcie liniowej.

[lbromirs]

Może routuje, ale po cichu?

Dogadał się po RESTowym API z kolegą z Singapuru, na przerzut pakietów w overlay'u po szyfrowanym IPseciem IPv6 w GRE. Dostaje za to ciekawe enkapsulacje do rozpatrzenia i recyrkulacji.

MSPANC

[lukaszbw]

Wklej nam dwukrotnie:

Kod: Zaznacz cały

show mls statistics 

Z odstępem np. 10 sekund. To da mniejwięcej pojęcie o tym ile ruchu jest routowane i ile ewentualnie wycinają ACL czy policing.

Generalnie poza tym co Łukasz prosił cie o podanie to bez szczegółów odnośnie konfiguracji czy środowiska to troche wróżenie z fusów bo przyczyn może być mnóstwo.


Pozdr.

[jaroj]

Wklej nam dwukrotnie:

Kod: Zaznacz cały

show mls statistics 

Z odstępem np. 10 sekund. To da mniejwięcej pojęcie o tym ile ruchu jest routowane i ile ewentualnie wycinają ACL czy policing.

Generalnie poza tym co Łukasz prosił cie o podanie to bez szczegółów odnośnie konfiguracji czy środowiska to troche wróżenie z fusów bo przyczyn może być mnóstwo.


Pozdr.

#show mls statistics

Statistics for Earl in Module 5

L2 Forwarding Engine
Total packets Switched : 3655714009711

L3 Forwarding Engine
Total packets Processed : 1818364145821 @ 249514 pps
Total packets L3 Switched : 819369215361 @ 115180 pps

Total Packets Bridged : 160293990263
Total Packets FIB Switched : 819369215361
Total Packets ACL Routed : 0
Total Packets Netflow Switched : 0
Total Mcast Packets Switched/Routed : 2376526332
Total ip packets with TOS changed : 159123055599
Total ip packets with COS changed : 16938766282
Total non ip packets COS changed : 0
Total packets dropped by ACL : 8359491
Total packets dropped by Policing : 4435863565
Total packets exceeding CIR : 4436242816
Total packets exceeding PIR : 4436242816

Errors
MAC/IP length inconsistencies : 5591058
Short IP packets received : 0
IP header checksum errors : 49930
TTL failures : 91879257
MTU failures : 6432559

Total packets L3 Processed by all Modules: 1818364145821 @ 249514 pps


LOD_rb6500.bip.ldz#show mls statistics

Statistics for Earl in Module 5

L2 Forwarding Engine
Total packets Switched : 3655719164982

L3 Forwarding Engine
Total packets Processed : 1818366688134 @ 281040 pps
Total packets L3 Switched : 819370387807 @ 129440 pps

Total Packets Bridged : 160294167642
Total Packets FIB Switched : 819370387807
Total Packets ACL Routed : 0
Total Packets Netflow Switched : 0
Total Mcast Packets Switched/Routed : 2376530510
Total ip packets with TOS changed : 159123260760
Total ip packets with COS changed : 16938784184
Total non ip packets COS changed : 0
Total packets dropped by ACL : 8359523
Total packets dropped by Policing : 4435868105
Total packets exceeding CIR : 4436247358
Total packets exceeding PIR : 4436247358

Errors
MAC/IP length inconsistencies : 5591067
Short IP packets received : 0
IP header checksum errors : 49930
TTL failures : 91879409
MTU failures : 6432560

Total packets L3 Processed by all Modules: 1818366688134 @ 281040 pps

Obserwje go narazie, wygląda jakby jednak z 6500 było OK, więc może problem jednak leży gdzie indziej..

[lukaszbw]

Z tego co właśnie widać to switch routuje pakiety. Jest troche dropowane przez policing ale nie jest to nic nadzwyczajnego. Może problem masz gdzie indziej w sieci.

Pozdr.

[jaroj]

Z tego co właśnie widać to switch routuje pakiety. Jest troche dropowane przez policing ale nie jest to nic nadzwyczajnego. Może problem masz gdzie indziej w sieci.

Pozdr.

Tak, potwierdzam - problem był poza mną ale i tak dziękuję, znowu sie nauczyłem kilku nowych rzeczy.