Wysokie użycie pamięci RP i SP SUP720-3B

Wszystkie rozmowy związane z problemem z hardwarem, supportowanymi funkcjonalnościami, wydajnością urządzeń itp.
Wiadomość
Autor
miroslaww
fresh
fresh
Posty: 4
Rejestracja: 11 sie 2016, 17:59

Wysokie użycie pamięci RP i SP SUP720-3B

#1

#1 Post autor: miroslaww »

Witam,
Mamy w sieci kilka Cisco Catalyst 6500 z SUP720-3B. Z jednym z nich mamy problem objawiający się wysokim użyciem pamięci RP i SP.
Nie zauważyliśmy (jeszcze) problemów z transmisją przez ten przełącznik. Jak na razie pojawiają się okresowo wysokie czasy odpowiedzi (kilkaset ms ) do tego przełącznika od strony każdego interfejsu. Spięte 3 sesje BGP razem ok 62tyś prefiksów. W większości ruch L2 (uplink na poziomie 4Gbps). Niedawno wykonany był reboot przełącznika (podczas prac serwisowych) ale nie wniosło to żadnej zmiany.

Użycie pamięci SUP na poziomie:
Processor memory: Module Bytes: Total Used %Used
5 RP 67108864 64377056 96%
5 SP 103508520 101895104 98%

Poniżej trochę informacji z przełącznika
show platform hardware capacity
System Resources
PFC operating mode: PFC3B
Supervisor redundancy mode: administratively sso, operationally sso
Switching resources: Module Part number Series CEF mode
1 WS-X6148A-GE-TX classic CEF
2 WS-X6148A-GE-TX classic CEF
3 WS-X6148A-GE-TX classic CEF
5 WS-SUP720-3B supervisor CEF
8 WS-X6516-GBIC CEF256 CEF
9 WS-X6408A-GBIC classic CEF


CPU Resources
CPU utilization: Module 5 seconds 1 minute 5 minutes
5 RP 2% / 3% 1% 1%
5 SP 11% / 4% 9% 9%
Processor memory: Module Bytes: Total Used %Used
5 RP 67108864 64377056 96%
5 SP 103508520 101895104 98%
I/O memory: Module Bytes: Total Used %Used
5 RP 33554432 4584944 14%
5 SP 33554432 4455344 13%

L2 Forwarding Resources
MAC Table usage: Module Collisions Total Used %Used
5 0 65536 3566 5%

VPN CAM usage: Total Used %Used
512 0 0%
L3 Forwarding Resources
FIB TCAM usage: Total Used %Used
72 bits (IPv4, MPLS, EoM) 196608 48773 25%
144 bits (IP mcast, IPv6) 32768 5 1%

detail: Protocol Used %Used
IPv4 48773 25%
MPLS 0 0%
EoM 0 0%

IPv6 2 1%
IPv4 mcast 3 1%
IPv6 mcast 0 0%

Adjacency usage: Total Used %Used
1048576 420 1%

Forwarding engine load:
Module pps peak-pps peak-time
5 266185 393069 10:42:41 UTC Sat Jan 1 2000

Netflow Resources
TCAM utilization: Module Created Failed %Used
5 5575 0 4%
ICAM utilization: Module Created Failed %Used
5 0 0 0%

Flowmasks: Mask# Type Features
IPv4: 0 reserved none
IPv4: 1 Intf FulFM_GUARDIAN
IPv4: 2 unused none
IPv4: 3 reserved none

IPv6: 0 reserved none
IPv6: 1 unused none
IPv6: 2 unused none
IPv6: 3 reserved none

CPU Rate Limiters Resources
Rate limiters: Total Used Reserved %Used
Layer 3 9 4 1 44%
Layer 2 4 2 2 50%

ACL/QoS TCAM Resources
Key: ACLent - ACL TCAM entries, ACLmsk - ACL TCAM masks, AND - ANDOR,
QoSent - QoS TCAM entries, QOSmsk - QoS TCAM masks, OR - ORAND,
Lbl-in - ingress label, Lbl-eg - egress label, LOUsrc - LOU source,
LOUdst - LOU destination, ADJ - ACL adjacency

Module ACLent ACLmsk QoSent QoSmsk Lbl-in Lbl-eg LOUsrc LOUdst AND OR ADJ
5 1% 1% 1% 1% 1% 1% 0% 3% 0% 0% 1%

L3 Multicast Resources
IPv4 replication mode: ingress
IPv6 replication mode: ingress
Bi-directional PIM Designated Forwarder Table usage: 4 total, 0 (0%) used
Replication capability: Module IPv4 IPv6
1 ingress ingress
2 ingress ingress
3 ingress ingress
5 egress egress
8 ingress ingress
9 ingress ingress
MET table Entries: Module Total Used %Used
5 65526 6 1%

QoS Policer Resources
Aggregate policers: Module Total Used %Used
5 1024 1 1%
Microflow policer configurations: Module Total Used %Used
5 64 1 1%

Switch Fabric Resources
Bus utilization: current: 20%, peak was 28% at 17:50:47 UTC Sat Jan 1 2000
Fabric utilization: Ingress Egress
Module Chanl Speed rate peak rate peak
5 0 20G 9% 100% @14:06 02Jan00 0% 100% @14:06 02Jan00
Switching mode: Module Switching mode
5 flow through
8 flow through

Interface Resources
Interface drops:
Module Total drops: Tx Rx Highest drop port: Tx Rx
1 239867 0 15 0
2 55617 0 22 0
8 2599395 0 12 0

Interface buffer sizes:
Module Bytes: Tx buffer Rx buffer
1 5526720 119744
2 5526720 119744
3 5526720 119744
8 442368 81920
9 442368 81920

SPAN Resources
Source sessions: 2 maximum, 0 used
Type Used
Local 0
RSPAN source 0
ERSPAN source 0
Service module 0
Destination sessions: 64 maximum, 0 used
Type Used
RSPAN destination 0
ERSPAN destination (max 24) 0

Multicast LTL Resources
Usage: 30656 Total, 1397 Used


show mls statistics

Statistics for Earl in Module 5

L2 Forwarding Engine
Total packets Switched : 30946283477

L3 Forwarding Engine
Total packets L3 Switched : 30929534816 @ 284110 pps

Total Packets Bridged : 11139488178
Total Packets FIB Switched : 13493551456
Total Packets ACL Routed : 0
Total Packets Netflow Switched : 0
Total Mcast Packets Switched/Routed : 6235519820
Total ip packets with TOS changed : 2797502938
Total ip packets with COS changed : 766
Total non ip packets COS changed : 0
Total packets dropped by ACL : 136397
Total packets dropped by Policing : 0
Total packets exceeding CIR : 0
Total packets exceeding PIR : 0

Errors
MAC/IP length inconsistencies : 17
Short IP packets received : 0
IP header checksum errors : 270
TTL failures : 211094
MTU failures : 0

Total packets L3 Switched by all Modules: 30929534816 @ 284110 pps


sh mls cef exception status
Current IPv4 FIB exception state = FALSE
Current IPv6 FIB exception state = FALSE
Current MPLS FIB exception state = FALSE


sh ver
IOS (tm) s72033_rp Software (s72033_rp-IPSERVICESK9-VM), Version 12.2(18)SXF14, RELEASE SOFTWARE (fc1)

lbromirs
CCIE
CCIE
Posty: 4101
Rejestracja: 30 lis 2006, 08:44

Re: Wysokie użycie pamięci RP i SP SUP720-3B

#2

#2 Post autor: lbromirs »

To pokaż konkretnie co zajmuje pamięć. Po drugie 12.2(18)SXF14 to strasznie stary soft.

miroslaww
fresh
fresh
Posty: 4
Rejestracja: 11 sie 2016, 17:59

Re: Wysokie użycie pamięci RP i SP SUP720-3B

#3

#3 Post autor: miroslaww »

Poniżej użycie pamięci:
show processes memory
System Memory : 524288K total, 483744K used, 40544K free, 1000K kernel reserved
Lowest(b) : 37376000
PID Text Data Stack Dynamic Total Process
1 0 0 0 0 0 kernel
16386 2068 100 12 184 2364 sbin/chkptd.proc
3 604 24 12 324 964 sbin/qdelogger
4 620 28 4 192 844 sbin/devc-pty
5 752 32 12 112 908 sbin/devc-mistral.proc
6 596 24 12 96 728 sbin/pipe
7 2220 176 32 276 2704 sbin/dumper.proc
4104 2448 196 24 384 3052 sbin/bflash_driver.proc
12297 2448 176 28 384 3036 sbin/pcmcia_driver.proc
12298 592 24 4 96 716 sbin/mqueue
12299 2292 156 20 208 2676 sbin/flashfs_hes.proc
12300 2164 112 16 648 2940 sbin/dfs_bootdisk.proc
12301 2412 152 28 188 2780 sbin/ldcache.proc
12302 716 32 8 100 856 sbin/watchdog.proc
12303 2052 104 16 252 2424 sbin/syslogd.proc
12304 1996 96 24 736 2852 sbin/name_svr.proc
12305 2508 244 44 440 3236 sbin/wdsysmon.proc
12306 2512 288 96 452 3348 sbin/sysmgr.proc
16403 2512 288 16 220 3036 sbin/sysmgr.proc
16404 1988 100 12 184 2284 sbin/syslog_dev.proc
PID Text Data Stack Dynamic Total Process
16405 2008 100 20 192 2320 sbin/itrace_exec.proc
16406 2112 104 24 216 2456 sbin/packet.proc
16407 2428 152 24 196 2800 sbin/installer.proc
16408 64588 32308 84 65728 162708 sbin/ios-base
16409 2432 136 24 200 2792 sbin/fh_fd_rf.proc
16410 2308 120 24 200 2652 sbin/fh_fd_oir.proc
16411 2316 112 24 292 2744 sbin/fh_metric_dir.proc
16412 2456 124 20 196 2796 sbin/fh_fd_snmp.proc
16413 2300 116 20 192 2628 sbin/fh_fd_none.proc
16414 2372 132 20 196 2720 sbin/fh_fd_intf.proc
16415 2300 116 24 196 2636 sbin/fh_fd_counter.proc
16416 2312 136 20 196 2664 sbin/fh_fd_gold.proc
16417 2304 116 24 196 2640 sbin/fh_fd_timer.proc
16418 2312 116 24 196 2648 sbin/fh_fd_ioswd.proc
16419 2472 140 24 200 2836 sbin/fh_fd_cli.proc
16420 2636 156 32 400 3224 sbin/fh_server.proc
16421 3772 176 28 236 4212 sbin/fh_policy_dir.proc
16422 1984 96 24 172 2276 sbin/ipfs_daemon.proc
16423 3492 152 52 248 3944 sbin/raw_ip.proc
16424 3148 120 64 236 3568 sbin/inetd.proc
16425 3748 200 116 432 4496 sbin/tcp.proc
16426 3676 168 52 256 4152 sbin/udp.proc
PID Text Data Stack Dynamic Total Process
16427 9888 372 40 201336 211636 sbin/iprouting.iosproc
16428 5480 228 36 716 6460 sbin/cdp2.iosproc

lbromirs
CCIE
CCIE
Posty: 4101
Rejestracja: 30 lis 2006, 08:44

Re: Wysokie użycie pamięci RP i SP SUP720-3B

#4

#4 Post autor: lbromirs »

Nie da się tego czytać... wrzucaj z 'code' i na przyszłość uprość sobie od razu sortując - 'show proc mem sorted'. Zrób to proszę jeszcze raz oraz dodaj 'show memory debug leaks'.

miroslaww
fresh
fresh
Posty: 4
Rejestracja: 11 sie 2016, 17:59

Re: Wysokie użycie pamięci RP i SP SUP720-3B

#5

#5 Post autor: miroslaww »

Witam,
Niestety w tej wersji softu brak poleceń 'show proc mem sorted' lub 'show memory debug leaks' (jedynie 'show memory detailed') . W nocy został wyłączony mls flow ip i użycie pamięci RP spadło nieco poniżej 90%.

lbromirs
CCIE
CCIE
Posty: 4101
Rejestracja: 30 lis 2006, 08:44

Re: Wysokie użycie pamięci RP i SP SUP720-3B

#6

#6 Post autor: lbromirs »

To nie jest dobre rozwiązanie.

Zdecydowanie zrób upgrade softu i ew. dalej pociągnij debugging.

miroslaww
fresh
fresh
Posty: 4
Rejestracja: 11 sie 2016, 17:59

Re: Wysokie użycie pamięci RP i SP SUP720-3B

#7

#7 Post autor: miroslaww »

Ok. Postaram się zrobić taki upgrade w ciągu kilku dni i napiszę jakie są efekty.

ODPOWIEDZ