CAT6807-XL fabric capacity

[felix]

Hej, switch to catalyst 6807-XL, karta WS-X6816-10GE i karta zarządzająca SUP2T

Według specyfikacji karta grupuje 16 portów w dwie grupy, każda podłączona odrębnym interfejsem pod backplane switcha. Każdy o pojemności 20gbps.

1. Czy 20gbps to jest in/out 10/10 czy 20/20 ?
2. Co dzieje się z ruchem L3 dla którego bramą jest interfejs svi na switchu, a port źródłowy i docelowy znajduje się na tej samej karcie w tej samej grupie portów ? Czy taki ruch trafia przez backplane do karty zarządzającej ?
3. To samo pytanie co 2, tylko źródło ruchu pochodzi z portu z pierwszej grupy, a cel podłączony jest pod port z drugiej grupy.
4. Znów to samo, tylko źródło ruchu jest na jednej karcie WS-X6816-10GE, a cel na innej karcie WS-X6816-10GE.

Dzięki

[lbromirs]

1. 20 in, 20 out
2. Masz DFC na karcie? Jeśli tak, to poza wyjątkami, ruch zamknie się na poziomie tej samej grupie portów, jeśli nie masz - leci do PFC na Supervisorze.
3. Ruch przejdzie przez matrycę, nagłówki przez Supa (znowu, jeśli nie ma DFC na karcie).
4. Znów to samo - albo na wejściu DFC karty liniowej podejmie decyzje i wyśle ruch do docelowej karty przez fabric, albo nagłówki pakietu + metadane polecą do PFC na Supervisorze z prośbą o podjęcie decyzji o forwardingu. Następnie pakiet zostanie przesłany matrycą.

Zajrzyj do moich starych prezentacji z Cisco Forum ;)

[felix]

Dzięki, na kartach jest DFC, szperam dalej po forum za prezentacjami

Trzeba chyba było inne karty kupić z 2x40G, bo się ciężko robić zaczyna

Dzięki za pomoc

[lbromirs]

Rzuć okiem tutaj:
https://www.ciscolive.com/c/dam/r/cisco ... C-3465.pdf (od strony 44 masz architekturę kart)

A potem jeszcze tutaj:
https://www.ciscolive.com/c/dam/r/cisco ... S-3143.pdf

[felix]

Świetne to, dzięki serdeczne. Przestudiuje i pewnie wrócę z pytaniami, albo odpowiedziami na resztę pytań

[felix]

Rozjaśniło mi to dużo, ale nadal nie potrafię rozwiązać mojego problemu, który polega na tym, że na interfejsach 10G na obu kartach WS-X6816-10GE mam bardzo dużą ilość błędów overrun, a ruch przechodzący przez przełącznik ma sporo strat. Ustaliłem na chwilę obecną, że przepełnia się matryca na jednej z kart WS-X6816-10GE (na dole zrzut z show fabric utylization). Tyle, że dropowanie ruchu i błędy overrun nie pokrywają się z pikami w utylizacji matrycy. No i kurcze znów mam zestaw pytań:

1. Czy błędy overrun mogą oznaczać problem z przepełnieniem matrycy i brakiem możliwości wysłania pakietów przez backplane ?
2. Czy Karta WS-X6816-10GE posiada ograniczenie na port ASIC lub fire ASIC uniemożliwiające jednoczesne przyjęcie pełnego obciążenia portów danej karty. Czyli np. przesłanie z portów 1,2 20gbps ruchu do portów 3,4, lub przesłanie z portu 1,2,3,4 ruchu 40gbps do portów 5,6,7,8. Bo rozumiem, że DFC podejmuje decyzję, ale dane między asic fire 1 i asic fire 2 wymieniane są nadal przez matrycę.
3. W jaki sposób mogę przełączyć się na zapasowego supa ? Chciałbym wyeliminować problemy z supem
4. W jaki sposób mogę skierować kluczowy ruch (na czas rozwiązania problemu) do hi queue na fabric channel ? Czy trzeba jakoś konkretnie markować ruch, nadać kolejkę llq ? Czy jeszcze jakoś inaczej ?

Tutaj kilka parametrów z przełącznika:

Kod: Zaznacz cały

  Fabric utilization:     Ingress                    Egress
    Module  Chanl  Speed  rate  peak                 rate  peak
    1       0        20G    2%    7% @11:20 28Apr19    0%    5% @05:02 28Apr19
    1       1        20G    0%    5% @10:04 28Apr19   15%   22% @04:18 28Apr19
    2       0        20G   42%   58% @12:09 28Apr19   27%   33% @11:44 28Apr19
    2       1        20G    8%   58% @11:19 28Apr19   25%   52% @09:47 28Apr19
    3       0        20G   22%   27% @12:03 28Apr19   27%   33% @12:08 28Apr19
    3       1        20G    0%    0%                   0%    0%
    4       0        20G   13%   27% @10:21 28Apr19   22%   30% @11:53 28Apr19
    4       1        20G    0%    0%                   0%    0%
    5       0        20G   35%   83% @11:03 28Apr19   48%   85% @11:26 28Apr19
    5       1        20G   32%   58% @11:40 28Apr19   33%   95% @09:16 28Apr19
    6       0        20G    0%    5% @04:31 28Apr19    0%    5% @05:01 28Apr19
    6       1        20G    0%    0%                  12%   17% @11:20 28Apr19

Kod: Zaznacz cały

  Polling interval for drop counters and timestamp is 15 in seconds

  Packets dropped by fabric for different queues:
  Counters last cleared time: <01:46  28 Apr 19>
 slot    channel    Low-Q-drops                  High-Q-drops
    1          0              0                             0
    1          1              0                             0
    2          0           7481 @12:11 28Apr19              0
    2          1           2167 @12:10 28Apr19              0
    3          0             14 @11:53 28Apr19              0
    3          1              0                             0
    4          0              8 @11:55 28Apr19              0
    4          1              0                             0
    5          0           5819 @12:10 28Apr19              0
    5          1              8 @11:53 28Apr19              0
    6          0              0                             0
    6          1              0                             0

Kod: Zaznacz cały

TenGigabitEthernet5/15 is up, line protocol is up (connected)
  Hardware is C6k 10000Mb 802.3, address is 
  Description: ASR1-0/1/0
  MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec,
     reliability 255/255, txload 90/255, rxload 79/255
  Encapsulation ARPA, loopback not set
  Keepalive set (10 sec)
  Full-duplex, 10Gb/s, media type is 10Gbase-LR
  input flow-control is off, output flow-control is off
  Clock mode is auto
  ARP type: ARPA, ARP Timeout 04:00:00
  Last input never, output never, output hang never
  Last clearing of "show interface" counters 10:32:04
  Input queue: 0/2000/32058/0 (size/max/drops/flushes); Total output drops: 0
  Queueing strategy: fifo
  Output queue: 0/40 (size/max)
  5 minute input rate 3111077000 bits/sec, 394458 packets/sec
  5 minute output rate 3537920000 bits/sec, 401944 packets/sec
     6882911657 packets input, 6922112808005 bytes, 0 no buffer
     Received 297609 broadcasts (36807 multicasts)
     0 runts, 0 giants, 0 throttles
     0 input errors, 0 CRC, 0 frame, 32058 overrun, 0 ignored
     0 watchdog, 0 multicast, 0 pause input
     0 input packets with dribble condition detected
     6864983781 packets output, 7480161873660 bytes, 0 underruns
     0 output errors, 0 collisions, 0 interface resets
     0 babbles, 0 late collision, 0 deferred
     0 lost carrier, 0 no carrier, 0 PAUSE output
     0 output buffer failures, 0 output buffers swapped out
     
     
     
     TenGigabitEthernet5/7 is up, line protocol is up (connected)
  Hardware is C6k 10000Mb 802.3, address is 
  Description: 10G_app
  MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec,
     reliability 255/255, txload 50/255, rxload 9/255
  Encapsulation ARPA, loopback not set
  Keepalive set (10 sec)
  Full-duplex, 10Gb/s, media type is 10Gbase-CU2M
  input flow-control is off, output flow-control is off
  Clock mode is auto
  ARP type: ARPA, ARP Timeout 04:00:00
  Last input never, output never, output hang never
  Last clearing of "show interface" counters never
  Input queue: 0/2000/12866880/0 (size/max/drops/flushes); Total output drops: 0
  Queueing strategy: fifo
  Output queue: 0/40 (size/max)
  5 minute input rate 392093000 bits/sec, 35673 packets/sec
  5 minute output rate 1981604000 bits/sec, 164329 packets/sec
     488177065091 packets input, 569060046506905 bytes, 0 no buffer
     Received 876329 broadcasts (876324 multicasts)
     0 runts, 0 giants, 0 throttles
     0 input errors, 0 CRC, 0 frame, 12870309 overrun, 0 ignored
     0 watchdog, 0 multicast, 268 pause input
     0 input packets with dribble condition detected
     5022217023113 packets output, 7587052748539172 bytes, 0 underruns
     0 output errors, 0 collisions, 3 interface resets
     0 babbles, 0 late collision, 0 deferred
     0 lost carrier, 0 no carrier, 0 PAUSE output
     0 output buffer failures, 0 output buffers swapped out

Dzięki za pomoc

[lbromirs]

6816 jest nadsubskrybowana 4:1.

Błąd 'overrun' oznacza, że ASIC nie był w stanie zebrać odpowiednio szybko ruchu z interfejsu i/lub zabrakło bufora. Na pierwszy rzut oka można spróbować inaczej ustawić kolejki wejściowe. Z obciążenia matrycy nie wynika że miałbyś jakoś szczególne obciążenie poza PFC w slocie 5 (Supervisor jak znam życie), co oznacza że masz dużo ruchu obsługiwanego/replikowanego przez Supervisora. Jeśli na kartach są DFC - coś jest nie tak. Zacznij od rozłożenia portów 10GE na fizyczne grupy po 4 porty na wejściowej karcie liniowej.

Zmiana Supów:
https://www.cisco.com/c/en/us/support/d ... g-upg.html

[felix]

6816 jest nadsubskrybowana 4:1

Możesz to rozwinąć? port asci mieści 10gbps? fire asic 20gbps ? w sumie byłoby to logiczne.

Błąd 'overrun' oznacza, że ASIC nie był w stanie zebrać odpowiednio szybko ruchu z interfejsu i/lub zabrakło bufora. Na pierwszy rzut oka można spróbować inaczej ustawić kolejki wejściowe. Z obciążenia matrycy nie wynika że miałbyś jakoś szczególne obciążenie poza PFC w slocie 5 (Supervisor jak znam życie), co oznacza że masz dużo ruchu obsługiwanego/replikowanego przez Supervisora. Jeśli na kartach są DFC - coś jest nie tak. Zacznij od rozłożenia portów 10GE na fizyczne grupy po 4 porty na wejściowej karcie liniowej.

Takie jest obsadzenie kart:

Kod: Zaznacz cały

Mod Ports Card Type                              Model              Serial No.
--- ----- -------------------------------------- ------------------ -----------
  1   48  CEF720 48 port 1000mb SFP              WS-X6848-SFP       
  2   16  CEF720 16 port 10GE                    WS-X6816-10GE      
  3    5  Supervisor Engine 2T 10GE w/ CTS (Acti VS-SUP2T-10G       
  4    5  Supervisor Engine 2T 10GE w/ CTS (Hot) VS-SUP2T-10G       
  5   16  CEF720 16 port 10GE                    WS-X6816-10GE      
  6   48  CEF720 48 port 1000mb SFP              WS-X6848-SFP       

Mod  Sub-Module                  Model              Serial       Hw     Status
---- --------------------------- ------------------ ----------- ------- -------
  1  Distributed Forwarding Card WS-F6K-DFC4-A        2.1    Ok
  2  Distributed Forwarding Card WS-F6K-DFC4-E        1.2    Ok

Rozpoczynam od rozłożenia portów, zbieram maksymalną ilość informacji, bo optymalne rozłożenie nie będzie łatwe. Moduł 5 jest najmocniej obłożony ruchem.

Założyłem jeszcze proste ipsla icmp-echo na innych urządzenia w różnych kierunkach ruchu tego przełącznika i w sumie dropów nie zauważam więc tragedii jeszcze nie ma, no ale overruns i dropy na fabric coś oznaczają i pewnie zaraz zacznie się jazda.

Pomysł na przełączenie supervisora powstał z kolejnego problemu... mianowicie z dwóch supervisorów z portów X1 mam zestawiony uplink w lacp do innego segmentu sieci. Na tym uplinku otrzymuję 5gbps ruchu unicast i 3gbps ruchu mcast. Na ruch mcast mam sondy. Jedna z nich podłączona do portu w module 6 1g. No i w momencie gdy ruch unicast osiągnie swoje 5gbps, to mam taką sytuacją, że sonda widzi zmiany w kolejności otrzymywanych ramek na części grup mcast, podczas gdy inne grupy otrzymywane tą samą trasą nie mają żadnych problemów. Na porcie którym otrzymuję ten mcast, brak jakichkolwiek błędów, na fabric 0 sup`ów brak pików, na fabric 6 0-1 brak pików, na porcie do którego podłączona sonda ruch 100mbps (tylko mcast). No i teraz jeżeli przełączę sondę z modułu 6 na port 1g w którymś z supów, to problemy z przesunięciem ramek nie jest widoczny na sondzie na żadnej grupie. Te 3gbps mcastu mogę też odebrać drugim uplinkiem spiętym obecnie na te2/15 i te2/16 w lacp. Gdy odbiorę mcast przez tą trasę, to sonda zarówno na portach sup`ów jak i na portach modułu 6 nie rejestruje żadnych błędów na żadnej z grup. Przy tym ruchu raczej ten kłopot nie powinien występować nawet bez llq.

Zaczynam od porządkowania tematu obłożenia portów, później ponowię test z mcastem przez lacp z supów.

[xhinge]

Switching fabric nie wydala. Za duzo ruchu z karty do fabrica, stad overruny na portach wejsciowych.

Kilka przykladowych powodow:
- ot po prostu za duzo ruchu obslugiwanego przez dany model karty
- SPAN
- Replikacja multicast
- Flooding

[felix]

Mi się wydaje, że overruns to problem wydajności asic, bo nie zgadzają mi się z pikami na fabric, a temat fabric, to druga sprawa i tutaj to koniec wydajności, bo ruchu jest dużo i dociera w pikach.

Problem z mcastem to temat oddzielny i jeszcze bardziej złożony, bo ewidentnie czkawki dostają grupy docierające w lacp na jednego supa, a grupy docierające na drugiego są czyste przy przejściu na kartę na której jest sonda. Po weekendzie mała roszada portów, zabranie kilku serwerów do drugiej lokalizacji i dam znać co i jak.

Dzięki za pomoc

[felix]

Uporządkowałem porty, zdjąłem sporą część ruchu, ale problemu nie rozwiązałem. Różnica jest taka, że wcześniej miałem dropy na interfejsach, teraz mam tylko overruns i piki na fabric interface Problemy switcha nie są też odczuwalne w działaniu usług.

Podpowiedzcie mi jeszcze proszę:

1. Czy mapowanie fabric asic na karcie do interfejsu backplane jest takie, że pierwsza grupa portów (np. karta 16x10G) 1-8 to channel0, a 9-16 to channel 1 ? Jak mogę to sprawdzić?
2. Zbieram netflow z interfejsów, które podejrzewam o stwarzanie problemów. Za każdym razem gdy zbieram mcast na interfejsach svi (bo nie mam tam mcastu w L2) to wykres ma widoczne piki. Przykładowo otrzymuję 2gbps, a z wykresu wynika, że raz mam 200mbps, a za chwilę 4gbps. Jak zbieram w kierunku out, no to ruch skacze pod 34gbps, bo zapewne zbieram to co replikowane jest na fabric.

[lbromirs]

1. 'show interfaces capabilities module X' daje Ci listę ASICów z mapowaniem na porty na karcie. Potem możesz sprawdzić przez 'show fabric fpoe map' które ASICi na której karcie liniowej mapowane są na który port matrycy ('fpoe' to 'Fabric Point of Exit').
2. NetFlow na 6500/6800 ma konkretnie ograniczenia w kontekście tego co i kiedy jest wspierane, w szczególności że dołączasz tutaj SVI jako porty agregacji ruchu.

[felix]

Show interface capabilities ok: Ports-in-ASIC (Sub-port ASIC) : 1-8 (1-4)


Nie mam komendy show 'fabric fpoe map'. Mam:

#show fabric ?
active crossbar fabric linecard active and backup info
channel-counters fabric channel counters
clear-block clear-block congestion control for fabric channels
drop drop counters for different queues in fabric
errors fabric port errors
status status of crossbar fabric
switching-mode crossbar fabric and system switching modes
utilization fabric port utilization percentage
| Output modifiers
<cr>


Albo to, ale wynik jest dla mnie niejasny:

#show platform hardware fpoe slot 5 start 0 end 10
pMask: active high
Index Block0 Block1 Block2 Block3 Block4 Block5 Block6 Block7
------+--------+--------+--------+--------+--------+--------+--------+--------+
0x0 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD
pMask-> 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000
0x1 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE
pMask-> 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400
0x2 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD
pMask-> 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000
0x3 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE
pMask-> 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400
0x4 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD
pMask-> 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000
0x0 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD
pMask-> 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000
0x1 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE
pMask-> 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400
0x2 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD
pMask-> 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000
0x3 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE
pMask-> 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400
0x4 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD
pMask-> 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000
0x5 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE
pMask-> 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400
0x6 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD
pMask-> 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000
0x7 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE
pMask-> 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400
0x8 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD
pMask-> 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000
0x9 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE
pMask-> 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400
0x5 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE
pMask-> 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400
0x6 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD
pMask-> 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000
0x7 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE
pMask-> 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400
0x8 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD
pMask-> 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000
0x9 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE 0x3FFFE
pMask-> 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400 0x00400
0xA 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD
pMask-> 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000
0xA 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD 0x3FFFD
pMask-> 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000 0x01000

[lbromirs]

OK, włącz sobie tryb 'performance', ale wtedy z karty 16 portowej robisz 4 portowa: "no hw-module module X oversubscription".
Tu masz rozrysowane porty ("Figure 1"): https://www.cisco.com/c/en/us/products/ ... 62061.html

[felix]

Dzięki, tak uczynię. Okazało się, że problem generują serwery, które nadają ruch w pikach, złapany tcpdumpem na port-channel serwera. Dzięki wszystkim za pomoc.