[IGMP SNOOPING] Samoinstne IGMP leave przez STB (PIM ASR920 a dalej NEXUS3000)

Problemy związane z routingiem
Wiadomość
Autor
kyob
rookie
rookie
Posty: 14
Rejestracja: 07 wrz 2009, 20:47
Kontakt:

[IGMP SNOOPING] Samoinstne IGMP leave przez STB (PIM ASR920 a dalej NEXUS3000)

#1

#1 Post autor: kyob »

Multicasty odbieram bezpośrenio w ASR920 (PIM sparse-mode), a dalej jest wysyłany VLANAMI przez NEXUSA N3K-C3064PQ-10GE w głąb sieci (struktura gwiazdy).

W lanie STB wszędzie włączony IGMP Snooping (ASR920 => NEXUS3000 => DCN/DLINK/inni vendorzy).

1) STB wpięty bezpośrednio do ASR920 (PIM) w logach STB tylko TS Continuity Counter Error brak End of stream
2) STB wpięty do przelotowego NEXUS3000 do ASR920 (PIM) w logach STB błedy TS Continuity Counter Error oraz End of stream
3) w głębszych segmentach sieci także problemy jak w punkcie 2

4) sondy (iperf) nie rejestrują problemów, a mamy ich sporo tylko STB w logach wyłapują problem
5) tutaj jest dump https://ufile.io/9g20p z STB, który jest wpięty do NEXUSA

Apr 19 14:00:03 stbapp: STBPlayer: End of Stream.

W wiresharku dobrze jest wywiltrować (!(ipv6.src == ::)) && !(ip.src == 0.0.0.0) to generował mój komputer i trochę zaśmiecił dumpa.

7) nie wiem czy w każdym przypadku, ale w analizowanych STB wystąpienie End of stream pokrywa się z uptimem grupy na PIM

Log w STB:

Kod: Zaznacz cały

Apr 19 12:21:05 stbapp: STBPlayer: End of Stream.
BDI225 po 2 minutach i 35 sekundach:

Kod: Zaznacz cały

PIM#show ip igmp groups 239.239.5.2
IGMP Connected Group Membership
Group Address    Interface                Uptime    Expires   Last
Reporter   Group Accounted
239.239.5.2      BDI216                   00:00:31  00:02:48 10.200.198.153
239.239.5.2      BDI210                   00:01:32  00:02:24 10.202.33.146
239.239.5.2      BDI225                   00:02:43  00:02:35  0.0.0.0
239.239.5.2      BDI213                   00:22:14  00:02:25 10.202.125.151
239.239.5.2      BDI209                   00:50:04  00:02:22 10.202.33.60
239.239.5.2      BDI212                   01:55:21  00:02:25 10.202.32.40
239.239.5.2      BDI220                   16:43:07  00:02:23 0.0.0.0
239.239.5.2      BDI211                   21:36:47  00:02:23 10.202.32.148
239.239.5.2      BDI215                   1d00h     00:02:23 10.200.198.50
239.239.5.2      BDI221                   1d14h     00:02:26 10.205.87.162
239.239.5.2      BDI217                   2d04h     00:02:23 0.0.0.0
239.239.5.2      BDI214                   2w6d      00:02:33 10.202.125.29
BDI225 po 5 minutach i 52 sekundach:

Kod: Zaznacz cały

PIM#show ip igmp groups 239.239.5.2
IGMP Connected Group Membership
Group Address    Interface                Uptime    Expires   Last
Reporter   Group Accounted
239.239.5.2      BDI210                   00:04:42  00:02:42 10.202.33.179
239.239.5.2      BDI225                   00:05:52  00:02:20  10.200.249.140
239.239.5.2      BDI213                   00:25:23  00:02:20 10.202.125.151
239.239.5.2      BDI209                   00:53:13  00:02:13 10.202.33.81
239.239.5.2      BDI212                   01:58:30  00:02:16 10.202.32.45
239.239.5.2      BDI220                   16:46:17  00:02:14 0.0.0.0
239.239.5.2      BDI211                   21:39:57  00:02:21 10.202.32.148
239.239.5.2      BDI215                   1d00h     00:02:14 10.200.198.50
239.239.5.2      BDI221                   1d14h     00:02:16 0.0.0.0
239.239.5.2      BDI217                   2d04h     00:02:16 10.200.199.3
239.239.5.2      BDI214                   2w6d      00:02:21 10.202.125.100

PIM ASR920 (PIM sparse-mode and igmp snooping v2 w całym LANIE STB)

Kod: Zaznacz cały

Global IGMP Snooping configuration:
-------------------------------------------
IGMP snooping Oper State     : Enabled
IGMPv3 snooping (minimal)    : Enabled
Report suppression           : Enabled
TCN solicit query            : Disabled
Robustness variable          : 2
Last member query count      : 2
Last member query interval   : 1000
Check TTL=1                  : No
Check Router-Alert-Option    : No

Vlan 225:
--------
IGMP snooping Admin State           : Enabled
IGMP snooping Oper State            : Enabled
IGMPv2 immediate leave              : Disabled
Report suppression                  : Enabled
Robustness variable                 : 2
Last member query count             : 2
Last member query interval          : 1000
Check TTL=1                         : Yes
Check Router-Alert-Option           : Yes
NEXUS3000

Kod: Zaznacz cały

Global IGMP Snooping Information:
  IGMP Snooping enabled
  IGMPv1/v2 Report Suppression enabled
  IGMPv3 Report Suppression disabled
  Link Local Groups Suppression enabled
  VPC Multicast optimization disabled

IGMP Snooping information for vlan 225
  IGMP snooping enabled
  Lookup mode: IP
  IGMP querier present, address: 10.200.249.129, version: 2, i/f Eth1/8
  Switch-querier disabled
  IGMPv3 Explicit tracking disabled
  IGMPv2 Fast leave disabled
  IGMPv1/v2 Report suppression enabled
  IGMPv3 Report suppression disabled
  Link Local Groups suppression enabled
  Router port detection using PIM Hellos, IGMP Queries
  Number of router-ports: 1
  Number of groups: 32
  VLAN vPC function disabled
  Active ports:
    Eth1/7      Eth1/8  Eth1/17 Eth1/18
    Eth1/19     Eth1/43 
  Report Flooding: Disabled
  Interfaces for Report Flooding: n/a 
  Use Group Address for Proxy Leaves: no

vlan configuration 225
  ip igmp snooping mrouter interface Ethernet1/8
  no ip igmp snooping explicit-tracking
  ip igmp snooping version 2
Problem występuje w losowych odstępach czasu. Nasila się w godzinach wieczornych.

Sprawdziłem wszelkie mi znane liczniki brak drops, errors, misses, failures nic nie przykuło mojej uwagi.

Czy od multicastów można osiwieć? Tak poważnie jak mogę lepiej poznać problem i znaleść źródło problemów z IGMP Snoopingiem?

lukaszbw
CCIE
CCIE
Posty: 516
Rejestracja: 23 mar 2008, 11:41

Re: [IGMP SNOOPING] Samoinstne IGMP leave przez STB (PIM ASR920 a dalej NEXUS3000)

#2

#2 Post autor: lukaszbw »

Cześć,

Szczerze to trzeba by nad tym posiedzieć trochę a w dzisiejszych czasach mało kto będzie robił to za darmo.

Bez analizowania szczegółów, pierwsze co bym zobaczył to CoPP na Nexusach. W przeciwieństwie do starszych serii, Cisco domyślnie włącza CoPP na Nexusach i konfiguracja domyślnie nie jest widoczna z poziomu show running-config. Powoduje to czasami dropowanie takich pakietów jak właśnie IGMP czy ICMP przy bardziej obciążonych segmentach mimo, że sam CPU control plane jest w stanie obsłużyć znacznie większy ruch.

Nexus 3000 to nie są przełączniki dystrybucyjne do sieci LAN jak wielu sprzedawców używanego sprzętu próbuje udowodnić. Mają swoje zalety ale jak się używa przełącznika DC pod sieć operatorską to potem takie kwiatki mogą wychodzić.

Pozdr.
Lukasz Wisniowski MSc CCNA CCNP CCIE #20319
Tandem Networks
ul. Sztormowa 34
94-117 Łódź
NIP: 727-257-72-37
tel: +48 (42) 2091825

kyob
rookie
rookie
Posty: 14
Rejestracja: 07 wrz 2009, 20:47
Kontakt:

Re: [IGMP SNOOPING] Samoinstne IGMP leave przez STB (PIM ASR920 a dalej NEXUS3000)

#3

#3 Post autor: kyob »

lukaszbw pisze: 21 kwie 2018, 11:42 Cześć,

Szczerze to trzeba by nad tym posiedzieć trochę a w dzisiejszych czasach mało kto będzie robił to za darmo.
Polecisz kogoś kto to jest w stanie ogarnąć za kasę?
lukaszbw pisze: 21 kwie 2018, 11:42 Bez analizowania szczegółów, pierwsze co bym zobaczył to CoPP na Nexusach. W przeciwieństwie do starszych serii, Cisco domyślnie włącza CoPP na Nexusach i konfiguracja domyślnie nie jest widoczna z poziomu show running-config.

Powoduje to czasami dropowanie takich pakietów jak właśnie IGMP czy ICMP przy bardziej obciążonych segmentach mimo, że sam CPU control plane jest w stanie obsłużyć znacznie większy ruch.
U mnie chyba wszystko widać w running-config, albo źle patrzę.

Jeśli chodzi o ten CoPP to tam zaglądałem. Nie widzę jakiś większych dropów.

Kod: Zaznacz cały

# show policy-map interface control-plane 
Control Plane
  service-policy  input: copp-system-policy
    class-map copp-s-selfIp (match-any)
      police pps 500 
        OutPackets    1632630
        DropPackets   12
    class-map copp-s-default (match-any)
      police pps 400 
        OutPackets    0
        DropPackets   0
    class-map copp-s-l2switched (match-any)
      police pps 200 
        OutPackets    0
        DropPackets   0
    class-map copp-s-ping (match-any)
      match access-group name copp-system-acl-ping
      police pps 100 
        OutPackets    0
        DropPackets   0
    class-map copp-s-l3destmiss (match-any)
      police pps 100 
        OutPackets    0
        DropPackets   0
    class-map copp-s-glean (match-any)
      police pps 500 
        OutPackets    0
        DropPackets   0
    class-map copp-s-l3mtufail (match-any)
      police pps 100 
        OutPackets    0
        DropPackets   0
    class-map copp-s-ttl1 (match-any)
      police pps 100 
        OutPackets    0
        DropPackets   0
    class-map copp-s-ipmcmiss (match-any)
      police pps 400 
        OutPackets    0
        DropPackets   0
    class-map copp-s-l3slowpath (match-any)
      police pps 100 
        OutPackets    0
        DropPackets   0
    class-map copp-s-dhcpreq (match-any)
      police pps 300 
        OutPackets    0
        DropPackets   0
    class-map copp-s-dhcpresp (match-any)
      match access-group name copp-system-dhcp-relay
      police pps 300 
        OutPackets    0
        DropPackets   0
    class-map copp-s-dai (match-any)
      police pps 300 
        OutPackets    0
        DropPackets   0
    class-map copp-s-igmp (match-any)
      match access-group name copp-system-acl-igmp
      police pps 400 
        OutPackets    31774278
        DropPackets   0
    class-map copp-s-eigrp (match-any)
      match access-group name copp-system-acl-eigrp
      match access-group name copp-system-acl-eigrp6
      police pps 200 
        OutPackets    0
        DropPackets   0
    class-map copp-s-pimreg (match-any)
      match access-group name copp-system-acl-pimreg
      police pps 200 
        OutPackets    0
        DropPackets   0
    class-map copp-s-pimautorp (match-any)
      police pps 200 
        OutPackets    0
        DropPackets   0
    class-map copp-s-routingProto2 (match-any)
      match access-group name copp-system-acl-routingproto2
      police pps 1300 
        OutPackets    2236893
        DropPackets   0
    class-map copp-s-v6routingProto2 (match-any)
      match access-group name copp-system-acl-v6routingProto2
      police pps 1300 
        OutPackets    2895
        DropPackets   0
    class-map copp-s-routingProto1 (match-any)
      match access-group name copp-system-acl-routingproto1
      match access-group name copp-system-acl-v6routingproto1
      police pps 1000 
        OutPackets    10634507
        DropPackets   0
    class-map copp-s-arp (match-any)
      police pps 1000 
        OutPackets    169148400
        DropPackets   1146
    class-map copp-s-ptp (match-any)
      police pps 1000 
        OutPackets    0
        DropPackets   0
    class-map copp-s-vxlan (match-any)
      police pps 1000 
        OutPackets    0
        DropPackets   0
    class-map copp-s-bfd (match-any)
      police pps 350 
        OutPackets    0
        DropPackets   0
    class-map copp-s-bpdu (match-any)
      police pps 12000 
        OutPackets    28120389
        DropPackets   0
    class-map copp-s-dpss (match-any)
      police pps 1000 
        OutPackets    0
        DropPackets   0
    class-map copp-icmp (match-any)
      match access-group name copp-system-acl-icmp
      police pps 200 
        OutPackets    0
        DropPackets   0
    class-map copp-telnet (match-any)
      match access-group name copp-system-acl-telnet
      police pps 500 
        OutPackets    0
        DropPackets   0
    class-map copp-ssh (match-any)
      match access-group name copp-system-acl-ssh
      police pps 500 
        OutPackets    0
        DropPackets   0
    class-map copp-snmp (match-any)
      match access-group name copp-system-acl-snmp
      police pps 500 
        OutPackets    0
        DropPackets   0
    class-map copp-ntp (match-any)
      match access-group name copp-system-acl-ntp
      police pps 100 
        OutPackets    0
        DropPackets   0
    class-map copp-tacacsradius (match-any)
      match access-group name copp-system-acl-tacacsradius
      police pps 400 
        OutPackets    0
        DropPackets   0
    class-map copp-stftp (match-any)
      match access-group name copp-system-acl-stftp
      police pps 400 
        OutPackets    0
        DropPackets   0
    class-map copp-s-mpls (match-any)
      police pps 100 
        OutPackets    0
        DropPackets   0
Do ASR920 mam wpięty przełącznik innego vendora z dużo mniejszym ruchem do testów i tam problem także występuje, ale o znacznie mniejszym natężeniu. Operator odpowiedzialny za transmisję multicastów nie dostrzega u siebie problemów.

Update:
- STB wpięty bezpośrednio do PIM (brak problemów z end of stream, ale w logach sporo TS Continuity Counter error)
- sonda iperf wpięta bezpośredno do PIM => czysto
- STB wpięty do NEXUSA do PIM (brak problemów z end of stream, a w logach niewiele TS Continuity Counter error)
- kilkanaście sond iperf w różnych segmentach sieci => czysto

lukaszbw pisze: 21 kwie 2018, 11:42 Nexus 3000 to nie są przełączniki dystrybucyjne do sieci LAN jak wielu sprzedawców używanego sprzętu próbuje udowodnić. Mają swoje zalety ale jak się używa przełącznika DC pod sieć operatorską to potem takie kwiatki mogą wychodzić.
Wiadomo o co chodzi cena robi różnicę.

lukaszbw
CCIE
CCIE
Posty: 516
Rejestracja: 23 mar 2008, 11:41

Re: [IGMP SNOOPING] Samoinstne IGMP leave przez STB (PIM ASR920 a dalej NEXUS3000)

#4

#4 Post autor: lukaszbw »

Testowałeś czy jak na sztywno dołączysz grupę do portu to problem ustępuje ? Wiadomo, nie jest to rozwiązaniem ale będzie można stwierdzić czy wysyłając ciągle multicast w danej grupie problem występuje czy nie i czy dalej brnąć w kierunku IGMP czy problem jest gdzieś ze samym strumieniem lub STB.


Pozdr.
Lukasz Wisniowski MSc CCNA CCNP CCIE #20319
Tandem Networks
ul. Sztormowa 34
94-117 Łódź
NIP: 727-257-72-37
tel: +48 (42) 2091825

kyob
rookie
rookie
Posty: 14
Rejestracja: 07 wrz 2009, 20:47
Kontakt:

Re: [IGMP SNOOPING] Samoinstne IGMP leave przez STB (PIM ASR920 a dalej NEXUS3000)

#5

#5 Post autor: kyob »

lukaszbw pisze: 21 kwie 2018, 23:52 Testowałeś czy jak na sztywno dołączysz grupę do portu to problem ustępuje ? Wiadomo, nie jest to rozwiązaniem ale będzie można stwierdzić czy wysyłając ciągle multicast w danej grupie problem występuje czy nie i czy dalej brnąć w kierunku IGMP czy problem jest gdzieś ze samym strumieniem lub STB.
Robiłem już statyczne przypisanie grupy do portu. Nie pomaga. Problem nadal występuje. W między czasie porzedł upgrade nexusa 3000, ale też bez poprawy.

felix
wannabe
wannabe
Posty: 142
Rejestracja: 13 lis 2014, 21:46

Re: [IGMP SNOOPING] Samoinstne IGMP leave przez STB (PIM ASR920 a dalej NEXUS3000)

#6

#6 Post autor: felix »

Mam kilka takich nexusów obsługujących sporo ruchu mcast i raczej problemów większych nie ma. Całkiem odrębna sprawa to jeżeli stb widzi błędy kolejności pakietów, to sonda tym bardziej powinna to łapać.

Na nexusie masz pim router ?

Nie widzisz nic w logach ?

Może problem nie leży w pim/igmp snoop, tylko niższych warstwach ?

Jak stracisz strumień, to po ponownym joinie strumień powraca ?

Czy w momencie wystąpienia przerwy masz straty np. w pingu od odbiorcy do źródła ?


Dotrzyj do tej wersji biosu i nxos:

Software
BIOS: version 3.9.0
NXOS: version 7.0(3)I5(2)

kyob
rookie
rookie
Posty: 14
Rejestracja: 07 wrz 2009, 20:47
Kontakt:

Re: [IGMP SNOOPING] Samoinstne IGMP leave przez STB (PIM ASR920 a dalej NEXUS3000)

#7

#7 Post autor: kyob »

Problem częściowo rozwiązany. Po wyłączeniu ochrony przed DoS (głównie blat attack) problem w 95% ustąpił.

Protekcja przed DoS zaczynała działać po przekroczeniu "nieznanego" progu (switch nie ma countera), wtedy zaczynały się kwiatki z STB.

Nadal obserwujemy problem z STB, ale skala mocno się zmniejszyła.

marcinsiedlce
newbie
newbie
Posty: 1
Rejestracja: 08 gru 2020, 21:49

Re: [IGMP SNOOPING] Samoinstne IGMP leave przez STB (PIM ASR920 a dalej NEXUS3000)

#8

#8 Post autor: marcinsiedlce »

Jak rozwiązałeś problem? Pytam, bo mam identyczną sytuacje

kyob
rookie
rookie
Posty: 14
Rejestracja: 07 wrz 2009, 20:47
Kontakt:

Re: [IGMP SNOOPING] Samoinstne IGMP leave przez STB (PIM ASR920 a dalej NEXUS3000)

#9

#9 Post autor: kyob »

Przełączniki dostępowe miały za dużo włączonych typów "DoS Attack Prevention".

ODPOWIEDZ