Nexus Peer link

[qligowski]

Witam.

Mam 2x2 Nexusy 5k w dwoch DC. Oba sa poloaczone identycznie, krotki kabel ethernet miedzy nexusami ze standardowym configiem (vpc domain 1
peer-keepalive destination 169.254.0.1 source 169.254.0.2) i potem port-channel 1 z 4x10gb miedzy soba. Do tego polaczone host ESXI z VPC

Na jednym Nexusie owy port channel jest skonfigurowany jako peer link na drugim nie. Oba confingi odziedziczone po AT&T, ktory setup jest porpawny, bo mielsmy ostatnio awarie jednego Nexusa i tam gdzie nie ma 'peer link' wszystko padlo mimo ze vPC dzialal.

[konradrz]

W skrócie:
a) po obu stronach port-channelu "lokalnego" powinno być "peer-link"
b) 4x 10gbit to może być sporo na wyrost (bo tylko w corner-case sytuacjach ten link jest używany - to nie Catalyst; sprawdź sobie SNMP czy czym obecne obciążenie)
A pomiędzy sajtami zwykły port-channel (o ile używasz back-to-back vpc, znaczy).

[cbr]

1) jeśli ma być vPC w stronę ESXi, to peer-link na Po1 być musi, inaczej będą to dwa niezależne przełączniki, co mija się z celem posiadania nexusów
2) jeśli masz back-to-back vPC i na obu parach ten sam numer vPC domain to niefajnie, numerek musi być różny
3) w jaki sposób podłączone są ESXi? LACP, static etherchannel, active/passive? w standardowej konfiguracji ESXi można podłączyć do dwóch niezależnych przełączników (Route Based on Originating Port ID), może być tak, że wcale konfiguracji vPC nie wykorzystujesz

[qligowski]

Dzieki wszystkim, a co w przypadku jezeli oba nexusy sa polaczone 4x10gbit i z tego sa dwa port-channel 1 i 20. Po1 jest skonfiugorwany jako zwykly trunk a Po20 jako vPC peerlink?
Czy to jest misconfing czy zamierzone?

[cbr]

Może być to zamierzone i bywa stosowane w przypadku non-vPC VLAN. Wtedy niezbędny jest zwykły trunk między parą nexusów, przy jednoczesnym usunięciu tych VLANów z peer-link.

[qligowski]

Dzieki cbr,

Czytam wlasnie ze bedzie problem z podlaczeniem Nexusow do domeny OSPF ktore beda dzialac w GLBL w jednym VLANIE z Nexusami przez vpc peer link. Co bedzie lepszym rozwiazeniem - zezwolic tylko jeden VLAN z ospf przez drugi zwykly trunk czy zablokowac go na peer link (czyli zezwolic wszystkie oprocz tego z ospf)?

[cbr]

Nie ma na to uniwersalnej odpowiedzi. Jak zawsze...to zależy. Zależy od modelu N5k i zależy od wersji NX-OS.
PS. O ile dobrze widzę, N5k nie wspierają GLBP.

[bart]

Może być to zamierzone i bywa stosowane w przypadku non-vPC VLAN. Wtedy niezbędny jest zwykły trunk między parą nexusów, przy jednoczesnym usunięciu tych VLANów z peer-link.

Odświeżę trochę wątek, bo czytam w różnych miejscach i widzę różne podejścia a co za tym idzie konfigurację. Mam 2x9300 i do nich podpięte 2x9200 głównie na potrzeby połączeń miedzianych. I teraz do tych 9200 mam podpięte trochę zwykłych portów access w tym samym VLAN ale nie są one w konfiguracji vpc. I teraz wyłączyć takie nonVPC VLAN z peer-link między tymi 9200 czy nie? Głównie ruch idzie raczej z tego danego portu access to 9200 i potem w górę do któregoś 9300 i dalej no ale powiedzmy teoretycznie/przykładowo mogłoby się zdarzyć że była by potrzeba ruchu z port 10 na 9200-1 do port 20 na 9200-2 w VLAN33 no to wtedy najkrótsza droga wiedzie przez peer-link. No chyba że jest opcja że źle rozumiem "nonVPC VLAN" czemu oczywiście nie zaprzeczam.

[cbr]

Jestem zwolennikiem podejścia "rób jak naprościej". vPC w nexusach upraszcza zdecydowanie STP, dzięki czemu z tego punktu widzenia mamy jedno połączenie pomiędzy dwoma przełącznikami. Wprowadzanie dodatkowego linku na części vlanów sprawi, że będą miały inną topologię i będziemy musieli uważać na kolejne rzeczy. A to, że masz orphan porty na nexusach nie jest niczym strasznym. Jeśli będą bardzo obciążały peer-link, to wtedy można się zastanowić co z tym zrobić. Bo można też rozbudować peer-link

[bart]

Jestem zwolennikiem podejścia "rób jak naprościej". vPC w nexusach upraszcza zdecydowanie STP, dzięki czemu z tego punktu widzenia mamy jedno połączenie pomiędzy dwoma przełącznikami. Wprowadzanie dodatkowego linku na części vlanów sprawi, że będą miały inną topologię i będziemy musieli uważać na kolejne rzeczy. A to, że masz orphan porty na nexusach nie jest niczym strasznym. Jeśli będą bardzo obciążały peer-link, to wtedy można się zastanowić co z tym zrobić. Bo można też rozbudować peer-link

OK czyli rozumiem na peer-link dawać vlan all. Ja docelowo będę miała taką powiedzmy w miarę rozbudowaną topologię czyli mam dwa DC i w każdym mam właśnie 9200 <> 9300 no i teraz między DC zrobię połączenie 9300 <> 9300. Z tego co czytałem to z punktu widzenia STP lepiej między DC filtrować BPDU i po prostu zostawić drzewo STP per dane DC i nie rozciągać tego na całość co logicznie ma dla mnie sens. Dobrze kombinuje?

[cbr]

OK czyli rozumiem na peer-link dawać vlan all. Ja docelowo będę miała taką powiedzmy w miarę rozbudowaną topologię czyli mam dwa DC i w każdym mam właśnie 9200 <> 9300 no i teraz między DC zrobię połączenie 9300 <> 9300. Z tego co czytałem to z punktu widzenia STP lepiej między DC filtrować BPDU i po prostu zostawić drzewo STP per dane DC i nie rozciągać tego na całość co logicznie ma dla mnie sens. Dobrze kombinuje?

Co do zasady tak, chociaż ciężko cokolwiek jednoznacznie powiedzieć nie znając dokładnie topologii, połączeń i reszty sieci.

back-to-back vpc jest ok, bpdu filter też jest ok, ale pod warunkiem braku jakichkolwiek innych połączeń L2 między dc, inaczej może być nieciekawie.

Inną opcją - skoro rozmawiamy o DCI - może być VXLAN.

[bart]

U mnie jest to w miarę prosto, więc VXLAN to raczej niepotrzebna komplikacja i nadmiarowość, ponieważ te moje dwie serwerownie to jest na zasadzie HA czyli 1 i 2 jest w większej części taka sama i jakieś szczegóły/różnice to są rzeczy bardziej test/dev ale na pewno nie produkcyjne, więc jak spadną na chwilę to nic im nie będzie. Także mam wszędzie takie same VLANy, więc wyczytałem tu i ówdzie aby w każdym DC jeden z przełączników był root w STP a między DC po prostu blokować STP aby DC nie miały pod tym względem na siebie wpływu. Poza DC jak już wychodzę to L3 tylko.