Enhanced VXLAN & VXLAN Unicast-Only Mode

Problemy i dyskusje z zakresu rozwiązań i technologii Data Center

Moderatorzy: mikrobi, aron, garfield, gangrena, Seba

Wiadomość
Autor
robhass
wannabe
wannabe
Posty: 116
Rejestracja: 05 mar 2009, 16:17

Enhanced VXLAN & VXLAN Unicast-Only Mode

#1

#1 Post autor: robhass » 13 kwie 2016, 22:47

Które platformy Cisco wspierają Enhanced VXLAN w wykonaniu VXLAN Unicast-Only Mode ?

Dopieram sprzęt do nowego środowiska, gdzie potrzebuje wykorzystać VXLAN do zapewnienia komunikacji L2 pomiędzy Leaf'ami. Sieć szkieletowa zapewni łączność IP ze wsparciem dla Jumbo Frames, ale tylko jako unicast. Nie mam co liczyć na multicasty w pewnych segmentach sieci - ograniczenie nie do przejścia.

Od strony Leaf'ów potrzebuje spełnić poniższe wymagania:
- wsparcie dla Enhanced VXLAN w wykonaniu VXLAN Unicast-Only Mode
- wsparcie dla BGP (IPv4) oraz OSPFv2
- FIB na pozimie 2000 tras IPv4
- minimum 24 porty 1/10G na SFP/SFP+
- maksymalnie 2U
- 2 zasilacze najlepiej z airflow back-to-front (bedą zainstalowane z tyłu szafy)
- NX-OS, ale może być też IOS XE
- każdy serwer będzie przypięty do dwóch Leaf'ów które będą pełnić rolę ToR'ów (2 per każdy rack) i oba muszą być widoczne dla serwera jako jeden logiczny przełącznik np. poprzez PortChannel + vPC. VXLAN może mieć jako src/dst IP podany adres anycast IP (na Loopbacku).

Jesteśmy po testach Aristy która spełnia powyższe, ale wolelibyśmy Cisco.

Awatar użytkownika
konradrz
CCIE
CCIE
Posty: 332
Rejestracja: 23 sty 2008, 14:21
Lokalizacja: Singapore, SG
Kontakt:

Re: Enhanced VXLAN & VXLAN Unicast-Only Mode

#2

#2 Post autor: konradrz » 14 kwie 2016, 08:27

robhass pisze:Jesteśmy po testach Aristy która spełnia powyższe, ale wolelibyśmy Cisco.
A, czyli Trident. No to jak chcesz być price-competitive, to popatrz na Nexusy 3000 (31xx, 32xx). Generalnie bodaj od wersji softu 6.x masz "VXLAN ingress replication", czyli to co potrzebujesz.
Przykłady konfiguracji z VPC - akurat dla 9k, ale dla 3k będzie wielce podobnie czy wręcz tak samo.

robhass
wannabe
wannabe
Posty: 116
Rejestracja: 05 mar 2009, 16:17

#3

#3 Post autor: robhass » 14 kwie 2016, 09:11

Czyli na 9300 - dokładnie 9396TX powinno działać ?

Zmieniliśmy trochę koncepcję na mniej switchy, ale więcej portów i porty 10GBaseT. Tzn dwa Leaf'y będą obsługiwać 2 racki jako że potrzebujemy około 20-24 per rack. Serwery mają karty 10GbaseT na mainboard więc odpadną koszty DAC'ów czy SFP+.

piotro
wannabe
wannabe
Posty: 398
Rejestracja: 07 paź 2005, 12:50

#4

#4 Post autor: piotro » 14 kwie 2016, 10:18

robhass pisze:Zmieniliśmy trochę koncepcję na mniej switchy, ale więcej portów i porty 10GBaseT. Tzn dwa Leaf'y będą obsługiwać 2 racki jako że potrzebujemy około 20-24 per rack. Serwery mają karty 10GbaseT na mainboard więc odpadną koszty DAC'ów czy SFP+.
Za to dojdzie wieksze opoznienie po kablu i wieksza moc w niego pompowana, tak sajdnotem.
To chyba nexus 9200 tez by spelnily wymagania.

Awatar użytkownika
konradrz
CCIE
CCIE
Posty: 332
Rejestracja: 23 sty 2008, 14:21
Lokalizacja: Singapore, SG
Kontakt:

#5

#5 Post autor: konradrz » 14 kwie 2016, 11:53

piotro pisze:To chyba nexus 9200 tez by spelnily wymagania.
Jak i 9372, jak i 3172 (ciut tańszy), jak i 32xx, ... Wyboru sporo.
robhass pisze:Czyli na 9300 - dokładnie 9396TX powinno działać ?
Powinno:)

Najtaniej Ci raczej wyjdzie 3172TX (czysty Trident-II, najbardziej podobny do Arist które zapewne oglądałeś) -- 48 portów 1/10G plus 6 portów 40G (które możesz breakoutować na 6x 4x10G). W 9372TX masz tyleż samo portów, ale nie zrobisz breakoutu (dodatkowy czipset Donner (ten za 'żółtymi portami') breakoutów nie robi - za to może robić ACI). W 9396TX masz 48x1/10G (Trident-II) plus 12x40G (NorthStar, podobnie jak Donner, nie robi breakoutów).

Miej też baczenie na feature-set (seria 9k jest generanie software-upgrade'owalna do ACI, 3k to tylko NX-OS).

martino76
CCIE
CCIE
Posty: 805
Rejestracja: 17 gru 2010, 15:23
Lokalizacja: Dublin

#6

#6 Post autor: martino76 » 15 kwie 2016, 23:48

Witam,


Podepnę się pod temat dla N9K widzę, ze jest możliwość użycia unicat-mode
VXLAN ingress replication - Provides support to replicate multi-destination packets (broadcast, unknown unicast, or multicast packets) to statically defined peers, uses VxLAN unicast, and eliminates the need of a multicast core
Z racji tego, ze będę odpalał VXLAN na N5K-C5672UP a w release note nigdzie nie widzę by była wzmianka o wsparciu dla unicast-mode dla tej platformy. Mam pytanie czy ta platforma wspiera unicast-mode również?

Pozdro,

robhass
wannabe
wannabe
Posty: 116
Rejestracja: 05 mar 2009, 16:17

Re: Enhanced VXLAN & VXLAN Unicast-Only Mode

#7

#7 Post autor: robhass » 16 kwie 2016, 13:05

konradrz pisze:A, czyli Trident.
Nie wcale to nie był Broadcom Trident. W tych Aristach (7150S) co testowaliśmy siedzi ASIC Intel/Fulcrum Alta.
Ostatnio zmieniony 16 kwie 2016, 13:07 przez robhass, łącznie zmieniany 1 raz.

lbromirs
CCIE
CCIE
Posty: 3936
Rejestracja: 30 lis 2006, 08:44

Re: Enhanced VXLAN & VXLAN Unicast-Only Mode

#8

#8 Post autor: lbromirs » 16 kwie 2016, 13:07

robhass pisze:
konradrz pisze:A, czyli Trident.
Nie Broadcom.
Trident to jeden z chipsetów Broadcoma właśnie. Zacznij tutaj:

https://www.broadcom.com/products/Switc ... 840-Series

robhass
wannabe
wannabe
Posty: 116
Rejestracja: 05 mar 2009, 16:17

Re: Enhanced VXLAN & VXLAN Unicast-Only Mode

#9

#9 Post autor: robhass » 16 kwie 2016, 13:09

lbromirs pisze: Trident to jeden z chipsetów Broadcoma właśnie.
To wiadomo że Tridenty są by Broadcom. A w sumie to już Avago ;)

Chodziło o to, że w Aristach które testowaliśmy VXLAN'y _nie_ są realizowane na Tridentach. Tam jest zupełnie inny ASIC, innej firmy. Patrz wcześniejszy post.

robhass
wannabe
wannabe
Posty: 116
Rejestracja: 05 mar 2009, 16:17

#10

#10 Post autor: robhass » 16 kwie 2016, 13:12

martino76 pisze:VXLAN na N5K-C5672UP
A jaki ASIC jest sercem N5600 ? Coś by Cisco ?

Awatar użytkownika
gangrena
CCIE/CCDE
CCIE/CCDE
Posty: 2342
Rejestracja: 08 mar 2004, 12:17
Lokalizacja: Wawa

#11

#11 Post autor: gangrena » 16 kwie 2016, 13:58

robhass pisze:A jaki ASIC jest sercem N5600 ? Coś by Cisco ?
Unified Port Controller, codename BigSur:
http://www.cisco.com/c/en/us/support/do ... html#anc10
Połączenia downstream 12x10GE lub 3x40GE, upstream 4x56Gbps do matrycy lub 8x56Gbps z matrycy.

Awatar użytkownika
gangrena
CCIE/CCDE
CCIE/CCDE
Posty: 2342
Rejestracja: 08 mar 2004, 12:17
Lokalizacja: Wawa

Re: Enhanced VXLAN & VXLAN Unicast-Only Mode

#12

#12 Post autor: gangrena » 16 kwie 2016, 14:04

robhass pisze:Które platformy Cisco wspierają Enhanced VXLAN w wykonaniu VXLAN Unicast-Only Mode ?
Z tego, co wiem, to tryb unicast-only jest na N1kv lub Nexusach, które wspierają EVPN. Nie widziałem takiej komendy, jak na Arista, co by przypisać statycznie remote VTEP, do VNI. Dlatego potrzebny jest EVPN. W przypadku N1kv rolę control-plane spełnia VSM stąd adresy VTEP też są znane.
konradrz pisze:Generalnie bodaj od wersji softu 6.x masz "VXLAN ingress replication", czyli to co potrzebujesz.
VXLAN ingress replication jest, ale bez EVPN nie ma wiedzy, jakie adresy VTEP mają uczestniczyć w rozciągnięciu danego segmentu VNI. Chyba, że jest jakaś komenda, a'la Arista: vxlan vlan <vlan-id> flood vtep <adres-ip> na Nexusach.
Ostatnio zmieniony 16 kwie 2016, 14:07 przez gangrena, łącznie zmieniany 1 raz.

Awatar użytkownika
konradrz
CCIE
CCIE
Posty: 332
Rejestracja: 23 sty 2008, 14:21
Lokalizacja: Singapore, SG
Kontakt:

#13

#13 Post autor: konradrz » 16 kwie 2016, 14:05

robhass pisze:W tych Aristach (7150S) co testowaliśmy siedzi ASIC Intel/Fulcrum Alta.
Fulcrum (Alta i Bali) to bardzo stare czipy (4-5 lat?). Teraz Arista Tridenty (i różne nowsze) montuje.
Zaletą Fulcrumów jest zapewne cena, i całkiem niskie latency (rzędu 400ns, tyle co nowe Tridenty II+). Wadą będzie jego przyszłość - czyt: wydajność (sporo portów 10G, ale już mało - o ile w ogóle - 40G, i wcale 100G), mały FIB (max 64k entries vs 100k-200k+ nowsze platformy), mniej też pps-ów (o jakieś 40%). Ale w Twoim zastosowaniu to (na razie?) raczej nie problem.
O ile też się w SDNy bawisz - sprawdź którą _dokładnie_ wersję OpenFlow Fulcrum wspiera (bo coś mi świta że 1.0-1.1, a nie 1.3.1 jak Tridenty).

robhass pisze:
martino76 pisze:VXLAN na N5K-C5672UP
A jaki ASIC jest sercem N5600 ? Coś by Cisco ?
Tak, to czip Cisco. Się zwie BigSur (-CR), o ile do czegoś Ci to potrzebne ;)
Inny feature-set (np potrafi Fibre Channel robić), inna cena (bo i inny feature-set), inne spożycie prądu, no i inna wydajność. Wiesz, nie bez powodu Trident jest obecnie "chip of choice" wielu vendorów.
(jasne, Trident już nieco przestarzały też jest - ale do wieeeelu zastosowań się nadaje)

Awatar użytkownika
konradrz
CCIE
CCIE
Posty: 332
Rejestracja: 23 sty 2008, 14:21
Lokalizacja: Singapore, SG
Kontakt:

Re: Enhanced VXLAN & VXLAN Unicast-Only Mode

#14

#14 Post autor: konradrz » 16 kwie 2016, 14:08

gangrena pisze:VXLAN ingress replication jest, ale bez EVPN nie ma wiedzy, jakie adresy VTEP mają uczestniczyć w rozciągnięciu danego segmentu VNI. Chyba, że jest jakaś komenda, a'la Arista: vxlan vlan <vlan-id> flood vtep <adres-ip> na Nexusach.
Ano jest, ręcznie się podaje, coś w stylu:

Kod: Zaznacz cały

switch-vtep-1(config)# vlan 11
switch-vtep-1(config-vlan)# vn-segment 10011
switch-vtep-1(config)# vlan 12
switch-vtep-1(config-vlan)# vn-segment 10012
switch-vtep-1(config)# interface nve1
switch-vtep-1(config-if)# no shutdown
switch-vtep-1(config-if)# source-interface loopback0
switch-vtep-1(config-if)# member vni 10011
switch-vtep-1(config-if)# member vni 10011
switch-vtep-1(config-if)# ingress-replication protocol static
switch-vtep-1(config-if)# peer_ip 200.200.9.9
switch-vtep-1(config-if)# member vni 10012
switch-vtep-1(config-if)# ingress-replication protocol static
switch-vtep-1(config-if)# peer_ip 200.200.9.9
Fakt, ładniej z EVPN.

PS. "Nie ma wiedzy" to rusycyzm! :)

Awatar użytkownika
gangrena
CCIE/CCDE
CCIE/CCDE
Posty: 2342
Rejestracja: 08 mar 2004, 12:17
Lokalizacja: Wawa

Re: Enhanced VXLAN & VXLAN Unicast-Only Mode

#15

#15 Post autor: gangrena » 16 kwie 2016, 14:23

konradrz pisze:Ano jest, ręcznie się podaje, coś w stylu:
O, to ładnie. To chyba od niedawna? W 6.x nie widziałem. Poszperam jeszcze w release notes, ale w sumie sam pisałeś, że jest od 6.x.
konradrz pisze:PS. "Nie ma wiedzy" to rusycyzm! :)
Nie jestem rusofobem, choć generalnie nie używam takiego zwrotu. Jakiś static replication się trafił. ;)

ODPOWIEDZ