Spine and leaf bez ACI Temat rozwiązany

Problemy i dyskusje z zakresu rozwiązań i technologii Data Center
Wiadomość
Autor
ksos
wannabe
wannabe
Posty: 57
Rejestracja: 29 gru 2020, 10:12

Spine and leaf bez ACI

#1

#1 Post autor: ksos »

Czy ma w ogole sens tworzenie sieci typu spine and leaf, VXLAN, EVPN itp bez kontrolera SDN (czy to ACI czy Nuage itp), a automatyzowane np. Ansiblem? Mamy u siebie DR DC, Nexusy 7k i 5k w standardowym VPC i mam wolna reke co z tym zrobic i myslalem wlasnie o takim podejsciu.

Awatar użytkownika
toczyskik
wannabe
wannabe
Posty: 312
Rejestracja: 09 maja 2006, 14:28
Lokalizacja: Warszawa

Re: Spine and leaf bez ACI

#2

#2 Post autor: toczyskik »

ksos pisze: 15 mar 2022, 09:18 Czy ma w ogole sens tworzenie sieci typu spine and leaf, VXLAN, EVPN itp bez kontrolera SDN (czy to ACI czy Nuage itp), a automatyzowane np. Ansiblem? Mamy u siebie DR DC, Nexusy 7k i 5k w standardowym VPC i mam wolna reke co z tym zrobic i myslalem wlasnie o takim podejsciu.
Nie wiem czy ma sens, ale my mamy ponad 100 switch w 5 DC po całym świecie i nie mamy żadnego kontrolera co tym zarządza. Chodzi to już 5 lat i jakiś problemów z zarządzaniem tego nie ma. Część oczywiście robi puppet, resztę konfiguruje się z palucha, tylko my używamy Cumulusa i Sonica. To pewnie zależy jak często robisz zmiany w sieci. U nas przed pandemią było raz na kwartał, teraz to się zmieniło raz na pół roku (kilka, kilkanaście szaf + kilkaset serwerów per DC).
Pozdrawiam
Krzysiek Te.

ksos
wannabe
wannabe
Posty: 57
Rejestracja: 29 gru 2020, 10:12

Re: Spine and leaf bez ACI

#3

#3 Post autor: ksos »

toczyskik pisze: 15 mar 2022, 12:53
ksos pisze: 15 mar 2022, 09:18 Czy ma w ogole sens tworzenie sieci typu spine and leaf, VXLAN, EVPN itp bez kontrolera SDN (czy to ACI czy Nuage itp), a automatyzowane np. Ansiblem? Mamy u siebie DR DC, Nexusy 7k i 5k w standardowym VPC i mam wolna reke co z tym zrobic i myslalem wlasnie o takim podejsciu.
Nie wiem czy ma sens, ale my mamy ponad 100 switch w 5 DC po całym świecie i nie mamy żadnego kontrolera co tym zarządza. Chodzi to już 5 lat i jakiś problemów z zarządzaniem tego nie ma. Część oczywiście robi puppet, resztę konfiguruje się z palucha, tylko my używamy Cumulusa i Sonica. To pewnie zależy jak często robisz zmiany w sieci. U nas przed pandemią było raz na kwartał, teraz to się zmieniło raz na pół roku (kilka, kilkanaście szaf + kilkaset serwerów per DC).
Dzieki za opdowiedz. Uzywacie przy tym VXLAN i EVPN czy VPC?

cbr
wannabe
wannabe
Posty: 91
Rejestracja: 09 wrz 2015, 19:35

Re: Spine and leaf bez ACI

#4

#4 Post autor: cbr »

ksos pisze: 15 mar 2022, 09:18 Czy ma w ogole sens tworzenie sieci typu spine and leaf, VXLAN, EVPN itp bez kontrolera SDN (czy to ACI czy Nuage itp), a automatyzowane np. Ansiblem? Mamy u siebie DR DC, Nexusy 7k i 5k w standardowym VPC i mam wolna reke co z tym zrobic i myslalem wlasnie o takim podejsciu.
Pytanie co potrzebujesz osiągnąć? Zapewnić DCI, transport L2, czy może dodatkowo mieć integrację z VMware/K8s/chmurą. W pierwszym przypadku sam EVPN wystarczy i nie ma z tym problemu. Cisco ma Multi-Site na EVPN (wymaga N9k) do DCI. Przy czym kwestia ilości zmian i troubleshootingu tego, który wbrew pozorom nie jest trudny. Dokładając do tego anycast gateway robi się dość skomplikowanie. Z kolei kontroler zapewnia nam dodatkowe możliwości - jak integracje właśnie - a także pozwala pełniej spojrzeć na zarządzana przez siebie sieć. Szybciej wykryje też pewne rzeczy i błędy w konfiguracji.

saiqard
wannabe
wannabe
Posty: 385
Rejestracja: 09 lip 2012, 22:10
Lokalizacja: Wałbrzych/Wrocław

Re: Spine and leaf bez ACI

#5

#5 Post autor: saiqard »

Sens ma :) wszystko zależy od tego w jaki sposób i do czego chcesz tego używać, jak czesto masz zmiany w architekturze itd itp :)
PCNSA PCNSE JNCIP-DC JNCDA JNCIA-SEC JNCIA-JUNOS JNCIA-CLOUD CCNA-RS

ksos
wannabe
wannabe
Posty: 57
Rejestracja: 29 gru 2020, 10:12

Re: Spine and leaf bez ACI

#6

#6 Post autor: ksos »

cbr pisze: 15 mar 2022, 19:26
ksos pisze: 15 mar 2022, 09:18 Czy ma w ogole sens tworzenie sieci typu spine and leaf, VXLAN, EVPN itp bez kontrolera SDN (czy to ACI czy Nuage itp), a automatyzowane np. Ansiblem? Mamy u siebie DR DC, Nexusy 7k i 5k w standardowym VPC i mam wolna reke co z tym zrobic i myslalem wlasnie o takim podejsciu.
Pytanie co potrzebujesz osiągnąć? Zapewnić DCI, transport L2, czy może dodatkowo mieć integrację z VMware/K8s/chmurą. W pierwszym przypadku sam EVPN wystarczy i nie ma z tym problemu. Cisco ma Multi-Site na EVPN (wymaga N9k) do DCI. Przy czym kwestia ilości zmian i troubleshootingu tego, który wbrew pozorom nie jest trudny. Dokładając do tego anycast gateway robi się dość skomplikowanie. Z kolei kontroler zapewnia nam dodatkowe możliwości - jak integracje właśnie - a także pozwala pełniej spojrzeć na zarządzana przez siebie sieć. Szybciej wykryje też pewne rzeczy i błędy w konfiguracji.
Dokladnie tak, DCI i zaczac korzystac z dobrodziejstw VXLAN

Awatar użytkownika
toczyskik
wannabe
wannabe
Posty: 312
Rejestracja: 09 maja 2006, 14:28
Lokalizacja: Warszawa

Re: Spine and leaf bez ACI

#7

#7 Post autor: toczyskik »

ksos pisze: 15 mar 2022, 18:59
toczyskik pisze: 15 mar 2022, 12:53
ksos pisze: 15 mar 2022, 09:18 Czy ma w ogole sens tworzenie sieci typu spine and leaf, VXLAN, EVPN itp bez kontrolera SDN (czy to ACI czy Nuage itp), a automatyzowane np. Ansiblem? Mamy u siebie DR DC, Nexusy 7k i 5k w standardowym VPC i mam wolna reke co z tym zrobic i myslalem wlasnie o takim podejsciu.
Nie wiem czy ma sens, ale my mamy ponad 100 switch w 5 DC po całym świecie i nie mamy żadnego kontrolera co tym zarządza. Chodzi to już 5 lat i jakiś problemów z zarządzaniem tego nie ma. Część oczywiście robi puppet, resztę konfiguruje się z palucha, tylko my używamy Cumulusa i Sonica. To pewnie zależy jak często robisz zmiany w sieci. U nas przed pandemią było raz na kwartał, teraz to się zmieniło raz na pół roku (kilka, kilkanaście szaf + kilkaset serwerów per DC).
Dzieki za opdowiedz. Uzywacie przy tym VXLAN i EVPN czy VPC?
Aktualnie używamy VXLANów i EVPN. Ale powoli zostaje to przerabiane na L3, żeby routing był na każdym hoście i pozbyć się L2.
Pozdrawiam
Krzysiek Te.

cbr
wannabe
wannabe
Posty: 91
Rejestracja: 09 wrz 2015, 19:35

Re: Spine and leaf bez ACI

#8

#8 Post autor: cbr »

ksos pisze: 16 mar 2022, 08:33
cbr pisze: 15 mar 2022, 19:26
ksos pisze: 15 mar 2022, 09:18 Czy ma w ogole sens tworzenie sieci typu spine and leaf, VXLAN, EVPN itp bez kontrolera SDN (czy to ACI czy Nuage itp), a automatyzowane np. Ansiblem? Mamy u siebie DR DC, Nexusy 7k i 5k w standardowym VPC i mam wolna reke co z tym zrobic i myslalem wlasnie o takim podejsciu.
Pytanie co potrzebujesz osiągnąć? Zapewnić DCI, transport L2, czy może dodatkowo mieć integrację z VMware/K8s/chmurą. W pierwszym przypadku sam EVPN wystarczy i nie ma z tym problemu. Cisco ma Multi-Site na EVPN (wymaga N9k) do DCI. Przy czym kwestia ilości zmian i troubleshootingu tego, który wbrew pozorom nie jest trudny. Dokładając do tego anycast gateway robi się dość skomplikowanie. Z kolei kontroler zapewnia nam dodatkowe możliwości - jak integracje właśnie - a także pozwala pełniej spojrzeć na zarządzana przez siebie sieć. Szybciej wykryje też pewne rzeczy i błędy w konfiguracji.
Dokladnie tak, DCI i zaczac korzystac z dobrodziejstw VXLAN
DCI to jasne, a co znaczy dobrodziejstw VXLAN? Anycast GW? A może coś jeszcze? Bo oczywiście EVPN można zrobić, tylko później apetyt rośnie w miarę jedzenia, więc czy nie będzie chęci migracji do ACI. W takim wypadku może jednak od razu to wdrożyć..a przynajmniej rozważyć.

Jakbyś chciał coś więcej to pisz śmiało.

ksos
wannabe
wannabe
Posty: 57
Rejestracja: 29 gru 2020, 10:12

Re: Spine and leaf bez ACI

#9

#9 Post autor: ksos »

cbr pisze: 16 mar 2022, 18:58
ksos pisze: 16 mar 2022, 08:33
cbr pisze: 15 mar 2022, 19:26

Pytanie co potrzebujesz osiągnąć? Zapewnić DCI, transport L2, czy może dodatkowo mieć integrację z VMware/K8s/chmurą. W pierwszym przypadku sam EVPN wystarczy i nie ma z tym problemu. Cisco ma Multi-Site na EVPN (wymaga N9k) do DCI. Przy czym kwestia ilości zmian i troubleshootingu tego, który wbrew pozorom nie jest trudny. Dokładając do tego anycast gateway robi się dość skomplikowanie. Z kolei kontroler zapewnia nam dodatkowe możliwości - jak integracje właśnie - a także pozwala pełniej spojrzeć na zarządzana przez siebie sieć. Szybciej wykryje też pewne rzeczy i błędy w konfiguracji.
Dokladnie tak, DCI i zaczac korzystac z dobrodziejstw VXLAN
DCI to jasne, a co znaczy dobrodziejstw VXLAN? Anycast GW? A może coś jeszcze? Bo oczywiście EVPN można zrobić, tylko później apetyt rośnie w miarę jedzenia, więc czy nie będzie chęci migracji do ACI. W takim wypadku może jednak od razu to wdrożyć..a przynajmniej rozważyć.

Jakbyś chciał coś więcej to pisz śmiało.
Dzieki, na razie staram sie odfiltrowac buzz words od tego co naprawde potrzebujemy i mozemy zrobic bez kupowania ACI.

cbr
wannabe
wannabe
Posty: 91
Rejestracja: 09 wrz 2015, 19:35

Re: Spine and leaf bez ACI

#10

#10 Post autor: cbr »

ksos pisze: 18 mar 2022, 08:19 Dzieki, na razie staram sie odfiltrowac buzz words od tego co naprawde potrzebujemy i mozemy zrobic bez kupowania ACI.
No właśnie przede wszystkim jakie są potrzeby na teraz i jakie potrzeby będą w najbliższym czasie. Bez ACI można sporo, działa to całkiem fajnie, jednak nie da się wszystkiego. N5k i N7k to też już dość "leciwe" platformy, więc pewnie pojawi się temat wymiany urządzeń. A jak wymiana, to z Cisco zostają Nexusy 9k, a wtedy mamy wybór - czy zostajemy na NXOS, czy idziemy w ACI (licencja ACI zawiera licencję NXOS, odwrotnie to nie działa). Z doświadczenia podpowiem, że ACI na tyle dobrze się rabatuje, że nie wychodzi wcale drożej niż klasyczne rozwiązanie.

martino76
CCIE
CCIE
Posty: 883
Rejestracja: 17 gru 2010, 15:23
Lokalizacja: Barczewo

Re: Spine and leaf bez ACI

#11

#11 Post autor: martino76 »

Tylko nie ACI, najgorsza proteza jaka widziałem. A jak widzę jak Cisco sprzedaje ACI dla klientów z dwoma leaf-ami i 2 spine to ręce mi opadają :). BGP EVPN+ VXLAN robi swoja robotę. Do tego automatyzacje możesz sobie sam zrobić czy to ansible, nornir czy cokolwiek innego.

cbr
wannabe
wannabe
Posty: 91
Rejestracja: 09 wrz 2015, 19:35

Re: Spine and leaf bez ACI

#12

#12 Post autor: cbr »

martino76 pisze: 19 mar 2022, 15:43 Tylko nie ACI, najgorsza proteza jaka widziałem. A jak widzę jak Cisco sprzedaje ACI dla klientów z dwoma leaf-ami i 2 spine to ręce mi opadają :). BGP EVPN+ VXLAN robi swoja robotę. Do tego automatyzacje możesz sobie sam zrobić czy to ansible, nornir czy cokolwiek innego.
Z ciekawości, dlaczego uważasz, że ACI najgorsze i co w takim razie innego z rozwiązań SDN?

BGP EVPN robi robotę, ale np. troubleshooting tego nie jest trywialny z kolei. Nie ma też żadnych integracji, ktróre spora część klientów ACI wykorzystuje.

A do dwóch przełączników dostepowych, to i EVPN nie jest potrzebny ;)

ksos
wannabe
wannabe
Posty: 57
Rejestracja: 29 gru 2020, 10:12

Re: Spine and leaf bez ACI

#13

#13 Post autor: ksos »

cbr pisze: 18 mar 2022, 09:11
ksos pisze: 18 mar 2022, 08:19 Dzieki, na razie staram sie odfiltrowac buzz words od tego co naprawde potrzebujemy i mozemy zrobic bez kupowania ACI.
No właśnie przede wszystkim jakie są potrzeby na teraz i jakie potrzeby będą w najbliższym czasie. Bez ACI można sporo, działa to całkiem fajnie, jednak nie da się wszystkiego. N5k i N7k to też już dość "leciwe" platformy, więc pewnie pojawi się temat wymiany urządzeń. A jak wymiana, to z Cisco zostają Nexusy 9k, a wtedy mamy wybór - czy zostajemy na NXOS, czy idziemy w ACI (licencja ACI zawiera licencję NXOS, odwrotnie to nie działa). Z doświadczenia podpowiem, że ACI na tyle dobrze się rabatuje, że nie wychodzi wcale drożej niż klasyczne rozwiązanie.
Dzieki za pomocne info. Pytanko z natury technicznej... Jaki protokol wybrac pod underlay? Nie moge sie dowiedziec z netu bo roznie polecaja; OSPF albo BGP?

cbr
wannabe
wannabe
Posty: 91
Rejestracja: 09 wrz 2015, 19:35

Re: Spine and leaf bez ACI

#14

#14 Post autor: cbr »

ksos pisze: 19 mar 2022, 22:27 Dzieki za pomocne info. Pytanko z natury technicznej... Jaki protokol wybrac pod underlay? Nie moge sie dowiedziec z netu bo roznie polecaja; OSPF albo BGP?
Najlepiej szybko zbieżny i taki który znasz i który efektywnie będziesz w stanie troubleshootowac. Osobiście wybrałbym albo IS-IS, albo OSPF. Z naciskiem na pierwszy, bo nie wymaga żadnych dodatkowych optymalizacji.

martino76
CCIE
CCIE
Posty: 883
Rejestracja: 17 gru 2010, 15:23
Lokalizacja: Barczewo

Re: Spine and leaf bez ACI

#15

#15 Post autor: martino76 »

cbr pisze: 19 mar 2022, 20:36
martino76 pisze: 19 mar 2022, 15:43 Tylko nie ACI, najgorsza proteza jaka widziałem. A jak widzę jak Cisco sprzedaje ACI dla klientów z dwoma leaf-ami i 2 spine to ręce mi opadają :). BGP EVPN+ VXLAN robi swoja robotę. Do tego automatyzacje możesz sobie sam zrobić czy to ansible, nornir czy cokolwiek innego.
Z ciekawości, dlaczego uważasz, że ACI najgorsze i co w takim razie innego z rozwiązań SDN?

BGP EVPN robi robotę, ale np. troubleshooting tego nie jest trywialny z kolei. Nie ma też żadnych integracji, ktróre spora część klientów ACI wykorzystuje.

A do dwóch przełączników dostepowych, to i EVPN nie jest potrzebny ;)
Na pewno BGP EVPN jest łatwiejsze w troubleshooting niż ACI, bo to jest BGP, wiec jeśli ktoś zna troche BGP to moment odnajdzie się z BGP EVPN. Dodatkowo konfiguracja na Cisco BGP EVPN jest trywialna. Czemu nie ACI bo to samo z BGP EVPN można zrobić kilka razy szybciej.

Jeśli miałbym wybrać to pewnie poszedłbym w NSX-T gdzie tez można zrobić BGP EVPN+VXLAN i przenosisz cały Overlay do hostów.

Do dwóch przełączników to spokojnie wystarczy stare dobre vPC :)

Pozdro,

ODPOWIEDZ