L3 pomiędzy rożnymi DC's

Problemy i dyskusje z zakresu rozwiązań i technologii Data Center

Moderatorzy: mikrobi, aron, garfield, gangrena, Seba

Wiadomość
Autor
martino76
CCIE
CCIE
Posty: 805
Rejestracja: 17 gru 2010, 15:23
Lokalizacja: Dublin

L3 pomiędzy rożnymi DC's

#1

#1 Post autor: martino76 » 15 wrz 2015, 16:43

Witam,

Mam 3 DC tak jak na załączonym rysunku, pomiędzy tymi DC mam rozciągnięte L2. Obecnie na FW ASA nie używamy żadnego dynamicznego routingu i wszystko oparte jest na trasach statycznych
Obrazek

Z perspektywy FW wygląda to tak, jak by były w tym samym LAN. Jeśli np w DC1 chce dostać się do sieci 10.2.30/24 w DUB3 to ustawiam na ASA statyk 10.2.30.0/24 NH 10.1.1.3 i jest po sprawie to samo w DUB3 tylko w odwrotnym kierunku.

Nie jest to złe rozwiązanie bo mamy kontrole nad tym co się dziej, ale przy dużej ilości podsieci staje się to uciążliwe, dlatego zastanawiam się nad wdrożeniem L3 pomiędzy FW.

Wiem, ze Cisco na N5K wspiera L3 peering jeśli ASA/Router podłączona jest do VPC za pomocą port-channel link, ale może pojawić sie suboptimal routing i dlatego sugerują by używać L3 pomiędzy ASA/Router a VPC domain.

Mógłbym pominąć N5K i zestawić OSPF/EIGRP tylko pomiędzy FW a dla podsieci które są na N5K albo poza nimi dać statyczne trasy na FW i ustawić jako NH N5K to samo zrobić w druga stronę na N5K.

Mozę, ktoś ma lepszy pomysł na implementacje routingu pomiędzy pomiędzy DC?

Pozdro,

michal_basta
CCIE
CCIE
Posty: 211
Rejestracja: 04 mar 2009, 20:17
Lokalizacja: Warszawa

#2

#2 Post autor: michal_basta » 15 wrz 2015, 17:14

A BGP miedzy ASA?

Generalnie to ta siec chyba nie byla budowana z mysla o L3 DCI, wiec mozesz zamienic cos co dobrze dziala, ale jest niewygodne, na cos co bedzie 'cool', ale problematyczne do wdrozenia i utrzymania. Inny skillset tez wymagany jest do troubleshootingu obecnej sieci, a tej po zmianach.

martino76
CCIE
CCIE
Posty: 805
Rejestracja: 17 gru 2010, 15:23
Lokalizacja: Dublin

#3

#3 Post autor: martino76 » 15 wrz 2015, 18:00

michal_basta pisze:A BGP miedzy ASA?

Generalnie to ta siec chyba nie byla budowana z mysla o L3 DCI, wiec mozesz zamienic cos co dobrze dziala, ale jest niewygodne, na cos co bedzie 'cool', ale problematyczne do wdrozenia i utrzymania. Inny skillset tez wymagany jest do troubleshootingu obecnej sieci, a tej po zmianach.
Witam,

Ja tego nie budowałem dostałem to w spadku :) i teraz zastanawiam się jak to poprawić by miało ręce i nogi oraz by dało się tym zarządzać w rozsądny sposob.

Nie wiem czy potrzeba mi BGP pomiędzy ASA dla kilkudziesięciu prefiksów. EIGRP/OSPF spokojnie pociągnie do kilkuset wiec nie widzę potrzeby odpalania BGP, szczególnie ze to nie jest rozwiązanie dla klientów tylko dla wewnętrznej infrastruktury, która jest w oddzielnym VRF :), może tego nie wspomniałem.

Najlepiej by było odpalić L3 pomiędzy ASA oraz Nexusami ale Cisco nie zaleca tego rozwiązania i preferuje linki L3 pomiędzy ASA/Router podłączonymi do VPC a ja mam ASA podłączona do VPC domain za pomocą vPC.

Pozdro

horac

#4

#4 Post autor: horac » 15 wrz 2015, 20:28

A daj EIGRP miedzy ASAmi, na takim design bez inwestycji w pudelka bez wsparcia L3 na czyms innym niz ASA nic lepszego sie nie zrobi

Awatar użytkownika
konradrz
CCIE
CCIE
Posty: 332
Rejestracja: 23 sty 2008, 14:21
Lokalizacja: Singapore, SG
Kontakt:

#5

#5 Post autor: konradrz » 16 wrz 2015, 01:23

horac pisze:A daj EIGRP miedzy ASAmi, na takim design bez inwestycji w pudelka bez wsparcia L3 na czyms innym niz ASA nic lepszego sie nie zrobi
Nie zgodzę się. OP mówił o "vPC obecnie".
A EIGRP jest martwym (w DC, a to ten dział) protokołem. Nikt rozsądny nie pakuje się (w DC) w single-vendor feature.


Martino:
BTW, Twoja linka wskazuje na peer-gateway, ale wiemy o co chodzi :)
Zważ, że te L3-vPC-problemy występują głównie przy awariach, czy to Nexusa czy jego modułu (Tridenta-1). Boli? Bierz L3 i masz load sharing (w zależności od przepustowości serwerów - jeśli faktycznie pchają dziesiątki Gbps, to nieładnie mieć non-vPC ASę.)

Plus - jako zadanie domowe na 2016: pomyśl jak zarządzać tymi ASAmi np via git+puppet.


PS. Twój poprzedni Irlandczyk zamotał :)

horac

#6

#6 Post autor: horac » 16 wrz 2015, 09:30

konradrz pisze: Nie zgodzę się. OP mówił o "vPC obecnie".
A EIGRP jest martwym (w DC, a to ten dział) protokołem. Nikt rozsądny nie pakuje się (w DC) w single-vendor feature.
Przeciez tu chodzi tylko o to, ze mu sie nie chce statikow robic, to co za roznica jaki to bedzie protokol(dalej go nie bedzie propagowal bo to jakis wycinek sieci wyizolowany w VRF), caly design jest jakis dziwny, wszystkie ASA w tej samej podsieci. Jak odpali routing na Nexusach to po co to cale L2 w ogole jest ?;]

martino76
CCIE
CCIE
Posty: 805
Rejestracja: 17 gru 2010, 15:23
Lokalizacja: Dublin

#7

#7 Post autor: martino76 » 16 wrz 2015, 11:26

konradrz pisze:
horac pisze:A daj EIGRP miedzy ASAmi, na takim design bez inwestycji w pudelka bez wsparcia L3 na czyms innym niz ASA nic lepszego sie nie zrobi
Nie zgodzę się. OP mówił o "vPC obecnie".
A EIGRP jest martwym (w DC, a to ten dział) protokołem. Nikt rozsądny nie pakuje się (w DC) w single-vendor feature.
Tutaj się z tobą zgodzę, na razie mamy wszystkie pudelka Cisco ale, kto wie co może się wydarzyć za pól roku i jeśli użyje EIGRP a później ktoś powie ze wstawiamy Brocade bo jest taniej itd. to wyląduje w przysłowiowej czarnej. Niektórych rzeczy nie da się przeskoczyć jeśli management nie będzie chciał wydać więcej kasy na inny sprzęt i będzie szukał ciecia kosztów. Dlatego tak jak napisałeś wolałbym OSPF.
konradrz pisze: Martino:
BTW, Twoja linka wskazuje na peer-gateway, ale wiemy o co chodzi :)
Zważ, że te L3-vPC-problemy występują głównie przy awariach, czy to Nexusa czy jego modułu (Tridenta-1). Boli? Bierz L3 i masz load sharing (w zależności od przepustowości serwerów - jeśli faktycznie pchają dziesiątki Gbps, to nieładnie mieć non-vPC ASę.)

Plus - jako zadanie domowe na 2016: pomyśl jak zarządzać tymi ASAmi np via git+puppet.


PS. Twój poprzedni Irlandczyk zamotał :)
Najlepiej było by zrobić OSPF pomiędzy ASA oraz N5K i dodatkowo OSPF pomiędzy N5K w roznych DC a L2 zostawić tylko dla VLAN's które potrzebują tego np do vMotion albo jakiś clustrów czy replikacji dla Disatser Revovery

Zastanawiam się czy zrobienie OSPF pomiędzy vPC ASA oraz N5K a później samymi N5K będzie miał sens i czy bezie to działać poprawnie. Ogólnie Cisco odradza robienie routing peering dla urządzeń podpiętych za pomocą vPC

When you connect a router to a pair of Cisco Nexus 5500 Platform switches in a vPC topology and enable routing, traffic forwarding may result in suboptimal traffic paths crossing the peer link similar to the situation described in the “Layer 3 Forwarding for Packets to a Peer Switch MAC Address” section. We recommend that you use Layer 3 links for connections between the router and the Nexus 5500 switch, instead of a port channel with an IP address.......

we recommend that you use Layer 3 interfaces instead of vPC interfaces to connect routers to Cisco Nexus 5500 Platform switches whenever possible

Najlepiej było by to wszystko zaorać i postawić od nowa by miało ręce i nogi ale skoro się nie da to chciałbym to zrobić tak by miało jaki to sense i i oddzielić L2 od L3. Nie wiem czy przy takim design jest sens i pchać się w L3 pomiędzy ASA/N5K oraz OSPF pomiędzy N5K w rożnych lokalizacjach.


horac pisze: Przeciez tu chodzi tylko o to, ze mu sie nie chce statikow robic, to co za roznica jaki to bedzie protokol(dalej go nie bedzie propagowal bo to jakis wycinek sieci wyizolowany w VRF), caly design jest jakis dziwny, wszystkie ASA w tej samej podsieci. Jak odpali routing na Nexusach to po co to cale L2 w ogole jest ?;]
Zgodzę się z tobą, ze design jest do bani i powinien wszystko się od nowa zaprojektować, ale ze jest to również produkcyjne środowisko nie bardzo chcą to rosząc pewnie domyślasz się dlaczego :)

Dobrze by było pomyśleć nad migracja do MPLS/MP-BGP w core ale N5K nie wspiera MPLS :) a dla L2 pomiedzy DC rozciagnac tylko te VLAN'y które naprawdę wymagaj takiej komunikacji lub pomyśleć nad OTV pomiędzy DC's i miec pomiedzy lokalizacjami L3 a ponad tym zrobić OTV. Tak jak pisałeś bez inwestycji w pudelka raczej się nie obejdzie w dłuższej perspektywie czasu. Przy obecnym design jeśli zaczniemy dokładać więcej klientów itd. to się zrobi jeszcze większy bałagan niż jest teraz.

Pozro,

piotro
wannabe
wannabe
Posty: 398
Rejestracja: 07 paź 2005, 12:50

#8

#8 Post autor: piotro » 16 wrz 2015, 12:41

Jak wspomniales/wspomniano ta siec srednio pasuje do Twoich wymagan, szczegolnie patrzac w przod.

Ale juz na bardziej akademickim poziomie rozwazan, ja bym najpierw probowal pozbyc sie L2 pomiedzy DC w core. Niewiele daje w tym przykladzie, za to ma potencjal niezle namieszac jak cos ktos spierdzieli, dolozy sprzetu do sieci, itp (a widzialem podobna siec, tyle, ze vlan 1 ;) i troche wiecej roznych urzadzen dolaczonych bezposrednio do cora i pieknie to padalo od czasu do czasu jak chlopaki cos robili, tyle, ze tam moglem to latwo przerobic na L3, bo core bylo po ludzku na cat6500, a nie na N5K ;) ).

martino76
CCIE
CCIE
Posty: 805
Rejestracja: 17 gru 2010, 15:23
Lokalizacja: Dublin

#9

#9 Post autor: martino76 » 16 wrz 2015, 13:20

Witam,

Nic innego raczej nie wymyśle wiec stwierdziłem ze zrobię coś takiego jak na załączonym diagramie

Obrazek


W każdym DC zrobię L3 peering pomiędzy ASA a vPC N5K, w każdym DC będzie do tego dedykowany oddzielny VLAN. Pomiędzy DC1 oraz DC2 dedykowany VLAN zostanie przeznaczony na OSPF Area0 to samo będzie pomiędzy DC2 oraz DC3 dla OSPF Area0


W taki sposób zachowam separacje miedzy L3 oraz L2 i będę mógł w łatwy sposób rozgłaszać poszczególne prefiksy z ASA do OSPF.

Myślę, ze powinno to zadziałać :)

Pozdro,

Awatar użytkownika
dzogurt
CCIE
CCIE
Posty: 411
Rejestracja: 07 maja 2008, 11:58
Lokalizacja: Ostrava CZ

#10

#10 Post autor: dzogurt » 18 wrz 2015, 14:04

hej,
Ja bym wykorzystał twoje L2 pomiędzy DC. Zrobiłbym osobne VLANy pomiędzy DC1-DC2, DC2-DC3 i DC1-DC3, taki trójkąt. Nexusy zostawiłbym jak są L2. Na nowych Vlanach: L3 od ASY do ASY (sub-if na tych port-channelach co masz, czy SVI). na takich P2P połączeniach dynamiczny protokół. Rozumiem, że ASA w każdym z DC jest def GW dla serwerów/userów? Wtedy redystrybucja z connected to dynamicznego protokołu.
All men by nature desire knowledge
http://www.linkedin.com/in/marcinduma

meeple
member
member
Posty: 28
Rejestracja: 27 mar 2012, 09:19

#11

#11 Post autor: meeple » 28 wrz 2015, 23:09

A jakie to są Nexusy dokładnie?

martino76
CCIE
CCIE
Posty: 805
Rejestracja: 17 gru 2010, 15:23
Lokalizacja: Dublin

#12

#12 Post autor: martino76 » 30 wrz 2015, 21:21

N5K ale już zaimplementowane i działa tak jak powinno. OSPF pomiędzy ASA oraz N5K z vPC działa bez problemów, nie zauważyłem nic co by wpływami na stabilność sieci. Jedyny problem jaki zauważyłem to performance issue kiedy odpalilem peer-gateway a na SVI nie miałem no ip redirect, po dodaniu no ip redirect wszystko wróciło do normy.

Pozdro,

meeple
member
member
Posty: 28
Rejestracja: 27 mar 2012, 09:19

#13

#13 Post autor: meeple » 02 paź 2015, 13:10

martino76 pisze:N5K ale już zaimplementowane i działa tak jak powinno. OSPF pomiędzy ASA oraz N5K z vPC działa bez problemów, nie zauważyłem nic co by wpływami na stabilność sieci. Jedyny problem jaki zauważyłem to performance issue kiedy odpalilem peer-gateway a na SVI nie miałem no ip redirect, po dodaniu no ip redirect wszystko wróciło do normy.

Pozdro,
No ale które N5k :) ? 5548 czy 5672 ?
Na 5672 masz vxlany, więc możesz zrobić szkielet na L3 i przez vxlan rozciągnąć L2...

martino76
CCIE
CCIE
Posty: 805
Rejestracja: 17 gru 2010, 15:23
Lokalizacja: Dublin

#14

#14 Post autor: martino76 » 03 paź 2015, 00:25

meeple pisze:
martino76 pisze:N5K ale już zaimplementowane i działa tak jak powinno. OSPF pomiędzy ASA oraz N5K z vPC działa bez problemów, nie zauważyłem nic co by wpływami na stabilność sieci. Jedyny problem jaki zauważyłem to performance issue kiedy odpalilem peer-gateway a na SVI nie miałem no ip redirect, po dodaniu no ip redirect wszystko wróciło do normy.

Pozdro,
No ale które N5k :) ? 5548 czy 5672 ?
Na 5672 masz vxlany, więc możesz zrobić szkielet na L3 i przez vxlan rozciągnąć L2...
Wiem, ze na 5672 mam VXLAN ale te mam tylko w jednym DC pozostale to N5596UP wiec raczej to odpadalo. Mam tez ASR miedzy DC wiec jeszcze jest opcja OTV, narazie mam to odpalone pomiedzy 2 DC i testuje jak to bedzie dzialac.

Pozdro,

ODPOWIEDZ