BGP: Na co migrować z 6500/Sup-720-3b-xl?

Wszystkie rozmowy związane z problemem z hardwarem, supportowanymi funkcjonalnościami, wydajnością urządzeń itp.
Wiadomość
Autor
robhass
wannabe
wannabe
Posty: 116
Rejestracja: 05 mar 2009, 16:17

#16

#16 Post autor: robhass »

lukaszbw pisze:Z tego co dzisiaj widze to sup720-3BXL daje rade do 4 pełnych feedów + X-y, klienci na ogół do ciebie tylko kilka prefixów wysyłają więc możesz mieć ich wielu.
Najwiekszy problem z pojawia sie gdy masz sporo sesji klienckich, dodatkowe iBGP gdzie dostajesz tez "full-table". Pada jeden z upstream'ow, leca update'y do neighbor iBGP i klientow. Jednoczesnie dostajesz sciezki via iBGP ktore staja sie 'best-path'. Znow wysylasz update'y do klientow. W miedzyczasie wstaje twoj upstream i powtorka. W takiej sytuacji Sup720 nie dawal rady.

Drugi przyklad - reload maszyny. Pelna konwergencja zajmowala 20-25 minut.

W naszym przypadku upstream'owe prefixy przychodzimy z core router'ow (2 sesje iBGP, rr-client od strony core-u). Sporo sesji klienckich - 10 do 60; ponadto sporo L3VPN'ow. BFD przy Sup720 z niskimi timerami powodowalo false-alarmy, gdy CPU nie zdarzyl odpowiedziec bo mial co innego do roboty.

lbromirs
CCIE
CCIE
Posty: 4101
Rejestracja: 30 lis 2006, 08:44

Re: BGP: Na co migrować z 6500/Sup-720-3b-xl?

#17

#17 Post autor: lbromirs »

robhass pisze:
lbromirs pisze:Były, ale piszę o efektywnym rozwiązaniu problemu. W 14.1-ileś-tam problem został niby poprawiony, ale potem wrócił. Tak jak pisałem, teoretycznie poprawki były już w 13.2.
Masz jakieś źrodło/post z google (pisałeś że można znaleźć w google) które mówi o tym że w 14.x jest dalej spierdzielone ? Jestem zainteresowany tematem jako posiadacz sporej ilości MX'ów pracujących na sofcie 14.2 i nie czujący problemu. Czyżby popsuli coś w nowszym buildzie ? ;-)
Pisałem akurat ogólnie o problemach z konwergencją (zajrzyj na nanog@) i zapewne da się znaleźć więcej konkretnych wersji softu jeśli Cię to szczególnie interesuje. Co do konkretów - widziałem zdalnie wiele MXów 80 i parę 104'ek z 14.2R2 i innym rebuildami, gdzie problemy z rpd dalej występowały i jakoś nie czułem szczególnego zdziwienia kolegów się nimi zajmującymi. Akurat zajmowałem się czymś innym (czy też właściwie - klient). Jeśli pracujesz z Jupkami i trafiłeś w wersję softu w linii 14, która działa dobrze, to pewnie doskonale wiesz jak jest. I jeśli jesteś z tym szczęśliwy, to może nie warto zmieniać? :)

robhass
wannabe
wannabe
Posty: 116
Rejestracja: 05 mar 2009, 16:17

Re: BGP: Na co migrować z 6500/Sup-720-3b-xl?

#18

#18 Post autor: robhass »

lbromirs pisze: Akurat zajmowałem się czymś innym (czy też właściwie - klient). Jeśli pracujesz z Jupkami i trafiłeś w wersję softu w linii 14, która działa dobrze, to pewnie doskonale wiesz jak jest. I jeśli jesteś z tym szczęśliwy, to może nie warto zmieniać? :)
Czeka nas tak czy siak upgrade do >= 14.2R3 np. z racji poprawionego bug'a private-as w bgp. Więc nie chciał bym się zdziwić... poszperam po nanogowej mailing-liscie.

jaroj
wannabe
wannabe
Posty: 75
Rejestracja: 04 lut 2012, 18:35

Re: BGP: Na co migrować z 6500/Sup-720-3b-xl?

#19

#19 Post autor: jaroj »

gangrena pisze:
jaroj pisze:6500 z Sup-720-3b-xl ma 1GB RAM co zaczyna stanowić problem przy wykorzystaniu kilku full-feedów i kilku downstreamów.
Poszedłbym innym tropem, niż wymiana sprzętu. 6500 z 3B-XL i 1GB RAM powinien sobie dać radę z kilkoma feedami i peerami. N feedów, to nie jest N razy zajętość pojedynczego feeda w RAM, czy FIB. Kolejny feed, to może być np. 10% więcej zajętości pamięci, ale nie 50%, czy 100% więcej. Zależy od ilości i rozmiaru przesyłanych atrybutów. Jaką masz teraz zajętość pamięci?
Mam wolne ok 100MB RAM.

Zapiętych 2x full-feed, 3x IX (ok 50k-80k prefiksów) i ok. 10 peerów, którym ja podrzucam full-feed.

Poza tym na tym samym sprzęcie działa MLS QoS - ponad 100 pozycji, netflow.. i tyle, a może aż tyle?

robhass
wannabe
wannabe
Posty: 116
Rejestracja: 05 mar 2009, 16:17

#20

#20 Post autor: robhass »

A jakie interfejsy ? Ile GE ? Ile 10GE potrzebne ?
Ile masz sumarycznie ruchu ?

jaroj
wannabe
wannabe
Posty: 75
Rejestracja: 04 lut 2012, 18:35

#21

#21 Post autor: jaroj »

robhass pisze:A jakie interfejsy ? Ile GE ? Ile 10GE potrzebne ?
Ile masz sumarycznie ruchu ?
Sumarycznie około 5 Gbps w peakach.

Zastanawiałem sie nad zostawieniem 6500-ki jako core'a a wyniesienie BGP na ASR.

Myślę że ASR z 16GB RAM będzie "nieco" szybszy. Na 6500-ce juz np. pojawia sie problem z doklejeniem community do full-feedów.

lbromirs
CCIE
CCIE
Posty: 4101
Rejestracja: 30 lis 2006, 08:44

#22

#22 Post autor: lbromirs »

jaroj pisze:
robhass pisze:A jakie interfejsy ? Ile GE ? Ile 10GE potrzebne ?
Ile masz sumarycznie ruchu ?
Sumarycznie około 5 Gbps w peakach.

Zastanawiałem sie nad zostawieniem 6500-ki jako core'a a wyniesienie BGP na ASR.

Myślę że ASR z 16GB RAM będzie "nieco" szybszy. Na 6500-ce juz np. pojawia sie problem z doklejeniem community do full-feedów.
Zdecydowanie zarówno 1k i 9k ma dużo szybszy RP. 1k jest nadal najszybszym RR na świecie (i najbardziej pojemnym), a dodatkowo zaletą stosowania osobnego RR jest możliwość wykorzystania Selective RIB download. Na 1k masz dodatkowo dedykowaną funkcjonalność RR serwera.

No i 1k zawsze możesz odpalić sobie jako wirtualkę. Albo i dwie ;)

jaroj
wannabe
wannabe
Posty: 75
Rejestracja: 04 lut 2012, 18:35

#23

#23 Post autor: jaroj »

lbromirs pisze:
jaroj pisze:
robhass pisze:A jakie interfejsy ? Ile GE ? Ile 10GE potrzebne ?
Ile masz sumarycznie ruchu ?
Sumarycznie około 5 Gbps w peakach.

Zastanawiałem sie nad zostawieniem 6500-ki jako core'a a wyniesienie BGP na ASR.

Myślę że ASR z 16GB RAM będzie "nieco" szybszy. Na 6500-ce juz np. pojawia sie problem z doklejeniem community do full-feedów.
Zdecydowanie zarówno 1k i 9k ma dużo szybszy RP. 1k jest nadal najszybszym RR na świecie (i najbardziej pojemnym), a dodatkowo zaletą stosowania osobnego RR jest możliwość wykorzystania Selective RIB download. Na 1k masz dodatkowo dedykowaną funkcjonalność RR serwera.

No i 1k zawsze możesz odpalić sobie jako wirtualkę. Albo i dwie ;)
A co jesli porównamy ASR do 6500+Sup-6T-XL? Warto wogóle iść w stronę 6T biorąc pod uwagę to, że zalezy mi na stworzeniu mocnego routera BGP?

lbromirs
CCIE
CCIE
Posty: 4101
Rejestracja: 30 lis 2006, 08:44

#24

#24 Post autor: lbromirs »

jaroj pisze:A co jesli porównamy ASR do 6500+Sup-6T-XL? Warto wogóle iść w stronę 6T biorąc pod uwagę to, że zalezy mi na stworzeniu mocnego routera BGP?
Cat 6k zawsze będzie platformą, która w pierwszej kolejności ma obsługiwać sieci kampusowe. Wybierz IOS-XR na 9k lub w wersji wirtualnej, skoro gro Twoich zainteresowań to typowa operatorka. Już dzisiaj IOS-XR skaluje się na więcej równoległych wątków niż IOS-XE (i to w wersji 64 bitowej od 6.0.0), a będzie już tylko ciekawiej.

lukaszbw
CCIE
CCIE
Posty: 516
Rejestracja: 23 mar 2008, 11:41

#25

#25 Post autor: lukaszbw »

robhass pisze:
Drugi przyklad - reload maszyny. Pelna konwergencja zajmowala 20-25 minut.

W naszym przypadku upstream'owe prefixy przychodzimy z core router'ow (2 sesje iBGP, rr-client od strony core-u). Sporo sesji klienckich - 10 do 60; ponadto sporo L3VPN'ow. BFD przy Sup720 z niskimi timerami powodowalo false-alarmy, gdy CPU nie zdarzyl odpowiedziec bo mial co innego do roboty.
Z tym reload maszyny to też różnie bywa. Sprzęt przyspiesza ale wielkość oprogramowania i ilość testów diagnostycznych przy dużych urządzeniach rośnie znacząco. Zyskasz na konwergencji samego routingu, tracisz na prędkości startu urządzenia.
Do dzisiaj jestem pełen podziwu ile funkcjonalności Cisco zmieściło w oprogramowaniu do C12K, gdzie najnowsze IOS ważyły po 32MB. Teraz w 9K masz ponad 1.3GB :)

Co do BFD i innych operacji przy dużym obciążeniu CPU warto zoptymalizować "process-max-time".

Trzeba podejść racjonalnie do problemu. Kilkadziesiąt sesji, do tego iBGP i L3VPN to środowisko nie dla sup720, który ma już swoje lata. Temat zaczęliśmy od kilku feedów i downstream a nie kilkadziesiąt.
Sup720-3bxl jest w tej chwili najtańszą opcją i warto ją wykorzystać w scenariuszach, gdzie mamy np. 2-3 pełne feedy + kilku klientów, zależy nam na przepustowości >10Gbps, większej ilości portów a z budżetem bardzo krucho.

Pozdr.
Lukasz Wisniowski MSc CCNA CCNP CCIE #20319
Tandem Networks
ul. Sztormowa 34
94-117 Łódź
NIP: 727-257-72-37
tel: +48 (42) 2091825

robhass
wannabe
wannabe
Posty: 116
Rejestracja: 05 mar 2009, 16:17

#26

#26 Post autor: robhass »

jaroj pisze: A co jesli porównamy ASR do 6500+Sup-6T-XL? Warto wogóle iść w stronę 6T biorąc pod uwagę to, że zalezy mi na stworzeniu mocnego routera BGP?
Przy twojej ilosci ruchu bardziej byl bym juz za Cat6880. 6T jeszcze nie ma, jak bedzie to bedzie nowe - nowe zawsze ma bugi - tzw. choroba wieku mlodzienczego - potrzebne bedzie z pol roku / rok na wygrzanie. 6880 jest juz dojrzale. Druga opcja to np. ASR 1001-X lub ASR 9001-S.

Krótkie overview:
6880 - zaleta to skalowalnosc do duzej wydajnosci Nx10G, sporo RAM, niezly RP/control-plane, zwykly IOS wiec latwa migracja. Moze kosztowac podobnie lub mniej do ASR'ow tyle ze jak za 5 lat bedzie potrzebne Ci 30-40Gbps to nie bedzie to problem dla tego urzadzenia.
Sup-6T - j.w., ma mniejszy FIB niz 6880 - 1M (6T-XL) vs 2M (6880) - aczkolwiek 1M powinno starczyc jeszcze na dlugo. Moze kosztowac wiecej niz 6880 bo musisz wymienic chassis, ew karty liniowe. Aczkolwiek jeszcze go nie ma + to co napisalem wyzej o nowinkach.
ASR 1001-X - skalowalnosc to 2x10G, wydajnosc RP starczy na dluugie lata, RAMu tez. Jest jeszcze 1002-X jak 2x10G to malo, ale to inna polka cenowa. Bedzie za jakis czas 1001-HX, ale jako ze nie ma to nie wypowiadam sie co do cen.
ASR 9001 / 9001-S - skalowalnosc do 120G, wersja "S" bedzie kosztowac podobnie do Catalystow czy 1001-X. mozesz pozniej zrobic upgrade licencji (aktywne wszystkie porty liniowe).

Osoboscie poszedl bym w strone 6880 lub ASR. Jesli 9001S bedzie kosztowac podobnie do 1001-X to 9001 jest idealnym wyborem. Pomysl tez o pradzie - prad kosztuje, i tutaj ASR1001-X bedzie nie do pobicia versus Catalysty.

robhass
wannabe
wannabe
Posty: 116
Rejestracja: 05 mar 2009, 16:17

#27

#27 Post autor: robhass »

lukaszbw pisze: gdzie najnowsze IOS ważyły po 32MB. Teraz w 9K masz ponad 1.3GB :)
Popatrz na IOS XE. Normalny IOS na Catalysty wazyl 15-20MB, a IOS XE - 400-600MB. Jak wejdziesz do shella Linuxowego i troche pogrzebiesz to ten Linux wyglada tak jakby ktos robil PoC'a jakies testy a nie produkcyjne ;-) vide skrypty ktore sie laduja przy uruchamianiu i cos tam nie dziala - widac errory na konsoli... Mogli by to spokojnie skroic do duzo mniejszej wartosci wywalajac sporo rzeczy, ale znajac zycie nikomu sie nie chce.

robhass
wannabe
wannabe
Posty: 116
Rejestracja: 05 mar 2009, 16:17

#28

#28 Post autor: robhass »

lbromirs pisze:1k jest nadal najszybszym RR na świecie (i najbardziej pojemnym)
A kwesti szybkosci RR - czy CSR 1000V z szybkim CPU - np. 4-core Xeon E5 3.7GHz nie bedzie szybszy niz najlepsze RP w ASR1K ?

jaroj
wannabe
wannabe
Posty: 75
Rejestracja: 04 lut 2012, 18:35

#29

#29 Post autor: jaroj »

robhass pisze:
jaroj pisze: A co jesli porównamy ASR do 6500+Sup-6T-XL? Warto wogóle iść w stronę 6T biorąc pod uwagę to, że zalezy mi na stworzeniu mocnego routera BGP?
Przy twojej ilosci ruchu bardziej byl bym juz za Cat6880. 6T jeszcze nie ma, jak bedzie to bedzie nowe - nowe zawsze ma bugi - tzw. choroba wieku mlodzienczego - potrzebne bedzie z pol roku / rok na wygrzanie. 6880 jest juz dojrzale. Druga opcja to np. ASR 1001-X lub ASR 9001-S.

Krótkie overview:
6880 - zaleta to skalowalnosc do duzej wydajnosci Nx10G, sporo RAM, niezly RP/control-plane, zwykly IOS wiec latwa migracja. Moze kosztowac podobnie lub mniej do ASR'ow tyle ze jak za 5 lat bedzie potrzebne Ci 30-40Gbps to nie bedzie to problem dla tego urzadzenia.
Sup-6T - j.w., ma mniejszy FIB niz 6880 - 1M (6T-XL) vs 2M (6880) - aczkolwiek 1M powinno starczyc jeszcze na dlugo. Moze kosztowac wiecej niz 6880 bo musisz wymienic chassis, ew karty liniowe. Aczkolwiek jeszcze go nie ma + to co napisalem wyzej o nowinkach.
ASR 1001-X - skalowalnosc to 2x10G, wydajnosc RP starczy na dluugie lata, RAMu tez. Jest jeszcze 1002-X jak 2x10G to malo, ale to inna polka cenowa. Bedzie za jakis czas 1001-HX, ale jako ze nie ma to nie wypowiadam sie co do cen.
ASR 9001 / 9001-S - skalowalnosc do 120G, wersja "S" bedzie kosztowac podobnie do Catalystow czy 1001-X. mozesz pozniej zrobic upgrade licencji (aktywne wszystkie porty liniowe).

Osoboscie poszedl bym w strone 6880 lub ASR. Jesli 9001S bedzie kosztowac podobnie do 1001-X to 9001 jest idealnym wyborem. Pomysl tez o pradzie - prad kosztuje, i tutaj ASR1001-X bedzie nie do pobicia versus Catalysty.
Czy ASR 9001 może mieć więcej RAMu niż standardowe 8GB zawarte w specyfikacji?

lbromirs
CCIE
CCIE
Posty: 4101
Rejestracja: 30 lis 2006, 08:44

#30

#30 Post autor: lbromirs »

robhass pisze:
lbromirs pisze:1k jest nadal najszybszym RR na świecie (i najbardziej pojemnym)
A kwesti szybkosci RR - czy CSR 1000V z szybkim CPU - np. 4-core Xeon E5 3.7GHz nie bedzie szybszy niz najlepsze RP w ASR1K ?
Nie widziałem takich testów. Jeśli chodzi o wydajność forwardingu, z wersji na wersję bardzo szybko rośnie, ale po 3.11 nie widziałem testów wydajności CSRa jako RR. Dobre pytanie, poszukam.

ODPOWIEDZ