FibreChannel - 750km

[lipos]

Hej,

Mam pewien problem i szukam rozmawiaznia infrastraktury bazujacego na Cisco.
Szczegoly:
- DC1, DC2 oraz DC3 posiada odizlolowana siec Fibre Channel
- DC1 bedzie mialo dedykowany link 10G do DC2 - dlugosc max. 750km, latencja okolo 15ms
- DC1 bedzie mialo dedykkowany link 10G do DC3 - dlugosc max. 750km, latencja okolo 15ms
- Oczywiscie nie potrzebuje magicznych XFP z zasiegiem 750m, standardowe wystarcza bo urzadzenia dostawcy 10G sa dostapne we wszystkich DC.

Cel: Replikacja DC1 z DC2 oraz DC1 z DC3 uzywajac wspomianych dedykowanych polaczen z przepustowoscia okolo 2Gbps protokolem FC.

Pytapnie: Czy ktos kiedy probowal osiagnac cos takiego uzywajac Nexus 5K lub MDS9K FCoE/FCIP lub innych urzadzen/protokolow na takich odleglosciach?

[xal]

Robiłem swojego czasu projekt na MDSach 9506 z kartami MSM 18/4 (4Gb FC) z funkcją IO Acceleration. Połączenie było na 1500km. Do MDSa oczywiście licencja Enterprise na dodatkowe BB_Credit. Nie pamiętam tylko czy pomiędzy tymi DC była replikacja synchroniczna czy asynchroniczna, ale samo połączenie działało OK.

[konradrz]

Czołem,

FCoE - zapomnij. O rząd wielkości za daleko.
FCIP - jak najbardziej możliwe. Będziesz musiał się z szejperem (traffic shaper) pobawić*, ale zdecydowanie do zrobienia. Możesz też SETem (SAN Extension Tuner) się wspomóc przy wyznaczeniu, jakie najlepiej IO robić (rozmiar, liczba outstanding IOs etc) - to się przyda Twojemu DB-adminowi (może stjunować sobie bazkę) albo Twojemu storage-adminowi żeby sobie SRDF/etc poprawnie/optymalnie skonfigurował.
Czyste FC - też do zrobienia, jeśli po DWDMie. Musiałbyś dokupić licencję enterprise co prawda, żeby buforów sobie dodać; przy 750km potrzebowałbyś między 750 BBcredits (przy 2Gbit) do 3000 BBcredits przy 8Gbit (na 10 Gbit zabraknie Ci, max możesz bodaj 4095 buforów przydzielić do jednego portu, zależnie od czipsetu jaki masz w słiczu, i oczywiście jaki to słicz). No, chyba że Twój DWDM ma buffer-credit spoofing, wtedy nie ma kłopotu.

Nexus 5 to nie (bo FCoE to parę kilometrów i po zabawie), masz do wyboru tylko MDSy właściwie (stary 9222i - czyli to samo co karta 18+4 jeśli chcesz 95xx, albo nowy 9250i).

I pomyśl o zrobieniu transit-VSANu z IVRem (żeby nie merdżować sieci FC, tunele FCIP co jakiś czas będą przecież zdychać, nie chcesz mieć wtedy fabric split/merge).
IOAccelerator (licencja, niestety) też na pewno się przyda. Jeśli nie da rady licencji, to chociaż włącz kompresję (z write-accel to różnie bywa -- jeśli działa to super, ale ma sporo ograniczeń co do topologii; generalnie najpierw spróbuj "z").

* Bandwidth/Delay Product, przy założeniu 2Gbit i 15ms to niecałe 4MB bufora czyli spokojnie w zasięgu MDSa. Więc musiałbyś pogadać ze swoimi sieciowcami, ile Ci mogą zagwarantować pasma, i np w szejperze ustawić "max 3 gbit min 500 mbit rtt 15ms". Oczywiście, RTT najlepiej sprawdzić pchając ruch rurą, albo 'ips measure-rtt', a nie pingiem.


A przy takich odległościach/latencies, to tylko asynchroniczna replikacja (vaulting właściwie). Co będziesz replikował?

[lipos]

Hej,

Dzieki ze wszytkie posty!

- FCoE - juz o tym zapomnialem
- DWDM - musze sprawdzic ale rozumiem ze dedykowane 2x10G beda managed i tylko ethernet
- FCIP oraz 9250i wyglada jak idealne rozwiazanie bo posiada przynajmniej jeden 10Gbps z ethernet dla FCIP oraz 8/10/16Gbps porty dla FC. 9222i chyba nie ma 10G port dla FCIP wiec odpada (i zielony to nie moj kolor).

The dwa 10G linki bede gwarantowaly 10G ale musze sprawdzic latencje oraz przypisana SLA. 15ms to zaokraglony number jak narazie.

Wszystkie sieci FC w kazdej lokalizacji jada na Brocade z EMC. Moim glownym celm jest zbudowac dwa linki wspierajace FC na tych ogleglosciach DC1-DC2 oraz DC1-DC3. Sice FC na Brocade bede podlaczone to tego rozwiazania aby wszystko polaczyc protokolem FC.
Spodziewam sie dostosowywania wszystkiego po instalacji ale glownie z udzialem adminow sieci Brocade/FC.
Co bede replikowal? Staram sie dosc do szczegolow. Zgadzam sie ze replikacja async to jedyne rozwiazanie.

Jakich licencji potrzebuje i ktore sa opcjonalne dla tego rozwiazania?
Rozumiem ze SAN extentions (FCIP) jest built-in, IOA (opcjolanie/rekomendowane), DMM raczej nie potrzebuje. Ile buffor credits mam built-in w standardowa licencje?

Dzieki info!

[konradrz]

- FCoE - juz o tym zapomnialem

Poza first-hop (FCoE do ToR, tam split) (albo CCIE-DC), to mało gdzie zobaczysz multihop FCoE*.


* tak, wiem o nowym Flekspodzie - ale tam i tak jest opcja FCoE->FC; IMHO dopiero przy upowszechnieniu się 40Gbit Eth będziemy mieli - jak sądzę - prawdziwy wysyp intra-DC FCoE. A jeśli to potrwa tyle ile przypuszczam - to będziemy jednak więcej NFSa i dFSów widzieć różnych. Offtopicznie.

- FCIP oraz 9250i wyglada jak idealne rozwiazanie bo posiada przynajmniej jeden 10Gbps z ethernet dla FCIP oraz 8/10/16Gbps porty dla FC.

Tu aż się zadumałem (italika moja), czy jest jakieś licencjo-ograniczenie. Ale nie, nie ma. Oba porty są do FCIP and/or iSCSI. I miłe, że przychodzą z podstawową licencją (do SAN extension), niestety IOA nadal osobne.

Sice FC na Brocade bede podlaczone to tego rozwiazania aby wszystko polaczyc protokolem FC.

Czekaj, czyli to będzie FC-Brocade do FCIP-Cisco? To raczej leżysz.
Difoltowo Brokejd nie saportuje niczego już z Cisco (mówimy o interoperability). Żeby było inaczej, to albo duży musisz być (czyt. Citibank), albo mieć support od EMC (oni to wtedy na klatę biorą).

Jakich licencji potrzebuje i ktore sa opcjonalne dla tego rozwiazania?
Rozumiem ze SAN extentions (FCIP) jest built-in, IOA (opcjolanie/rekomendowane), DMM raczej nie potrzebuje.

Dokładnie tak.
Choć wielu ludzi od razu powie "od razu weź też Enterprise, żeby QoS mieć i advanced zoning, i IVR, i ...". (IVR-FCIP masz od razu w licencji FCIP - to jeśli chodzi transit-VSANy). Jeśli masz konkurować ceną, nie bierz Enterprise, miłe ale niewymagane.

Ile buffor credits mam built-in w standardowa licencje?

BB_credits to są dla pure-FC. Jeśli FCIP lecisz, nie mają większego (intra-DC) znaczenia. A bufor FCIP jest generalnie rzędu 32MB (mogło się coś ostatnio zmienić, nie sprawdzałem, jakby co - mogę jak będę w biurze nekst łik).

(dla potomnych: na 9250i masz domyślnie 64 buforki per port-group, czyli w sam raz do krótkich dystansów; z enterprise licencją możesz zrobić do 256 per single-port -- co jest i tak za mało do long-distance FC; do tego to bierzesz 95xx/97xx)
(inaczej, do długich dystansów: FCIP - 9222i*/9250i, FC - 95xx/97xx)

* cały czas przydatny - jest tani ne ebayu czy u Reese'a i ma 4 porty 1G które możesz agregować.


A jeśli nie uda Ci się z Cisco (case: support), to na BRCD się też da FCIP zrobić. Nieco zagmatwanie (ale może to kwestia gustu), nieco irytująco jeśli chodzi o X-porty - ale jak najbardziej się da.

[jarek6]

Wszystkie sieci FC w kazdej lokalizacji jada na Brocade z EMC. Moim glownym celm jest zbudowac dwa linki wspierajace FC na tych ogleglosciach DC1-DC2 oraz DC1-DC3. Sice FC na Brocade bede podlaczone to tego rozwiazania aby wszystko polaczyc protokolem FC.

Skoro masz wszedzie fabryki FC na EMC/Brocade to moze lepiej zastosowac routery FCIP - np. 7800 albo 7840 (7840 jest sporo mocniejszy i ma porty 10GE czy nawet 40GE) ?
Dodatkowo na 7840 bez problemu zrobisz na taka odleglosc Nx8Gbps FCIP z szyfrowaniem.

Tak jak sugerowal kolega zastosowac porty VEX oraz TI Zones aby miec rozdzielnosc fabrics.

Rozwiazanie sprawdzone na dlugie dystansy - ~1000KM dosc proste w konfiguracji.

[lipos]

Hej dzieki wielka za pomoc!

Dostalem dzis wiecej delali.
W sumie to ma byc bardzo proste. Mam dostarczyc jeden port 10G FC per DC laczacy DC1 oraz DC2. To samo pomiedzy DC1 oraz DC3. Oczywsice to musi byc FCIP bo nie mam DWDM tylko dedykowany 10G ethernet. Zeby sie upewnic ze mowimy o tym samym oto topologia:


Ja odpowiadam ze zielona infrastrukture i nie martwie sie o czerwona ani to co jest po za nia plus jak jest skonfugurowane siec FC (oczywiscie trzeba bedzie to troche dopasowac ale istnieje wystarcxzajaca ilosc opcji na Cisco jak wspomieliscie powyzej).
W sumie mam przeniesc wszystko co dostane na 10G FC w DC 1 do porty 10G FC w DC2. Srednia trafficu FC bedzie okolo 600Mbps a spiky beda szly do 2Gbps. To oczywiscie tylko asynchroniczna synchronizacja zadnych udziwnien FC.

Dlaczego Cisco? Wieksze doswiadczenie na NSOX w druzynie operacyjnej.

Wedlug waszych rad, dodadtowego researchu oraz innych rad jestem pewny ze Cisco 9250i da rade ale troche sie boje o kompatybilnosc FC pomiedzy Cisco i Brocade. Jakies doswiadczenie?

Czekaj, czyli to będzie FC-Brocade do FCIP-Cisco? To raczej leżysz.
Difoltowo Brokejd nie saportuje niczego już z Cisco (mówimy o interoperability). Żeby było inaczej, to albo duży musisz być (czyt. Citibank), albo mieć support od EMC (oni to wtedy na klatę biorą).

FCIP beda zapiete pomiedzy Cisco a pomiedzy Cisco i Brocade bedzie tylko FC. Tu widzisz problem? Czy my dobrze sie rozumiemy?

Skoro masz wszedzie fabryki FC na EMC/Brocade to moze lepiej zastosowac routery FCIP - np. 7800 albo 7840 (7840 jest sporo mocniejszy i ma porty 10GE czy nawet 40GE) ?
Dodatkowo na 7840 bez problemu zrobisz na taka odleglosc Nx8Gbps FCIP z szyfrowaniem.

Cisco ma priorytet ze wgledu na ops support a Brocade 7800 jest brane pod uwage jako druga jezeli istnieje problem z komatybilnoscia pomodzy Cisco i Brocade na FC.

Jak widzicie oba rozwiazania to strzelanie do wrobli z armaty bo tak naprawde potrzebujego tylko konwertowac jeden 10G FC port z jegnego DC to drugiego. Port DWDM bylby idealny ale ma takiej mozliwosci.

Dzieki za pomoc! Odwdziecze sie w przyszlosci

[jarek6]

FCIP beda zapiete pomiedzy Cisco a pomiedzy Cisco i Brocade bedzie tylko FC. Tu widzisz problem? Czy my dobrze sie rozumiemy?

Mimo ze to bedzie FCIP to i tak musisz pomiedzy Brocade a Cisco zrobic port typu E/(V)EX. AFAIK jedyna mozliwosc integracji FC Cisco i Brocade to NPIV - i dlatego lezysz.

[konradrz]

Czekaj, czyli to będzie FC-Brocade do FCIP-Cisco? To raczej leżysz.
Difoltowo Brokejd nie saportuje niczego już z Cisco (mówimy o interoperability). Żeby było inaczej, to albo duży musisz być (czyt. Citibank), albo mieć support od EMC (oni to wtedy na klatę biorą).

FCIP beda zapiete pomiedzy Cisco a pomiedzy Cisco i Brocade bedzie tylko FC. Tu widzisz problem? Czy my dobrze sie rozumiemy?

Dobrze się rozumiemy.
Jak kolega Jarek powiedział - będziesz musiał mieć pure-FC między BRCD a CSCO (żeby MDS przepisywał to na FCIP). I tu jest pies pogrzebany.
Generalnie jest sobie standard Fibre Channel, który każdy vendor olewa. I trzeba robić ustawienia interoperability (w skrócie: na Cisco robisz VSAN z interop-3 -udający prosty słicz Brokejda- żeby nie tracić 70% zaawansowanych opcji na Brokejdzie). Prosta konfiguracja... która od jakiegoś czasu nie jest supportowana przez Brocade. "Bo nie".
Natomiast, EMC może powiedzieć "Brokejd nie saportuje, ale my możemy" - wtedy możesz brać Cisco. Jeśli zaś EMC powie "wasze zabawki, nam nic do tego" - zostaje Ci FCIP na BRCD.


PS. Porty 10G na MDSie (w sumie jest ich 12, 2 na górze, 10 na dole) nie robią czystego FC. 10 z nich jest do FCoE, 2 do FCIP/iSCSI. Czyli musiałbyś 8G FC między Cisco a Brocade. Żaden problem przy Twojej ilości danych, po prostu dla czytelności potomnych czytających ten wątek.

[lipos]

OK. Rozumiem. Czyli mam dwie opcje zakladajac ze Cisco ma prioritet.
Opcja 1) Try-and-buy Cisco 9520i a jezeli to nie zadziala to wziasc Brocade* 7840
Opcja 2) Brodade* 7840 i cieszyc sie bo ta opcja zadziala napewno jezeli klient uzywa Brocade 6520 dla pure FC

Zgodzilibyscie sie z tym powyzej?

*Brocade:
- 7800 - nie ma portow 10GbE dla FCIP
- 7840 - posiada 10GbE dla FCIP oraz duzo portow dla FC

[konradrz]

Czyli mam dwie opcje zakladajac ze Cisco ma prioritet.
Opcja 1) Try-and-buy Cisco 9520i a jezeli to nie zadziala to wziasc Brocade* 7840
Opcja 2) Brodade* 7840 i cieszyc sie bo ta opcja zadziala napewno jezeli klient uzywa Brocade 6520 dla pure FC
Zgodzilibyscie sie z tym powyzej?

Pppppprawie (no, chyba że inaczej rozumiem try-and-buy).
Widzisz, poprawnie skonfigurowane Cisco będzie bezproblemowo gadało z Brokejdem. Więc to nie to że "nie zadziała, to oddam" - bo zadziała. Tylko że Brocade będzie mógł oficjalnie się wypiąć przy jakiejkolwiek awarii ich sprzętu (powiedzą że "non-supported topology" i Twoje rozwiązanie za fafnaście tysięcy dolarów jest nic nie warte).

Więc opcja 1 powinna być "dowiem się (u chłopców od FC/u ich szefa/u EMC) czy mi przyklepią 'tak, mamy wynegocjowane z EMC że akurat u nas połączenie B-C jest supportowane'".
Bo jeśli nie, to po prostu od razu idź do opcji 2.

[jarek6]

Widzisz, poprawnie skonfigurowane Cisco będzie bezproblemowo gadało z Brokejdem. Więc

Przy takich predkosciach (10GE) idz w 7840. Nie wiem jak roznica cenowa, na 7800 ewentualnie mozesz robic trunking kilku 1Gbpsowych tuneli FCIP. Na pokladzie 7800 masz 6x1G Eth oraz sporo portow 8Gbps FC.

Tutaj uwagi:
1) Gdy na Brocade masz interopmode 3 to sa features ktore nie dzialaja w tym trybie (np czesc zmian softu bez restartu przelacznika). Twoi koledzy zatem moga nie chciec sobie zmieniac trybu pracy.

2) Mowisz ze macie przelaczniki Gen5 - BR6520 - to znaczy ze korzystacie z ostatnich FabricOS'ow - np. >=7.1. AFAIK w tych wersjach interopmode zostalo usuniete. interopmode zostal stworzony do wspolpracy z rozwiazaniami McData przejetymi przez Brocade (nie sprzedawane od dosc dawana - 5-6 lat). Jako niedawno byl rowniez End of Support tych rozwiazan - czytaj pretekst to wywalenia interopmode.

Ponizej kawalek release notes od 7.x:

A switch running Fabric OS 7.0.0a or later cannot form E_Port connectivity with any M-EOS platform. A switch running Fabric OS 7.0.0a or later can operate only in Brocade native mode (interopmode 0). Connectivity between M-EOS platforms and a switch running Fabric OS 7.0.0a or later is supported via FCR only.

[konradrz]

Widzisz, poprawnie skonfigurowane Cisco będzie bezproblemowo gadało z Brokejdem. Więc

1) Gdy na Brocade masz interopmode 3 to sa features ktore nie dzialaja w tym trybie (np czesc zmian softu bez restartu przelacznika).

Ja mówiłem o Cisco-interop3 (taki parametr w konfiguracji VSANu się ustawia). Na Brocade nic się nie ustawia. Więc nie tracisz nic, żadnych NDU ani nic takiego.
Cisco wtedy widać w sieci BRCD jako "mało rozgarniętego kuzyna" (Cisco udaje BRCD, ale bez żadnych zaawansowanych funkcji).

Edit: dobra, pewnie trzeba będzie wyłączyć VC-ready (zmienić na R_RDY), 'portcfgislmode', i zmienić fill-word, 'portcfgfillword'. Cofam te "nic"