UCS 5108 + Nexus5672UP + FC storage

Problemy i dyskusje z zakresu rozwiązań i technologii Data Center
Wiadomość
Autor
mikey81
wannabe
wannabe
Posty: 155
Rejestracja: 15 mar 2011, 15:55

UCS 5108 + Nexus5672UP + FC storage

#1

#1 Post autor: mikey81 »

Witam,

Z racji tego ze nie jestem ekspertem od FibreChannel mam pare pytan o design i konfiguracje FC na Nexus5k i UCS:)

Diagram: - http://imgur.com/st0E14h

Mamy 3 x UCS5108 z 6 serwerami kazda i chcielibysmy dodac FC storage do calego systemu.
Wszystkie UCs5108 sa podlaczone do FIA i FIB - 6248, do tego L2 jest robiony przez pare Nexus5k6572UP.

Obecnie istnieja tylko polaczenia Ethernet (niebieski kolor) gdyz nie bylo planu na FC storage. Oczywisce plan na FC sie pojawil wiec mamy problem.

Czy dodanie polaczen FC (czerwony kolor) w takim ksztalcie jak na diagramie bedzie mialo sens?

Czy istnieje mozliwosc podlaczenia NetAPP (nie wiemy jeszcze jaki dokladnie model) bezposrednio do Nexus5k poprzez FibreChannel? Chodzi o to zeby na N5k utworzyc FC zoning.

Czy do calego zestawu potrzebujemy jeszcze switche MDS?

Z gory dziekuje za pomoc.

Pozdrawiam,
Michal

Awatar użytkownika
xal
CCIE
CCIE
Posty: 869
Rejestracja: 06 lip 2006, 21:04
Lokalizacja: Warszawa

#2

#2 Post autor: xal »

Design do poprawy. Jeżeli to są dwie macierze NetApp to kazda powinna być podłączona do obu N56K (Fabric A i Fabric B) z każdego SP. Absolutnie nie może być połączenia FC między dwoma N56K. Dla bezpieczeństwa skonfiguruj na jednym N56K VSAN, a na drugim inny (właśnie gdyby komuś przyszło do głowy łączyć te Nexusy ze sobą po FC).

MDSy nie są Ci potrzebne, bo masz 5672UP, na których możesz zrobić porty FC i zoning. Wymagana jest jednak licencja Storage.

mikey81
wannabe
wannabe
Posty: 155
Rejestracja: 15 mar 2011, 15:55

#3

#3 Post autor: mikey81 »

xal, wielkie dzieki za input.

Rozumiem ze design powininen wygladac mniej wiecej tak: http://imgur.com/ebRndoz

Awatar użytkownika
xal
CCIE
CCIE
Posty: 869
Rejestracja: 06 lip 2006, 21:04
Lokalizacja: Warszawa

#4

#4 Post autor: xal »

Dokładnie tak. Chodzi o to, że w przeciwieństwie do sieci LAN, sieci SAN muszą mieć galwaniczną separację między Fabric-A i Fabric-B. FI jest częścią ścieżki z vFC, więc też są podłączone pojedynczo (choć widziałem już różne scenariusze podpinania na wskroś). A dlaczego macierze podwójnie? Otóż (z tego co wiem, to w każdej macierzy) każdy LUN przypięty jest jest do konkretnego SP i jak padnie link przez Fabric-A i ruch musi iść przez SP-B to masz LUN Traversal przez wewnętrzny link, który jest wąskim gardłem (inteligentne przerzucenie LUNa porwafi soft EMC PowerPath, ale nie jest za free). Dlatego podłączenie SP-A do Fabric-B.

martino76
CCIE
CCIE
Posty: 883
Rejestracja: 17 gru 2010, 15:23
Lokalizacja: Barczewo

#5

#5 Post autor: martino76 »

Witam,

Zerknij sobie na Cisco live link

Pozdro,

mikey81
wannabe
wannabe
Posty: 155
Rejestracja: 15 mar 2011, 15:55

#6

#6 Post autor: mikey81 »

rozumiem ze konfiguracja i zarzadzanie "zones" odbywa sie na posimie N5k?

UCS Manager nie ma z tym nic wspolnego, oprocz konfiguracji portow na FIA i FIB z Ethernet na FC ?

Awatar użytkownika
xal
CCIE
CCIE
Posty: 869
Rejestracja: 06 lip 2006, 21:04
Lokalizacja: Warszawa

#7

#7 Post autor: xal »

Dokładnie tak, zoning konfigurujesz na N5K. Jeżeli masz FI w domyślnym trybie End Host dla FC to UCS "zassie" sobie zoning z Nexusa i nie musisz tam nic ustawiać w tym zakresie.

alhaz
wannabe
wannabe
Posty: 58
Rejestracja: 28 sty 2011, 15:05

#8

#8 Post autor: alhaz »

A masz licencje storage do 5672?

Jesli nie to zawsze mozesz podlaczyc macierze bezposrednio do FI (fc switching mode i wtedy zoning na fi).

mikey81
wannabe
wannabe
Posty: 155
Rejestracja: 15 mar 2011, 15:55

#9

#9 Post autor: mikey81 »

Licencji storage nie ma nigdzie jeszcze, ale to nie problem.

z punktu widzenia designu zastanawiam sie czy lepiej byloby podlaczyc NetApp bezposrednio do FI, czy zostawic na N5k.

Za podlaczeniem bezposrednio do FI przemawia fakt ze management (zoning) moglby sie odbywac z poziomu UCS Managera a nie z CLI tak jak w przypadku podlaczenia do N5k. Nie wiem tylko czy takie rozwiazanie nie bedzie mialo jakis ograniczen w skalowalnosci albo wydajnosci.

Obecnie 6248 sa w end-host mode. Czy stanowi to jakis problem przy podlaczeniu NetApp bezposrednio do FI?

alhaz
wannabe
wannabe
Posty: 58
Rejestracja: 28 sty 2011, 15:05

#10

#10 Post autor: alhaz »

mikey81 pisze:Licencji storage nie ma nigdzie jeszcze, ale to nie problem.

z punktu widzenia designu zastanawiam sie czy lepiej byloby podlaczyc NetApp bezposrednio do FI, czy zostawic na N5k.

Za podlaczeniem bezposrednio do FI przemawia fakt ze management (zoning) moglby sie odbywac z poziomu UCS Managera a nie z CLI tak jak w przypadku podlaczenia do N5k. Nie wiem tylko czy takie rozwiazanie nie bedzie mialo jakis ograniczen w skalowalnosci albo wydajnosci.

Obecnie 6248 sa w end-host mode. Czy stanowi to jakis problem przy podlaczeniu NetApp bezposrednio do FI?
Zawsze lepiej podlaczyc do 5672 bo masz lepsza skalowalnosc "dalej" zeby dorzucic w przyszlosci np. serwery rack, ktore beda mogly chciec korzystac z tej macierzy.

Jak zrobisz zoning na FI, to problem bedzie taki ze ten storage bedzie tylko pod ucsy wiec jest to dosc nieoptymalne rozwiazanie jesli masz duza infrastukture, ale bedzie dzialac bezproblemowo. Zeby robic zoning na FI, musi byc FC switching mode.

mikey81
wannabe
wannabe
Posty: 155
Rejestracja: 15 mar 2011, 15:55

#11

#11 Post autor: mikey81 »

dzieki za info.

Czy FI wspiera 2 rozne "modes" dla FC i Etherent?

Czy mozna skonfigurowac Ethernet End-Host mode i FC switching mode w tym samym systemie?

Awatar użytkownika
konradrz
CCIE
CCIE
Posty: 400
Rejestracja: 23 sty 2008, 14:21
Lokalizacja: Singapore, SG
Kontakt:

#12

#12 Post autor: konradrz »

mikey81 pisze:Czy mozna skonfigurowac Ethernet End-Host mode i FC switching mode w tym samym systemie?
Można, ale z reguły to zły pomysł. Na palcach jednej ręki można wymienić przykłady "czemu powinienem być w switch-mode".

mikey81
wannabe
wannabe
Posty: 155
Rejestracja: 15 mar 2011, 15:55

#13

#13 Post autor: mikey81 »

mozesz przyblizyc dlaczego?

Awatar użytkownika
konradrz
CCIE
CCIE
Posty: 400
Rejestracja: 23 sty 2008, 14:21
Lokalizacja: Singapore, SG
Kontakt:

#14

#14 Post autor: konradrz »

mikey81 pisze:mozesz przyblizyc dlaczego?
W wielkim skrócie (i na bank coś pominąłem):
1. ethernet switch mode: zaczynasz być członkiem domeny STP, nie masz możliwości żadnej konfiguracji na FI, obyś nie został STP rootem (się zdarza przy niedokonfigurowanych sieciach). Dodatkowo - zaczynasz się uczyć MAC adresów "z góry" (z uplinków), co często minimalizuje ilość serwerów/VM które możesz mieć w domenie UCS (bo FI 62xx może 'przyjąć na klatę' około 25k MAC adresów, potem masz przepełnienie TCAMu).
2. fibre channel switch mode: właściwie tylko do mini-instalacji lub labu. Czemu? Bo zoning zrobiony na FI (w service profile) jest kompletnie niekompatybilny z normalnym zoningiem. Jasne, możesz niby nie robić FI-zoningu i zezwolić mu 'zassanie' z upstreamowego MDSa, ale w takim wypadku po cholerę w ogóle być switchem (jesteś kolejnym węzłem w FSPF, dłuższe czasy rekonfiguracji sieci, wyboru principal switcha itd itp). W dodatku nie możesz się podpiąć do Brokejda.
To tak na chybcika.

Awatar użytkownika
redhead
wannabe
wannabe
Posty: 99
Rejestracja: 19 lut 2009, 00:31

#15

#15 Post autor: redhead »

konradrz pisze:W dodatku nie możesz się podpiąć do Brokejda
Ale Brokejd i tak duzo traci jak sie go podepnie pod FI nawet w hostmode. Monitoringu nie ma i wgladu co sie dzieje w traffikiem i chyba tez inne funkcje brokejdowe cierpią.

ODPOWIEDZ