BGP ECMP - Public IP

Problemy związane z routingiem
Wiadomość
Autor
Awatar użytkownika
lgogolin
fresh
fresh
Posty: 7
Rejestracja: 13 cze 2020, 11:01

BGP ECMP - Public IP

#1

#1 Post autor: lgogolin »

Przede wszystkim chciał bym się przywitać bo to mój pierwszy post na forum :)

Wracając do tematu postu, testuje u siebie w firmie BGP ECMP żeby móc rozłożyć ruch pomiędzy load-balancery. Generalnie wszystkie działa ale tylko z wewnątrz sieci.
Załączyłem schemat jak to wygląda w chwili obecnej.

Na load-balancerach mam zainstalowanego birda ktory spina sie ze switchami corowymi:

Kod: Zaznacz cały

router bgp 65534
   distance bgp 100 100 100
   maximum-paths 2 ecmp 2
   bgp listen range 10.2.128.0/26 peer-group adport remote-as 65500
   neighbor adport peer group
   neighbor adport maximum-routes 12000

Kod: Zaznacz cały

WDC02-SW01#show ip bgp
BGP routing table information for VRF default
Router identifier 192.168.254.0, local AS number 65534
Route status codes: s - suppressed, * - valid, > - active, # - not installed, E - ECMP head, e - ECMP
                    S - Stale, c - Contributing to ECMP, b - backup, L - labeled-unicast
Origin codes: i - IGP, e - EGP, ? - incomplete
AS Path Attributes: Or-ID - Originator ID, C-LST - Cluster List, LL Nexthop - Link Local Nexthop

         Network                Next Hop            Metric  LocPref Weight  Path
 * >Ec   23.82.14.128/26        10.2.128.1            0       100     0       65500 i
 *  ec   23.82.14.128/26        10.2.128.4            0       100     0       65500 i
 

Load-balancery maja na intefejsie lo przpisany adres:
23.23.23.180/26

Kod: Zaznacz cały

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 23.23.23.180/26 scope global lo
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 52:54:00:62:03:d6 brd ff:ff:ff:ff:ff:ff
    inet 10.2.128.1/26 brd 10.2.128.63 scope global noprefixroute eth0
       valid_lft forever preferred_lft forever
Load-balancery "gadają" ze switchem po VLAN'ie 101:

Kod: Zaznacz cały

interface Vlan101
   description lbl-test
   ip address 10.2.128.60/26
   ip virtual-router address 10.2.128.62
ISP wystawiam nam portem accessowym pule
23.23.23.128/26

Kod: Zaznacz cały

WDC02-SW01#show run interfaces Ethernet 48
interface Ethernet48
   description Uplink::CE03.wdc-02::Et35/1
   speed forced 1000full
   no ip attached-routes
   channel-group 999 mode active
WDC02-SW01#show run interfaces Port-Channel 999
interface Port-Channel999
   description Ce03-Ce04-po135
   switchport access vlan 10
   mlag 999
   

Zmierzając do sedna mam następujący problem: nie jestem w stanie dobić się do tego adresu
23.23.23.180/26
z zewnątrz.
Generalnie Private BGP pomiedzy mną a ISP załatwił by sprawe, ale mamy tam default GW który wskazuję na NAT'a i to trochę komplikuje.
To co udało mi się zrobić i jest to dość hackowate :) to:

Kod: Zaznacz cały

WDC02-SW01(config)#interface Vlan 10
WDC02-SW01(config-if-Vl10)#ip address virtual 23.23.23.180/26
WDC02-SW01(config-if-Vl10)#no ip address virtual 23.23.23.180/26
i w tym momencie traffic wpada na load-balancery z tego względu, że routery edgowe od ISP nauczyły się gdzie jest
23.23.23.180/26
Natomiast działa to tylko przez okres ~20-30min -
arp aging
Zastanawiam się, czy jest jakiś sposób aby dać znać routerom brzegowym, że dany adres IP jest na switchach corowych ?
Wszelkie próby podejścia do tematu poprzez spięcie BGP z ISP czy to nawet routing statyczny rozbijają się o to, że psuje Mi to cały default routing który powinien lecieć na FW (NAT)
Ostatnio zmieniony 13 cze 2020, 16:57 przez lgogolin, łącznie zmieniany 1 raz.

Awatar użytkownika
lgogolin
fresh
fresh
Posty: 7
Rejestracja: 13 cze 2020, 11:01

Re: BGP ECMP - Public IP

#2

#2 Post autor: lgogolin »

Przez przypadek kliknąłem, że temat został rozwiązany :/ czy mogę prosić moderatorów o zmianę ?

Przy okazji widzę, że nie dodał się załącznik ze schematem sieci:

https://drive.google.com/file/d/1gewGSg ... sp=sharing

felix
wannabe
wannabe
Posty: 142
Rejestracja: 13 lis 2014, 21:46

Re: BGP ECMP - Public IP

#3

#3 Post autor: felix »

Hej, link do dysku google nie działa, krzyczy o uprawnienia.

W jednym miejscu piszesz, że operator daje Ci pule 23.23.23.128/29, w drugim, że adresujesz LB 23.23.23.180/26

Kod: Zaznacz cały

Zastanawiam się, czy jest jakiś sposób aby dać znać routerom brzegowym, że dany adres IP jest na switchach corowych ?
Wszelkie próby podejścia do tematu poprzez spięcie BGP z ISP czy to nawet routing statyczny rozbijają się o to, że psuje Mi to cały default routing który powinien lecieć na FW (NAT)
Ja tego kompletnie nie rozumiem :) Klasę IP, która jest na przełącznikach corowych rozgłaszasz z przełączników corowych, klasę do NAT rozgłaszasz z FW. Całość ogłaszasz do ISP routerami corowymi. Nie bardzo rozumiem, gdzie jest problem :)

Pokaż może ten schemat ;)

Awatar użytkownika
lgogolin
fresh
fresh
Posty: 7
Rejestracja: 13 cze 2020, 11:01

Re: BGP ECMP - Public IP

#4

#4 Post autor: lgogolin »

Link poprawiony powinien już działać.

Co do adresacji.... Mój błąd, oczywiście od ISP mamy pule
23.23.23.128/26

felix
wannabe
wannabe
Posty: 142
Rejestracja: 13 lis 2014, 21:46

Re: BGP ECMP - Public IP

#5

#5 Post autor: felix »

A nie możesz pozostawić default gateway tak jak jest, a rozgłaszać tylko prefixy dostępne na LB w kierunku ISP?

Ewentualnie to co w adresacjach prywatnych wrzucić do innego vrf, a to w publicznych do innego?

Awatar użytkownika
lgogolin
fresh
fresh
Posty: 7
Rejestracja: 13 cze 2020, 11:01

Re: BGP ECMP - Public IP

#6

#6 Post autor: lgogolin »

No właśnie dziś siedziałem chwilę nad tematem i skończy się chyba na VRF pod load-balancery.
Mam tylko dziwny problem bo nie bardzo chce mi działać
routes leak
a load-balancery muszą "gadać" z backendami w innym VLAN plus jeszcze inne rzeczy typu monitoring, LDAP itd.

Switche corowe to Arista:

Kod: Zaznacz cały

ip prefix-list Infrastructure
   seq 10 permit 10.2.0.0/24
!
ip prefix-list lbl-adport
   seq 10 permit 10.2.128.0/26
!
route-map default_vrf-to_lbl_vrf permit 10
   match ip address prefix-list Infrastructure
   set distance 10
!
route-map lbl_vrf-to_default_vrf permit 10
   match ip address prefix-list lbl-adport
   set distance 10
!
router general
   vrf default
      leak routes source-vrf LBL subscribe-policy lbl_vrf-to_default_vrf
   !
   vrf LBL
      leak routes source-vrf default subscribe-policy default_vrf-to_lbl_vrf

Kod: Zaznacz cały

WDC02-SW01(config-router-general)#show ip route vrf all

VRF: default
Codes: C - connected, S - static, K - kernel,
       O - OSPF, IA - OSPF inter area, E1 - OSPF external type 1,
       E2 - OSPF external type 2, N1 - OSPF NSSA external type 1,
       N2 - OSPF NSSA external type2, B - BGP, B I - iBGP, B E - eBGP,
       R - RIP, I L1 - IS-IS level 1, I L2 - IS-IS level 2,
       O3 - OSPFv3, A B - BGP Aggregate, A O - OSPF Summary,
       NG - Nexthop Group Static Route, V - VXLAN Control Service,
       DH - DHCP client installed default route, M - Martian,
       DP - Dynamic Policy Route, L - VRF Leaked

Gateway of last resort:
 S        0.0.0.0/0 [1/0] via 172.16.2.6, Vlan72

 C        10.2.0.0/24 is directly connected, Vlan70
 C        10.2.200.0/23 is directly connected, Vlan309
 C        10.2.216.0/24 is directly connected, Vlan338
 C        10.2.232.0/22 is directly connected, Vlan345
 C        10.2.237.0/28 is directly connected, Vlan342
 C        10.2.238.0/24 is directly connected, Vlan347
 C        10.2.252.0/24 is directly connected, Vlan333
 C        10.2.253.0/24 is directly connected, Vlan339
 C        10.2.255.0/24 is directly connected, Vlan69
 C        172.16.2.0/29 is directly connected, Vlan72
 S        172.17.17.0/26 [1/0] via 192.168.30.254, Management1
 C        192.168.30.0/24 is directly connected, Management1
 C        192.168.254.0/31 is directly connected, Vlan1000


VRF: LBL
Codes: C - connected, S - static, K - kernel,
       O - OSPF, IA - OSPF inter area, E1 - OSPF external type 1,
       E2 - OSPF external type 2, N1 - OSPF NSSA external type 1,
       N2 - OSPF NSSA external type2, B - BGP, B I - iBGP, B E - eBGP,
       R - RIP, I L1 - IS-IS level 1, I L2 - IS-IS level 2,
       O3 - OSPFv3, A B - BGP Aggregate, A O - OSPF Summary,
       NG - Nexthop Group Static Route, V - VXLAN Control Service,
       DH - DHCP client installed default route, M - Martian,
       DP - Dynamic Policy Route, L - VRF Leaked

Gateway of last resort:
 S        0.0.0.0/0 [1/0] via 23.23.23.190, Vlan10

 C        10.2.128.0/26 is directly connected, Vlan101
 C        23.23.23.128/26 is directly connected, Vlan10

WDC02-SW01(config)#show vrf leak
   VRF       RD       Protocols       State    Interfaces
--------- -------- --------------- ----------- ----------

Zawsze mogę drugi interfejs mgmt do load-balancerow dołożyć, ale wolał bym tego nie robić. Ma ktoś może jakieś doświadczenie z VRF route leak na Aristach ?

Awatar użytkownika
lgogolin
fresh
fresh
Posty: 7
Rejestracja: 13 cze 2020, 11:01

Re: BGP ECMP - Public IP

#7

#7 Post autor: lgogolin »

OK, problem z VRF rozwiązany - dokumentacja z Aristy jest troche niedokładna...

brakowało:

Kod: Zaznacz cały

service routing protocols model multi-agent

+ reboot switcha

no i zadziałało:

Kod: Zaznacz cały

WDC02-SW01(config)#show ip route vrf LBL

VRF: LBL
Codes: C - connected, S - static, K - kernel,
       O - OSPF, IA - OSPF inter area, E1 - OSPF external type 1,
       E2 - OSPF external type 2, N1 - OSPF NSSA external type 1,
       N2 - OSPF NSSA external type2, B - BGP, B I - iBGP, B E - eBGP,
       R - RIP, I L1 - IS-IS level 1, I L2 - IS-IS level 2,
       O3 - OSPFv3, A B - BGP Aggregate, A O - OSPF Summary,
       NG - Nexthop Group Static Route, V - VXLAN Control Service,
       DH - DHCP client installed default route, M - Martian,
       DP - Dynamic Policy Route, L - VRF Leaked

Gateway of last resort:
 S        0.0.0.0/0 [1/0] via 23.82.14.190, Vlan10

 C L      10.2.0.0/24 is directly connected (source VRF default), Vlan70 (egress VRF default)
 C        10.2.128.0/26 is directly connected, Vlan101
 C        23.23.23.128/26 is directly connected, Vlan10

WDC02-SW01(config)#show ip route vrf default

VRF: default
Codes: C - connected, S - static, K - kernel,
       O - OSPF, IA - OSPF inter area, E1 - OSPF external type 1,
       E2 - OSPF external type 2, N1 - OSPF NSSA external type 1,
       N2 - OSPF NSSA external type2, B - BGP, B I - iBGP, B E - eBGP,
       R - RIP, I L1 - IS-IS level 1, I L2 - IS-IS level 2,
       O3 - OSPFv3, A B - BGP Aggregate, A O - OSPF Summary,
       NG - Nexthop Group Static Route, V - VXLAN Control Service,
       DH - DHCP client installed default route, M - Martian,
       DP - Dynamic Policy Route, L - VRF Leaked

Gateway of last resort:
 S        0.0.0.0/0 [1/0] via 172.16.2.6, Vlan72

 C        10.2.0.0/24 is directly connected, Vlan70
 C L      10.2.128.0/26 is directly connected (source VRF LBL), Vlan101 (egress VRF LBL)
 C        10.2.200.0/23 is directly connected, Vlan309
 C        10.2.216.0/24 is directly connected, Vlan338
 C        10.2.232.0/22 is directly connected, Vlan345
 C        10.2.237.0/28 is directly connected, Vlan342
 C        10.2.238.0/24 is directly connected, Vlan347
 C        10.2.252.0/24 is directly connected, Vlan333
 C        10.2.253.0/24 is directly connected, Vlan339
 C        10.2.255.0/24 is directly connected, Vlan69
 C        172.16.2.0/29 is directly connected, Vlan72
 S        172.17.17.0/26 [1/0] via 192.168.30.254, Management1
 C        192.168.30.0/24 is directly connected, Management1
 C        192.168.254.0/31 is directly connected, Vlan1000

WDC02-SW01(config)#show vrf leak connected ipv4
Destination VRF       Leaked Prefix       Source VRF
--------------------- ------------------- ----------
LBL                   10.2.0.0/24         default
default               10.2.128.0/26       LBL

felix
wannabe
wannabe
Posty: 142
Rejestracja: 13 lis 2014, 21:46

Re: BGP ECMP - Public IP

#8

#8 Post autor: felix »

I jak, udał się osiągnąć zamierzony efekt? Działa tak jak chciałeś?

Awatar użytkownika
lgogolin
fresh
fresh
Posty: 7
Rejestracja: 13 cze 2020, 11:01

Re: BGP ECMP - Public IP

#9

#9 Post autor: lgogolin »

Czekam na ISP zeby przekonfigurowali u siebie routery brzegowe - ale to inna strefa czasowa UTC-7 wiec chwile poczekam :)
Jak tylko będę miał wszystko skonfigurowane i potwierdzone, że działa to dam znać

Awatar użytkownika
lgogolin
fresh
fresh
Posty: 7
Rejestracja: 13 cze 2020, 11:01

Re: BGP ECMP - Public IP

#10

#10 Post autor: lgogolin »

Temat rozwiązany wszystko działa tak jak powinno :)

ODPOWIEDZ