Retencja danych ASR 1002
Retencja danych ASR 1002
Cześć. Mam pytanie, a bardziej poszukuje best practice w tym temacie.
W jaki sposób zbieracie logi operatorskie na routerach brzegowych ? Nie wiem za bardzo jak to ugryźć, czy za pomocą net flow ? Czy syslogiem ?
W jaki sposób zbieracie logi operatorskie na routerach brzegowych ? Nie wiem za bardzo jak to ugryźć, czy za pomocą net flow ? Czy syslogiem ?
Netflow + nfdump/nfsen jako kolektor. Nfdump to wyśmienite narzędzie do zbierania i analizowania netflow/sflow szczególnie przy dużej ilości flow. Soft jest darmowy, nakładka nfsen daje gui, które jest troche przetarzałe ale jak ktoś nie potrzebuje cukierkowej grafiki to dobrze się sprawuje.
Przy zastosowaniach ISP i zbieraniu informacji o flow pod ustawę warto posiedzieć nad optymalizacją. Z praktyki dodam, że oprócz optymalizacji flow warto zastąpić standardową kompresje LZO 7z (nfdump może operować na stdin i stdout).
Wszystko zależy od ilości połączeń i pojemności storage. Dzisiaj procesory nie stanowią ograniczenia, główne to prędkość i przestrzeń dyskowa.
Pozdr.
Przy zastosowaniach ISP i zbieraniu informacji o flow pod ustawę warto posiedzieć nad optymalizacją. Z praktyki dodam, że oprócz optymalizacji flow warto zastąpić standardową kompresje LZO 7z (nfdump może operować na stdin i stdout).
Wszystko zależy od ilości połączeń i pojemności storage. Dzisiaj procesory nie stanowią ograniczenia, główne to prędkość i przestrzeń dyskowa.
Pozdr.
Lukasz Wisniowski MSc CCNA CCNP CCIE #20319
Tandem Networks
ul. Sztormowa 34
94-117 Łódź
NIP: 727-257-72-37
tel: +48 (42) 2091825
Tandem Networks
ul. Sztormowa 34
94-117 Łódź
NIP: 727-257-72-37
tel: +48 (42) 2091825
Najlepiej wysyłać już odpowiednio odfiltrowane pakiety w netflow. Gotowej instrukcji ci nie dam bo nie stosuje ale poszukaj informacji o flexible netflow. W nim możesz filtrować informacje przez eksportem do kolektora. O ile pamiętam to flagi w TCP też można było oznaczać w flow record.
Nie wiem też jak z wydajnością tego jest przy dużym ruchu (często sprzęt zbiera netflow a procesor przerabia filtry) ale na ASR to nie powinno jakoś specjalnie wpłynąć.
Z poziomu nfsen też można to zrobić. W głównym profilu ustawiasz jak długo dane mają być przechowywane na dysku. Do tego tworzyć dodatkowy nowy profil (nie shadow ale real) z odpowienim filtrem nfdump i oczywiście dłuższym czasem przechowywania na dysku. W locie nfcapd nie może filtrować z tego co pamiętam.
Ja do tego troche inaczej podchodziłem. Nfsen był tylko na dane z maksymalnie tygodnia i to najlepiej na dyskach SSD bo IOPS zabijało zwykłe dyski. Codziennie skrypt nfdump robił analize z 24 godzin i wyciągał tylko informacje, które mi były potrzebne (czas, src,dst ip, protokół, port). Wszystko wysyłał do stdout i z niego 7za pobierał i kompresował ze znacznie lepszą kompresją. Próbowałem też dawać output w formacie tekstowym i to kompresować ale nie było dużej różnicy między raw. Generalnie 32GB RAM, 8x core i do tego odpowiednio dobrane parametry kompresji oraz wielkość słownika robiły znaczącą różnice w wielkości w porównaniu z domyślną kompresją nfdump (dużo też robiło wywalenie niepotrzebnych informacji jak ilość danych, interface, next-hop etc.)
Potem mogłeś pliki rozpakowywać i analizować w locie (operować na stdin i stdout) robiąc zrzut np. połączeń jednego klienta do oddzielnego pliku.
Zbieranie samego syn odpadało bo jest przecież jeszcze UDP czy ICMP. Do tego większe konstrukcje sprzętowe nie wysyłają flag TCP, ASA też nie wysyła flag tylko informacje o połączeniu w formacie NSEL.
Pozdr.
Nie wiem też jak z wydajnością tego jest przy dużym ruchu (często sprzęt zbiera netflow a procesor przerabia filtry) ale na ASR to nie powinno jakoś specjalnie wpłynąć.
Z poziomu nfsen też można to zrobić. W głównym profilu ustawiasz jak długo dane mają być przechowywane na dysku. Do tego tworzyć dodatkowy nowy profil (nie shadow ale real) z odpowienim filtrem nfdump i oczywiście dłuższym czasem przechowywania na dysku. W locie nfcapd nie może filtrować z tego co pamiętam.
Ja do tego troche inaczej podchodziłem. Nfsen był tylko na dane z maksymalnie tygodnia i to najlepiej na dyskach SSD bo IOPS zabijało zwykłe dyski. Codziennie skrypt nfdump robił analize z 24 godzin i wyciągał tylko informacje, które mi były potrzebne (czas, src,dst ip, protokół, port). Wszystko wysyłał do stdout i z niego 7za pobierał i kompresował ze znacznie lepszą kompresją. Próbowałem też dawać output w formacie tekstowym i to kompresować ale nie było dużej różnicy między raw. Generalnie 32GB RAM, 8x core i do tego odpowiednio dobrane parametry kompresji oraz wielkość słownika robiły znaczącą różnice w wielkości w porównaniu z domyślną kompresją nfdump (dużo też robiło wywalenie niepotrzebnych informacji jak ilość danych, interface, next-hop etc.)
Potem mogłeś pliki rozpakowywać i analizować w locie (operować na stdin i stdout) robiąc zrzut np. połączeń jednego klienta do oddzielnego pliku.
Zbieranie samego syn odpadało bo jest przecież jeszcze UDP czy ICMP. Do tego większe konstrukcje sprzętowe nie wysyłają flag TCP, ASA też nie wysyła flag tylko informacje o połączeniu w formacie NSEL.
Pozdr.
Lukasz Wisniowski MSc CCNA CCNP CCIE #20319
Tandem Networks
ul. Sztormowa 34
94-117 Łódź
NIP: 727-257-72-37
tel: +48 (42) 2091825
Tandem Networks
ul. Sztormowa 34
94-117 Łódź
NIP: 727-257-72-37
tel: +48 (42) 2091825