Retencja danych ASR 1002

[felix]

Cześć. Mam pytanie, a bardziej poszukuje best practice w tym temacie.

W jaki sposób zbieracie logi operatorskie na routerach brzegowych ? Nie wiem za bardzo jak to ugryźć, czy za pomocą net flow ? Czy syslogiem ?

[r34nismo]

zależy co chcesz zbierać, netflow i syslog są od dwóch róznych rzeczy

[felix]

Chodzi o ustawową retencję danych. Godzina, adres Źródłowy, adres docelowy, ewentualnie mac.

[lukaszbw]

Netflow + nfdump/nfsen jako kolektor. Nfdump to wyśmienite narzędzie do zbierania i analizowania netflow/sflow szczególnie przy dużej ilości flow. Soft jest darmowy, nakładka nfsen daje gui, które jest troche przetarzałe ale jak ktoś nie potrzebuje cukierkowej grafiki to dobrze się sprawuje.

Przy zastosowaniach ISP i zbieraniu informacji o flow pod ustawę warto posiedzieć nad optymalizacją. Z praktyki dodam, że oprócz optymalizacji flow warto zastąpić standardową kompresje LZO 7z (nfdump może operować na stdin i stdout).

Wszystko zależy od ilości połączeń i pojemności storage. Dzisiaj procesory nie stanowią ograniczenia, główne to prędkość i przestrzeń dyskowa.

Pozdr.

[felix]

Dzięki za info. Będę walczył z nfdump. Grafika nie gra tutaj roli

[felix]

Jeszcze takie pytanie. Podpowiecie jak skonfigurować nfcapd tak, aby zbierał mi tylko pakiety syn ? Bo to co zbieram za pomocą pełnych FLOW, to musiałbym specjalnie na tą potrze nowe macierze stawiać.

Chyba, że robi się to konfigurując FLOW na routerze ?

[lukaszbw]

Najlepiej wysyłać już odpowiednio odfiltrowane pakiety w netflow. Gotowej instrukcji ci nie dam bo nie stosuje ale poszukaj informacji o flexible netflow. W nim możesz filtrować informacje przez eksportem do kolektora. O ile pamiętam to flagi w TCP też można było oznaczać w flow record.

Nie wiem też jak z wydajnością tego jest przy dużym ruchu (często sprzęt zbiera netflow a procesor przerabia filtry) ale na ASR to nie powinno jakoś specjalnie wpłynąć.

Z poziomu nfsen też można to zrobić. W głównym profilu ustawiasz jak długo dane mają być przechowywane na dysku. Do tego tworzyć dodatkowy nowy profil (nie shadow ale real) z odpowienim filtrem nfdump i oczywiście dłuższym czasem przechowywania na dysku. W locie nfcapd nie może filtrować z tego co pamiętam.

Ja do tego troche inaczej podchodziłem. Nfsen był tylko na dane z maksymalnie tygodnia i to najlepiej na dyskach SSD bo IOPS zabijało zwykłe dyski. Codziennie skrypt nfdump robił analize z 24 godzin i wyciągał tylko informacje, które mi były potrzebne (czas, src,dst ip, protokół, port). Wszystko wysyłał do stdout i z niego 7za pobierał i kompresował ze znacznie lepszą kompresją. Próbowałem też dawać output w formacie tekstowym i to kompresować ale nie było dużej różnicy między raw. Generalnie 32GB RAM, 8x core i do tego odpowiednio dobrane parametry kompresji oraz wielkość słownika robiły znaczącą różnice w wielkości w porównaniu z domyślną kompresją nfdump (dużo też robiło wywalenie niepotrzebnych informacji jak ilość danych, interface, next-hop etc.)

Potem mogłeś pliki rozpakowywać i analizować w locie (operować na stdin i stdout) robiąc zrzut np. połączeń jednego klienta do oddzielnego pliku.

Zbieranie samego syn odpadało bo jest przecież jeszcze UDP czy ICMP. Do tego większe konstrukcje sprzętowe nie wysyłają flag TCP, ASA też nie wysyła flag tylko informacje o połączeniu w formacie NSEL.

Pozdr.

[felix]

Właśnie z jednej strony przydałoby się mieć tak obszerną informację jaką daje pełny net-flow, ale po co mieć ją na cały rok do tyłu. Tak jak mówisz wystarczy tydzień. Co dziennie zrobić zrzut jednego dnia, spakować i po sprawie.

Dzięki za pomoc.