Csináld magad naplóelemzés syslog-ng-vel

HTML
DOWNLOAD

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Csináld magad naplóelemzés syslog-ng-vel"

Rudolf Budai
9 évvel ezelőtt
Látták:

1 Csináld magad naplóelemzés syslog-ng-vel Höltzl Péter, CISA

2 Miről lesz szó? Hogyan lesz az adatból információ? Hogyan elemez a syslog-ng futásidőben? Mire tudjuk használni a kinyert tartamat?

3 Bevezető Összegyűjtött naplók Adathalmaz Elemezett napló üzenetek Információ Cél: Események felismerése Ne csak archíváljunk!

4 Az elemzési folyamat Minden üzenet felkutatása, begyűjtése Konverzió (protokoll és formátum) Az értékek, információk kigyűjtése Zajok szűrése Elemzés Reakció

5 Tipikus buktatók? Felkutatás Nincs üzenet Szedett-vedett formátumok Karakterkészlet eltérések Zavaró zajok

6 Normalizálás Nyers üzenet Közös, elemezhető forma: Azonos időpecsétek Azonos struktúra Azonos adatformátumok

7 Üzenet jellegzetességek Statikus és dinamikusan változó részek vegyesen: SSH: Accepted password for peter from port ssh2 FTP: [INFO] peter is now logged in POP3: pop3-login: Login: user=<peter>, method=plain, rip= , lip= , TLS

8 On-the-fly elemzés A syslog-ng pattern db: Logpathban elhelyezett, futás időben működő, üzenet klasszifikációs eszköz és adat értelmező eszköz.

9 A pattern-db parser Radix-tree algoritmus, XML adatbázisban Példa minták: Accepted for from port ssh2 [INFO] is now logged in pop3-login: Login: TLS

10 Parserek Numerikus parserek: IP parserek:

11 Buktatók Tartalmi ismétlődések pl. postfix to= orig_to= Egyetlen esemény, számos bejegyzés Gyakran kapcsolat nélkül Hiányos üzenetek Kezelése default értékekkel, ha van értelme

12 Classifikáció Üzenet osztályozása Csoportosítás Tipikus osztályok: system, violation, error, warning, info Használata a syslog-ng-ben: ${.classifier.class}

13 Tagging Kulcsszavazás A valódi jelentés Tipikus tag-ek: noise, login, logout, timeout, human-activity, machineactivity Használata syslog-ng-vel: $TAGS

14 Pattern db XML <patterndb version='2' pub_date=' '> <ruleset name='ssh' id=' '> <pattern>ssh</pattern> <rules> <rule provider='bb' id='ssh-1' class='system'> <patterns> <pattern>accepted for from port ssh2</pattern> <tags><tag>login</tag><tag>user</tag></tags> </patterns> </rule> </rules> </ruleset> </patterndb>

class='system'> <patterns> <pattern>accepted @STRING@ for @STRING@ from @IPv4@ port

15 Tag vagy Class? Mi a különbség? Egy üzenet egy class Egy üzenet bármennyi tag

16 Hogyan használjuk? Class és tag használata: SQL mezőkben, tábla nevekben Szűrőfeltételként Fájl vagy path névként /var/log/messages.$ {.classifier.class} (messages.violations)

17 Artificial Ignorance A nem felismert üzenetek unknown AI szűrés az unknown classra AI folyamat: Unknown class olvasása Reakció ;-D Pattern db korrekció

18 Üzenet tartalom A parserek saját makrókat definiálhatnak: ssh2 (?@@@IPv4:.logcheck.ip:@) is now logged in pop3-login: Login: user=<@string:.logcheck.uid:@>, method=@string:.logcheck.method:@, rip=@ipv4:.logcheck.ip:@, lip=@ipv4@, TLS

@@@IPv4:.logcheck.ip:@) [INFO] @STRING:.logcheck.uid:@ is now logged in pop3-login: Login: user=<@string:.

19 Üzenet tartalom A parser által megtalált tartalom saját makróban használható: ${.logcheck.uid}, ${logcheck.ip} Hiányos üzenetek kezelése: Default meghatározással: ${.logcheck.uid:-noid} VALUE XML tag-el <value>no-uid</value>

ip} Hiányos üzenetek kezelése: Default meghatározással:

20 Korreláció elemzés Egy eseményhez tartozó üzenetek: Violations by IP Violations by UID Logins by UID Megvalósítás: Grep ;-) SQL view tábla

21 Ábrázolás és riasztás Pager script (program destination) Munin/RRD tool Reporting script

22 Miért syslog-ng? Szabad 8000 elérhető pattern Alakuló community A vázolt infrastruktúra elemei: Mysql, syslog-ng OSE, munin, bash, vi

23 Köszönöm a figyelmet! Höltzl Péter, CISA holtzl.peter@balabit.com

Hasonló dokumentumok

Hálózati rendszerek adminisztrációja JunOS OS alapokon

Hálózati rendszerek adminisztrációja JunOS OS alapokon - áttekintés és példák - Varga Pál pvarga@tmit.bme.hu Áttekintés Általános laborismeretek Junos OS bevezető Routing - alapok Tűzfalbeállítás alapok