Tű a szénakazalban Az archiválás kihívásai. Sütő János (sj@acts.hu)

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Tű a szénakazalban Az email archiválás kihívásai. Sütő János (sj@acts.hu)"

Zsófia Szőkené
8 évvel ezelőtt
Látták:

1 Tű a szénakazalban Az archiválás kihívásai Sütő János (sj@acts.hu)

2 Miért archiváljunk eket?

3 Rengeteg információ ben

4 Megfelelőség (compliance) SOX, FRCP, HIPAA, GLBA, SEC, NAD, PSZÁF? Magyarországon még nincs ezekhez hasonló, de...

5 ediscovery költségek USA, 2010: ~80 milliárd USD

6 Védelem adatvesztés ellen

7 Perdöntő lehet bírósági ügyben

8 Terhelés csökkentése

9 Mit nyújt az archiválás? Levelek centralizált, biztonságos tárolása Üzletfolytonosság biztosítása katasztrófa esetén Jogszabályoknak megfelelőség Gyors full text keresés az archivált levelek között Hatékony storage kihasználás

10 Nem triviális a(z open source) levelezőrendszerek mentése

11 Mentés!= Archiválás Nem archiválás: - tar cfz - szalagra / DVD-re / stb. kiírás - PST fájl a hálózati meghajtón (amit mentenek) - bármi, ami NEM KERESHETŐ

12 Ellenpróba A Nagyon Fontos Kft-től kellenének Kovács Nemtudomki számlareklamációs levelei. Tavaly nyáron küldte el (tuti, emlékszem, mert jó idő volt) a pénzügyi osztályra (valakinek... (szerintem)). Ja, és volt benne egy kifogásolt számla is beszkennelve. Azt is légyszi, Józsikám...

Tavaly nyáron küldte el (tuti, emlékszem, mert jó idő volt) a pénzügyi

14 A piler válasza

15 Megfelelőség Szigorú sorszámozás mysql auto_increment Időbélyeg TAI64 Aláírás SHA256 hash Kereshető index sphinx + metadata Titkosítás a hálózaton postfix + TLS

16 Megfelelőség #2 Titkosított archívum blowfish Biztonságos jelszavak AD / openldap Archívum integritás ell. open source! Auditálási képességek van Hozzáférés szabályozás mindenki csak a sajátját Két példányban archiválás nincs

17 Hogyan működik?

18 SMTP proxy mód*

19 piler + postfix

20 TLS támogatással

21 Levél feldolgozása Dekódolás Tokenekre bontás: sallangoktól megtisztítás UTF-8-ra kódolás Feldarabolás

22 Eredeti levél

23 Darabolás után

24 Random azonosító generálása f64f0dd2de8ec0c7c a) Időbélyeg TAI64 formátumban* (12 byte) b) Random adat (6 byte) *: nanosecundum pontosság

25 Darabok tárolása /var/piler/store/ab/cd/ef/ abcdef.m /var/piler/store/ab/cd/ef/ abcdef.a1 /var/piler/store/ab/cd/ef/ abcdef.a2 tömörítés (zlib) + titkosítás (blowfish)

26 Ne veszítsd el a titkosító kulcsot!

27 Full text keresés Nem triviális Sphinx search 2.x From/To/Subject + body + metadatok indexelése Logikai és egyéb műveletek támogatása SphinxQL nyelv: SQL utasítások

28 Deduplikáció

29 Deduplikáció #2 Mindent csak 1 példányban tárolni 1. Levél deduplikáció: Message-Id alapján 2. Melléklet deduplikáció: digest alapján a) SHA256 digest számítása b) van már ilyen digest az attachment táblában? - nem: melléklet tárolása - igen: pointer tárolása

30 Integritás ellenőrzés

31 Integritás ellenőrzés #2 Metaadatok alapján: from date size hash1 hash2. vcode VCODE = SHA256(Küldő + Dátum + Méret + HASH) NYÍLT FORRÁSKÓD!

32 Integritás ellenőrzés #3 TimeStamp Authority (TSA) a) ingyenes, pl. tsa.mailpiler.com b) kereskedelmi, pl. Netlock

33 Auditálás

34 Auditálás #2

35 HW-igény

36 HW-igény #2 Attól függ... Dedikált gépet érdemes Fizikai vagy virtuális gép DAS, NAS, SAN, iscsi,... Javasolt: 1+ GB RAM, 1+ TB HDD (Barracuda model 350: 1TB diszk / 500 user)

37 Archiválási szabályok

38 Archiválási szabályok #2

39 Megtartási szabályok = Meddig őrizzük meg a leveleket? Default: 7* = 2557 nap = 7 év Rögtön a telepítés után beállítani a szabályokat Lejárat időbélyeg hozzárendelése a levelekhez cron job: napi 1x pilerpurge

40 Megtartási szabályok

42 pilerimport Támogatott formátumok: EML: RFC-822 formátum (1 file = 1 levél) "Maildir": EML file-ok egy könyvtárban Mailbox (mbox): 1 file = sok levél PST-t nem tud közvetlenül, de libpst-vel igen!

43 pilerexport Az eredmény EML formátumban usage: pilerexport --start-date -a <YYYY.MM.DD> --stop-date -b <YYYY.MM.DD> --from -f --to -r --minsize -s <number> --maxsize -S<number> --all -A --dryrun -d

44 pilerexport #2 10k-nál nagyobb áprilisi levelek: pilerexport -s start-date stop-date kB - 2MB, from: (aaa@aaa.fu OR bbb@aaa.fu), rcpt: aaa@gmail.com: pilerexport -s S f aaa@aaa.fu -f bbb@aaa.fu -r aaa@gmail.com tegnapi mentés: pilerexport --start-date stop-date

45 Hogyan archiváljuk a spameket?

46 Webfelület testreszabása Template file-okat szerkeszteni? => senki nem vállalja 1 db css file módosítása: style-<az-en-sokkal-jobb-dizajnom>.css

47 i18n cp -R language/en language/de Nyelvi file lefordítása $langs = array( 'hu', 'en', 'de' );

48 ROADMAP SMTP proxy mód IMAP importálás/polling IMAP szerverre történő authentikáció Napi összefoglaló levél a rendszergazdáknak Riasztások ben

49 ROADMAP #2 TSA support WORM eszköz támogatás Outlook plugin Amit csak a felhasználók kérnek...

50 Köszönetnyilvánítás Jolyon Troscianko FSF.hu alapítvány

51 piler projekt weboldal: online demo:

52 Piler in action!

53 Bejelentkezés

54 Egyszerű keresés

58 Keresési feltétel mentése

59 Összetett keresés

62 Címkézés

64 Haladó keresés

66 Statisztika

Hasonló dokumentumok

Web harvesztelés. Automatikus módszerekkel

Web harvesztelés. Automatikus módszerekkel Országos Széchényi Könyvtár Miről lesz szó? Mi is az a web harvesztelés? Mire és hol használjuk? Miért hasznos? Saját megvalósításaink Mi a web harvesztelés? Interneten található weboldalak begyűjtése,