Tű a szénakazalban Az email archiválás kihívásai Sütő János (sj@acts.hu)
Miért archiváljunk emaileket?
Rengeteg információ emailben
Megfelelőség (compliance) SOX, FRCP, HIPAA, GLBA, SEC, NAD, PSZÁF? Magyarországon még nincs ezekhez hasonló, de...
ediscovery költségek USA, 2010: ~80 milliárd USD
Védelem adatvesztés ellen
Perdöntő lehet bírósági ügyben
Terhelés csökkentése
Mit nyújt az email archiválás? Levelek centralizált, biztonságos tárolása Üzletfolytonosság biztosítása katasztrófa esetén Jogszabályoknak megfelelőség Gyors full text keresés az archivált levelek között Hatékony storage kihasználás
Nem triviális a(z open source) levelezőrendszerek mentése
Mentés!= Archiválás Nem email archiválás: - tar cfz - szalagra / DVD-re / stb. kiírás - PST fájl a hálózati meghajtón (amit mentenek) - bármi, ami NEM KERESHETŐ
Ellenpróba A Nagyon Fontos Kft-től kellenének Kovács Nemtudomki számlareklamációs levelei. Tavaly nyáron küldte el (tuti, emlékszem, mert jó idő volt) a pénzügyi osztályra (valakinek... (szerintem)). Ja, és volt benne egy kifogásolt számla is beszkennelve. Azt is légyszi, Józsikám...
A piler válasza
Megfelelőség Szigorú sorszámozás mysql auto_increment Időbélyeg TAI64 Aláírás SHA256 hash Kereshető index sphinx + metadata Titkosítás a hálózaton postfix + TLS
Megfelelőség #2 Titkosított archívum blowfish Biztonságos jelszavak AD / openldap Archívum integritás ell. open source! Auditálási képességek van Hozzáférés szabályozás mindenki csak a sajátját Két példányban archiválás nincs
Hogyan működik?
SMTP proxy mód*
piler + postfix
TLS támogatással
Levél feldolgozása Dekódolás Tokenekre bontás: sallangoktól megtisztítás UTF-8-ra kódolás Feldarabolás
Eredeti levél
Darabolás után
Random azonosító generálása 400000004f64f0dd2de8ec0c7c0259810190 a) Időbélyeg TAI64 formátumban* (12 byte) b) Random adat (6 byte) *: nanosecundum pontosság
Darabok tárolása /var/piler/store/ab/cd/ef/400...123456789abcdef.m /var/piler/store/ab/cd/ef/400...123456789abcdef.a1 /var/piler/store/ab/cd/ef/400...123456789abcdef.a2 tömörítés (zlib) + titkosítás (blowfish)
Ne veszítsd el a titkosító kulcsot!
Full text keresés Nem triviális Sphinx search 2.x From/To/Subject + body + metadatok indexelése Logikai és egyéb műveletek támogatása SphinxQL nyelv: SQL utasítások
Deduplikáció
Deduplikáció #2 Mindent csak 1 példányban tárolni 1. Levél deduplikáció: Message-Id alapján 2. Melléklet deduplikáció: digest alapján a) SHA256 digest számítása b) van már ilyen digest az attachment táblában? - nem: melléklet tárolása - igen: pointer tárolása
Integritás ellenőrzés
Integritás ellenőrzés #2 Metaadatok alapján: +------+-------+------+---------+---------+----+---------+ from date size hash1 hash2. vcode +------+-------+------+---------+---------+----+---------+ VCODE = SHA256(Küldő + Dátum + Méret + HASH) NYÍLT FORRÁSKÓD!
Integritás ellenőrzés #3 TimeStamp Authority (TSA) a) ingyenes, pl. www.ecrive.net, tsa.mailpiler.com b) kereskedelmi, pl. Netlock
Auditálás
Auditálás #2
HW-igény
HW-igény #2 Attól függ... Dedikált gépet érdemes Fizikai vagy virtuális gép DAS, NAS, SAN, iscsi,... Javasolt: 1+ GB RAM, 1+ TB HDD (Barracuda model 350: 1TB diszk / 500 user)
Archiválási szabályok
Archiválási szabályok #2
Megtartási szabályok = Meddig őrizzük meg a leveleket? Default: 7*365 + 2 = 2557 nap = 7 év Rögtön a telepítés után beállítani a szabályokat Lejárat időbélyeg hozzárendelése a levelekhez cron job: napi 1x pilerpurge
Megtartási szabályok
pilerimport Támogatott formátumok: EML: RFC-822 formátum (1 file = 1 levél) "Maildir": EML file-ok egy könyvtárban Mailbox (mbox): 1 file = sok levél PST-t nem tud közvetlenül, de libpst-vel igen!
pilerexport Az eredmény EML formátumban usage: pilerexport --start-date -a <YYYY.MM.DD> --stop-date -b <YYYY.MM.DD> --from -f <email@address> --to -r <email@address> --minsize -s <number> --maxsize -S<number> --all -A --dryrun -d
pilerexport #2 10k-nál nagyobb áprilisi levelek: pilerexport -s 10000 --start-date 2012.04.01 --stop-date 2011.04.30 100kB - 2MB, from: (aaa@aaa.fu OR bbb@aaa.fu), rcpt: aaa@gmail.com: pilerexport -s 100000 -S 2000000 -f aaa@aaa.fu -f bbb@aaa.fu -r aaa@gmail.com tegnapi mentés: pilerexport --start-date 2012.04.27 --stop-date 2012.04.27
Hogyan archiváljuk a spameket?
Webfelület testreszabása Template file-okat szerkeszteni? => senki nem vállalja 1 db css file módosítása: style-<az-en-sokkal-jobb-dizajnom>.css
i18n cp -R language/en language/de Nyelvi file lefordítása $langs = array( 'hu', 'en', 'de' );
ROADMAP SMTP proxy mód IMAP importálás/polling IMAP szerverre történő authentikáció Napi összefoglaló levél a rendszergazdáknak Riasztások e-mailben
ROADMAP #2 TSA support WORM eszköz támogatás Outlook plugin Amit csak a felhasználók kérnek...
Köszönetnyilvánítás Jolyon Troscianko FSF.hu alapítvány
piler projekt weboldal: http://www.mailpiler.org/ online demo: http://www.mailpiler.org/en/demo.html
Piler in action!
Bejelentkezés
Egyszerű keresés
Keresési feltétel mentése
Összetett keresés
Címkézés
Haladó keresés
Statisztika