Összehasonlító tesztek használata a közbeszerzésben Gacsal József Alelnök IVSZ
Alapvető tudnivalók Mi az összehasonlító tesztelés? Eljárás a teljesítmény vizsgálatára és mérésére Referencia pontot ad az összehasonlításhoz Hogyan vizsgáljuk a teszteket? Összehasonlítható konfigurációkról van szó? CPU, memória, merevlemez, OS, BIOS, meghajtók, szoftver Hatása lesz, ha nem egyezik Válasszuk le a tesztelt részt Mit mérünk? Sajátos felhasználás? Különleges teljesítmény? Megismételhetően dokumentált? Mit jelent és mit vonhatunk le belőle? Irodai termelékenység Akku üzemidő 3D grafika Vizuális minőség Media kódolás 2 Értsük meg mit jelent az eredmény!
Ki fejleszti a teszteket? KONZORCIUMOK (BAPCo*, SYSmark*, MobileMark*& WebMark*, SPEC* CPU2000*) Nyílt forráskódú KÖZÖSSÉG (PovRay*, Lame MP3*) Egy független SZOFTVERGYÁRTÓ (Doom 3*, Unreal Tournament*) Egy CÉG (Veritest*, FutureMark*) EGYÉNEK (SiSoft* Sandra*, Super PI) 3 A konzorcium az iparági tudást használja fel, hogy egészséges vitát generáljon a fejlesztési ciklusban
Tesztelési módszertan és a technikai követelmények kiírása 4 Módszertan A hatóságnak precízen dokumentálnia kell a teszteket, hogy azok összehasonlíthatóak és megismételhetőek legyenek A rendszer beállításokat a Master Image összehasonlítására kell előírni A teszteket mindig a szállításra ajánlott konfigurációkon kell elvégezni Mindig ragaszkodni kell a használt teszt licencében lévő követelményekhez (pld. BAPCo. weboldala) A kiválasztott konfigurációkat hatóságnak saját magának kell tesztelnie (saját vagy független laborban), hogy igazolják a résztvevők által beadott eredményeket
BAPCo* konzorcium BAPCo* (Business Applications Performance Corporation) egy non-profit konzorcium, mely objektív teljesítmény összehasonlító teszteket készít és terjeszt, népszerű alkalmazások és iparági szabvány operációs rendszerek alapján. BAPCo* tagok 2006. februárban Source: www.bapco.com 5
SPEC* konzorcium SPEC tagok 33DLabs * Acer Inc. * Advanced Micro Devices * Apple Computer, Inc. * ATI Research * Azul Systems, Inc. * BEA Systems * Borland * Bull S.A. * CommuniGate Systems * Dell * EMC * Exanet * Fabric7 Systems, Inc. * Freescale Semiconductor, Inc. * Fujitsu Limited * Fujitsu Siemens * Hewlett-Packard * Hitachi Data Systems * Hitachi Ltd. * IBM * Intel * ION Computer Systems * JBoss * Microsoft * Mirapoint * NEC - Japan * Network Appliance * Novell * NVIDIA * Openwave Systems * Oracle * P.A. Semi * Panasas * PathScale * The Portland Group * S3 Graphics Co., Ltd. * SAP AG * SGI * Sun Microsystems * Super Micro Computer, Inc. * Sybase * Symantec Corporation * Unisys * Verisign * Zeus Technology * SPEC társult tagok California Institute of Technology * Center for Scientific Computing (CSC) * Defence Science and Technology Organisation - Stirling * Dresden University of Technology * Duke University * JAIST * Johns Hopkins University * Kyushu University * Leibniz Rechenzentrum - Germany * National University of Singapore * New South Wales Department of Education and Training * Penn State * Purdue University * Queen's University * Rightmark * Stanford University * Technical University of Darmstadt * Texas A&M University * Tsinghua University * University of Aizu - Japan * University of California - Berkeley * University of Central Florida * University of Illinois - NCSA * University of Maryland * University of Modena * University of Nebraska, Lincoln * University of New Mexico * University of Pavia * University of Stuttgart * University of Texas at Austin * University of Texas at El Paso * University of Tsukuba * University of Waterloo * VA Austin Automation Center * SPEC támogató tagok EP Network Storage Performance Lab * SuSE Linux AG * 6 Forrás: www.spec.org 2006. február
A tesztelő eszközök érzékenysége változik SPEC CPU 2000 2008. július 1. után nem használatos WEBMARK 2004 2008. július 1. után nem használatos SYSMARK 2004 és 2004 SE 2008. július 1. után nem használatos 7
Trükkök és taktikák Vigyázat Idejét múlt vagy már nem támogatott tesztek használata. VeriTest* Business Winstone* 2004, VeriTest* Multimedia Content Creation Winstone* 2004 PC World Bench 5.0 Keverés (pld. geometriai középérték számítás) sok eredmény átlagolása a vezető szerep követeléséhez Pld. grafikus teljesítményből teljes teljesítményre következtetni Konfiguráció elfedése vagy nem alma-alma összehasonlítás a teszt gépeken. 8
A teszt eredmények hitelességi tényezőinek vizsgálata 1. Alma-alma konfigurációk? 2. Ipari szabvány tesztek és/vagy elterjedt alkalmazások használata? Legjobb: ipari szabvány teszt független konzorcium (BAPCo* vagy SPEC *1 ) Jobb: ipari szabvány teszt független cég (FutureMark*) Jó: elterjedt alkalmazás 3. A teszt vagy szoftver legújabb verzióját használtuk? 4. A használt tesz vagy szoftver tükrözi a kívánt felhasználást? 5. A tesztelt konfigurációk és tesztek teljes dokumentációja rendelkezésre áll, hogy,egismételhető legyen a teszt? 6. Szabványos beállításokat használtunk? Változtattunk bármit, amitől változott (nőtt) a teljesítmény? 7. A tesztek kiadásakor a legfrisebb meghajtó programokat használtuk? 8. Egyedi tesztek és szoftver eredményeket kaptunk? Az eredményeket nem szabad szisztematikusan összegezni, hogy átfogó teljesítmény eredményt kapjunk. Ez félrevezető az aktuális eredmények tekintetében és nem szabad felhasználni a tesztek vagy szoftverek kiválasztásához. 9. Teljes és világos vizuális jelzések vannak a grafikonokon? Tegyük fel ezeket Benchmarking a kérdéseket, to support hogy tenders hiteles 23 rd teszteket February 2010 végezzünk! 9
Jó gyakorlat bemutatása német közbeszerzési projekt http://www.itk-beschaffung.de/en/introduction.html 10
A projekt alapító tagjai és céljai 11 Alapítók: Célok: német belügyminisztérium beszerezési hivatala BITKOM (német IVSZ) német hadsereg szövetségi információ kezelési és informatikai hivatala német környezetvédelmi minisztérium Iparági szereplőkel együttműködésben, megbízható és intelligens eszközökkel segíteni a szövetségi, tartományi és önkormányzati beszerzőket az IKT beszerzésekben Cég vagy márkanevek használata nélkül, minden kötelező jogi előírás figyelembevételével A fenntartható beszerzés minden nézőpontjának figyelembevételével Jelenleg csak asztali és notebook számítógépekre A kiszolgálókkal kapcsolatban már előkészületben
Partnerek 12
Letölthető anyagok 13
Mit ajánl az iparág? 1. Folyamatos együttműködést 2. Működő modelleket, példákat 3. Az iparág segítségét és munkáját 4. Folyamatos frissülést, lépéstartást a technológia változásaival 5. Szabványosságot, áttekinthetőséget 14