Összehasonlító és csoportos tesztek

A fentiekkel a tanúsítási rendszerek áttekintésén vagyunk túl, a folytatásban pedig az összehasonlító és csoportos teszteket vesszük nagyító alá. A tesztek világában ez már egy sokkal árnyaltabb terület, ahol jobbára jól ismert szaktekintélyek, valódi profik végzik ezeket. Másfelől azt is gyakran tapasztaljuk, hogy bárki, akinek van egy számítógépe és egy kis indíttatása, ezek birtokában máris kvalifikáltnak érzi magát egy összehasonlító teszt elvégzéséhez. Van ugyanis egy csomó buktató, amin az önjelölt, amatőr tesztelők elvérezhetnek, és ezek alapján aztán teljesen elfogult, félrevezető következtetéseket vonnak le.

Mentesítési teszt (Cleanup)

Az összehasonlító tesztek egyik kiemelt pontja ez a hatékony felismerés, a védelem minél kevesebb vakriasztással, és a teljesítmény, sebesség témakörök mellett. Ez a terület kívánja talán a legtöbb technikai szakértelmet, és annak a folyamatnak a teljes megértését, hogy pontosan mi játszódik le, amikor egy kártevő megfertőz egy rendszert, az mennyire súlyos és tartós változásokat okoz. Ahogy annak pontos és megbízható mérése is, hogy ezek a változások mennyire fontosak, hogyan értékeljük ezeket.

Kíván továbbá egyfajta mérlegelést az is, hogy a különféle termékek által a mentesítés után hátrahagyott részek mikor tekinthetők ártalmatlannak, és mikor nem, míg más programok esetén meg esetleg éppen a mentesítéskor történő helyreállítás okozhat kárt. Mivel ez a szakterület igényli a legalaposabb ismereteket, végrehajtása pedig hosszadalmas és munkaigényes, nem meglepő, hogy az egyik legritkábban elvégzett tesztfajta, különösen az amatőrök részéről.

Sebességteszt (Speed)

A sebesség tesztelése a fentiekhez képest nagyságrendekkel egyszerűbb procedúra, és nem igényel mélyreható kártevő ismereteket sem. Ahogy az időjárásra, kedvenc antivírusára is mindenki szeret panaszkodni, hogy lassú, lelassítja a rendszert (és persze közben nem ad 100%-os védelmet, ilyet soha nem is fog). Épp ezért érdekes azt látni, hogy különböző termékek hogyan teljesítenek ezeken a megmérettetéseken. Szakszerűtlenséggel persze itt is el lehet rontani a dolgokat. Dióhéjban az számít jónak, ha a pontosság érdekében reális felhasználói körülmények között többször is elvégezzük ugyanazokat a teszteket. Nincs ugyanis rosszabb, mintha egy kívülálló véletlen tényező eltorzítja az egyetlen egyszer elvégzett mérés eredményét, majd ezeket, mint szenzációt világgá kürtölik.

Hamis riasztás teszt (False positive)

Ez egy kulcsfontosságú tulajdonság, hiszen lehet egy vírusirtó bármilyen gyors, ha mindeközben nem biztonságos. Ahogy a sebességtesztnek is csak akkor van értelme, ha közben ezt a védelmi képességektől nem elkülönítve vizsgáljuk, ugyanígy a védelem minőségében kiemelkedő szerepe van a vakriasztások számának. Egy termék, ha észleli ugyan az összes létező kártevőt, még közel sem nevezhető tökéletesnek, ha eközben a tiszta szoftverkomponensekre, illetve weboldalakra is tévesen riaszt.

Ha elég gondosan felkészülünk egy ilyen tesztre, akkor ezt bárki elvégezheti, ehhez tulajdonképpen nem a válogatott kártevőkből, vagy potenciálisan fertőző weboldalakból kell hatalmas mennyiség, hanem inkább a garantáltan tiszta, fertőzésmentes állományokból szükséges egy jelentős adatbázis. Ha a senki által nem ismert és nem használt Fűnyíró Szimulátor 2008 nevű programcsomag egyik eleme vakriasztást okoz, ettől még nem dől össze a világ, ám ha például a Windows egyik alapvető komponensére riaszt tévesen egy antivírus, az már könnyen felkerül az újságok címlapjára. (Saját tapasztalat alapján a vírusirtó csapatok technikai részlegei között nincs ilyenkor semmilyen káröröm, se rosszindulatú rivalizálás, hanem készségesen segítenek egymásnak, ha tudnak valamiben, és azzal is tisztában vannak, ez a fajta Damoklész kardja kicsit mindegyikük felett ott lebeg.) Éppen ezért bár fontos, hogy a vakriasztások száma valóban a lehető legalacsonyabb legyen, ha teszt közben jelentkeztek ilyenek, érdemes megnézni azt is, hogy pontosan mik ezek, mennyire jelentős állományok okozták ezeket.

Egy hamis riasztás a rosszabbik fajtából: 2009. márciusában a Microsoft Windows Defender tévesen riasztott az operációs rendszer „C:\Windows\system32\drivers\etc\hosts ” állományára

Észlelési teszt (Detection)

Ez a legtöbb összehasonlító teszt fő alkotóeleme, hiszen a védelmi és felismerési képességek vizsgálata mindenkinek egyaránt fontos, de persze ebben is lehetnek zavaros dolgok. Az ilyen vizsgálat egyfelől igényel egy hatalmas kártevői adatbázist, amelyre rá lehet zavarni a versenyzőket. Az ilyen tesztek általában kevésbé tükrözik egy komplex, többrétegű védelem minőségét, de természetesen így is hasznos mutató arra nézvést, hogy az adott termék kliens, szerver vagy éppen gateway terméke milyen rátájú felismerést produkált. Emellett még rengeteg dolgot kell ilyenkor szem előtt tartani, például hogy a minták minden szempontból megfelelőek legyenek. A korábban emlegetett tiszta fájlokhoz hasonlóan, itt is gondosan kell azokat ellenőrizni, valóban lefedik-e az aktuálisan jelentkező sokrétű valós fenyegetéseket.

Ez egy hálás teszt, azonban itt is szükséges a tesztelő részéről a képesség és rengeteg idő mellett az is, hogy pontosan tudja milyen mintákat használ, miért használja azokat, és ne mindössze csak pár tucattal vizsgálódjon. Arra is volt például eset, hogy az egyik antivírus gyártó megfellebbezte egy tesztbeli eredményét arra hivatkozva, hogy a fel nem ismert minta nem is valódi kártevő, hanem csak egy ártalmatlan, futásképtelen sérült példány. A tesztlabor emiatt később igazat adott az illető gyártónak, és emiatt minden résztvevőnek újraszámolták az eredményeit.

Védelmi teszt (Protection)

A teljeskörű tesztek Szent Grálja, amelynél reális, valós támadások kivédésében szükséges képességeket igyekeznek ellenőrizni úgy, hogy abban a rendelkezésre álló védelem minden rétege részt vegyen. Első pillanatra talán úgy tűnhet, hogy ez így elég egyszerű, nem is kell hozzá sok szakértelem. Ám ahhoz, hogy ilyen vizsgálatokat ismételten és rendszeresen végrehajthassunk úgy, hogy a versenytársak egyenlő esélyekkel, összehasonlíthatóan és mérhetően birkózzanak meg ugyanazokkal a veszélyekkel, kiemelten nehéz feladat.

Mivel ennek végrehajtása inkább egy egyesével végrehajtandó precíz feladat, így időigényességben is kiemelkedően sokat kíván a tesztelőktől. Az automatizálás (például virtuális gépekben) olyan kifinomult és tapasztalatot igénylő gyakorlat, amely alaposan megtervezett és jól felépített körülmények között több hónapot is igénybe vehet pár száz minta vizsgálata esetében. És természetesen itt is előjön a megfelelően kiválasztott minták fontossága, hogy ezek valóban reprezentatívak legyenek még egy ilyen szűkebb, kisebb számú halmazon végzett tesztelési esetben is.

Éles határvonal van a valódi és a hamis antivírusok között. Utóbbiak nem ritkán saját honlappal is hirdetik magukat, és ott gyakran valós eredmények nélkül, csak úgy hasraütésszerűen is elhelyeznek, odahamisítanak különböző ismert minősítő emblémákat, logókat

Módszertan (Methodology)

Minden jó összehasonlító teszthez mellékelni kell valamilyen módszertant is, amely részletesen ismerteti, hogyan és mikre alapozva zajlott a vizsgálat. Ezeknek a részleteknek az ismerete segít megérteni, mely elemnek mi volt a szerepe, mik voltak az aktuális beállítások, milyen intézkedésekre került sor, hogyan gyűjtötték az adatokat, és hogyan értelmezték végül azokat. Egy módszertan olvasásakor a részletek hiánya legtöbbször arra utal, nem volt kellően átgondolva, megtervezve a vizsgálat, és ilyenkor akaratlanul is arra kell gondoljunk, hogy a leszűrt eredmények és következtetések is ingatag talajon állhatnak.

A cikk még nem ért véget, kérlek, lapozz!