In einem beispiellosen offenen Brief nehmen acht Hersteller von Antivirus-Produkten Stellung gegenüber der aktuellen Titelgeschichte von Stiftung Warentest. Für Heft 4/2012 hat der Hersteller vierzehn Sicherheits-Suiten und vier Gratisscanner auf den Prüfstand gestellt. Avira schnitt mit der Note "Gut (2,1)" in beiden Kategorien am besten ab. Die Produkte von McAfee, Symantec und Trend Micro landeten weit abgeschlagen im hinteren Testfeld. Das Schlusslicht war Panda Internet Security.

In ihrem Schreiben kritisieren die Antivirenhersteller scharf die Prüfmethoden von Stiftung Warentest. Da ist von veralteten Testmethoden die Rede, die "unzureichend beschrieben" seien. Mit teilweise ohne Internet-Verbindung durchgeführten Tests trage der Waren-Test der tatsächlichen Gefährdungslage auf aktuellen PCs keine Rechnung. Auch seien offenbar die Empfehlungen der Anti Malware Testings Standards Organization (AMTSO) nicht berücksichtigt worden. Die Mehrzahl der AMTSO-Mitglieder stellen Antivirenprodukte her.

Konkret wird in dem offenen Brief kritisiert, dass der Schwerpunkt des Tests auf der Erkennung inaktiver Malware gelegen habe. Zusätzliche Schutzmechanismen wie die Verhaltenserkennung seien dadurch nicht zum Zuge gekommen. Durch die Trennung vom Internet sei den Programmen zusätzlich die Möglichkeit der cloud-gestützten Malware-Erkennung genommen worden.

Tatsächlich hat Stiftung Warentest bei seinem "internationalen Gemeinschaftstests" mehrere ungewöhnliche Methoden eingesetzt. So fanden alle Tests in virtuellen Maschinen statt; zur Bewertung der Wächter wurde "eine Festplatte voll neuester Schadsoftware" auf den virtuellen Rechner kopiert. Die Malware-Erkennung durch den Dateiscanner wurde vor allem anhand von Signaturdatenbanken durchgeführt. Insgesamt trug der Virenschutz nur zu 40 Prozent zur Gesamtbewertung bei; die Handhabung und die Rechnerbelastung wurden mit 30 beziehungsweise 20 Prozent bewertet.

Die Unterzeichnenden des Schreibens bieten Stiftung Warentest eine "offene Diskussion über Ihre Testmethoden an" und hoffen, für künftige Tests "einige Anregungen geben zu können, um zukünftig realitätsnähere Testergebnisse erzielen zu können". Mit der Motivation für ihren Brief halten die Hersteller nicht hinter dem Berg: "Derzeit haben wir den Eindruck, dass Ihre Veröffentlichung bei Verbrauchern und Nutzern unserer Produkte zu einer gewissen Verunsicherung führt, die aus unserer Sicht nicht notwendig ist."

Die im Schreiben mitschwingende Nervosität lässt sich unter anderem damit erklären, dass die kritisierten Testergebnisse nicht nur in Deutschland, sondern international veröffentlicht werden. In Frankreich wurden dieselben Ergebnisse bereits Anfang März veröffentlicht; andere europäische Mitglieder des ICRT, dem internationalen Dachverband der Verbrauchertestinstitute, dürften in den kommenden Wochen nachziehen.

In den Online-Kommentaren zum Test nimmt Stiftung Warentest bereits Stellung zur Kritik. Die Tester verteidigen ihr Vorgehen: In die Beurteilung des Virenschutzes seien "sämtliche Schutzfunktionen vor Malware" eingeflossen; die Ergebnisse in den virtuellen Maschinen seien durch umfangreiche "Stichproben auf realen Maschinen" verifiziert worden. Die Malwaretests seien "selbstverständlich auch online geprüft und bewertet" worden. Aber: "Wir verlangen von einem guten Virenprogramm, dass es sowohl online als auch offline gut funktioniert. Schließlich sind auch heute längst nicht alle Rechner immer online." Am 18. April lädt Stiftung Warentest zu einem Online-Chat zum Thema Antivirenprogramme.

Der offene Brief an die Stiftung Warentest wurde durch Vertreter von acht Antivirenherstellern unterzeichnet: Check Point (ZoneAlarm), F-Secure, Ikarus, Kaspersky, McAfee, Panda Security, Symantec und Trend Micro. Neunter Unterzeichner ist der Geschäftsführer des deutschen Virenschutztestlabors AV-Test. Die Hersteller der beiden am besten bewerteten Programme, Avira und G Data, gehören nicht zu den Unterzeichnern – Kaspersky Internet Security wurde jedoch mit "Gut (2,4)" bewertet und belegt damit im umstrittenen Test immerhin den dritten Platz. Bitdefender, Bullguard und Eset haben sich dem offenen Brief nicht angeschlossen (alle bekamen ein "Befriedigend"). Ikarus hat unterzeichnet, obwohl ihr Produkt nicht Teil des Testfelds war.

Zum Abschluss wird der öffentliche Brief sehr deutlich. Mit Nachdruck fordern die Unterzeichnenden die Stiftung Warentest dazu auf, in der nächsten Ausgabe ihres Hefts "an hervorgehobener Stelle darauf hinzuweisen, dass sie mit uns diese Punkte diskutieren, und ihre Leser zu informieren, dass die verwendeten Testszenarien, die bei vielen Produkten zu schwachen Ergebnissen geführt haben, in Alltagssituationen nicht auftreten."

Quelle: heise.de

Stiftung Warentest hat Stellung zur Kritik an den Ergebnissen ihres aktuellen Antivirentests genommen. Am Dienstag hatten acht Hersteller von Virenschutzprodukten sowie das Testlabor AV-Test einen "offenen Brief an die Stiftung Warentest" veröffentlicht. Darin werden die Durchführung des Tests sowie die Bewertung der Ergebnisse scharf kritisiert. Darüber hinaus fordern die Unterzeichner, dass Stiftung Warentest die Testergebnisse im folgenden Heft relativieren möge. Eine solcher offener Brief ist, gelinde gesagt, höchst ungewöhnlich.

Auf die Kritik reagierte Stiftung Warentest zuerst in den Kommentaren zum Test auf seiner Website und gestern mit einer offiziellen Stellungnahme. Diese wiederholt größtenteils bereits bekannte Argumente, führt darüber hinaus aber auch zusätzliche Punkte ins Feld.

Der Testbeschreibung im Heft zufolge wurden die Virenwächter ausschließlich getestet, indem 1800 Schädlinge in eine virtuelle Maschine kopiert wurden. Dies legte nahe, dass der Test nur die Erkennung durch Signaturen und heuristische Analyse berücksichtigte und die Verhaltenserkennung moderner Scanner ausgeklammert hat. Die Stellungnahme ergänzt nun, darüber hinaus sei "Schadsoftware auf den Rechnern ausgeführt" worden – sowohl mit als auch ohne Internet-Verbindung. Bei einer derartigen Überprüfung müsste bei den Security-Suiten auch die Verhaltenserkennung zum Tragen gekommen sein.

Stiftung Warentest betont, dass das Testverfahren in Zusammenarbeit mit einem Fachbeirat erstellt worden sei. Gegenüber heise online bestätigte der zuständige Projektleiter, dass zum Fachbeirat auch Vertreter dreier Antivirus-Hersteller gehörten. Pikanterweise haben zwei von diesen auch den "Offenen Brief" unterzeichnet. Im Fachbeirat hätten die Vertreter allerdings keine Bedenken am Testverfahren gezeigt.

Von heise online darauf angesprochen, erklärte einer der Antiviren-Hersteller, dies treffe in dieser Form nicht zu: Es sei durchaus Kritik am vorgeschlagenen Testverfahren geäußert worden. Jedoch habe der Beirat nur eine beratende Rolle gespielt und keinen direkten Einfluss auf die Testmethodik gehabt.

Stiftung Warentest führt zusätzlich ins Feld, dass alle Hersteller der Testkandidaten im November 2011 das Prüfprogramm zur Kenntnis erhalten haben. Dies bestätigten zwei Hersteller gegenüber heise online. Das macht es schwer zu verstehen, weshalb die Hersteller erst jetzt und derart öffentlich auf den Testaufbau reagieren.

Insgesamt bleiben aber viele Fragen offen. Zwar erwähnt bereits das heise online vorliegende Prüfprogramm, dass Schadcode auch gestartet werden müsse. Das eigentliche Testverfahren sowie die Auswertung der Ergebnisse bleiben jedoch weiterhin im Dunkeln. Einerseits betont Stiftung Warentest die Wissenschaftlichkeit seiner Testmethoden, andererseits fehlen Details zur Schädlingsauswahl, der Methodik bei der Funktionsüberprüfung und bei der Gewichtung der Ergebnisse.

Klar ist mittlerweile, dass die Funktionsprüfungen nicht von Stiftung Warentest selbst durchgeführt wurden, sondern von einem externen Testlabor. Um welches es sich dabei handelt, mögen die Verantwortlichen auf keinen Fall preisgeben. Hierzu Dr. Holger Brackemann, Leiter des Bereichs Untersuchungen der Stiftung Warentest: "Die Stiftung Warentest veröffentlicht grundsätzlich nicht die Namen der beauftragten Prüflabore. Zum einen, um die Labore nach der Veröffentlichung des Tests vor wirtschaftlichen Folgen zu schützen. Zum anderen, um vor der Veröffentlichung des Tests eine Einflussnahme durch Herstellerfirmen auszuschließen." Diese Position ist zwar durchaus legitim, bedeutet andererseits aber auch, dass entscheidende Informationen zur Bewertung der Qualität des Tests weiterhin unbekannt bleiben werden.

Quelle: heise.de