Subskrybuj nas na Youtube
W większości przetargów na sprzęt komputerowy stosowane są niemiarodajne testy. I to mimo rekomendacji tak branży, jak i Urzędu Zamówień Publicznych
/>
W przetargach na zakup sprzętu komputerowego standardem stało się stosowanie testów (z ang. benchmarków) mierzących ich wydajność. Dotyczy to zarówno olbrzymich zamówień dla administracji centralnej, jak i małych, np. dla szkół. To wygodne rozwiązanie dla zamawiających, gdyż wskazują konkretny program do testów, a firmy muszą udowodnić, że osiągnęły na nim konkretne wyniki.
Stosowane testy dzielą się na syntetyczne i aplikacyjne. Te pierwsze mierzą wydajność poszczególnych elementów zestawu komputerowego, np. procesora czy karty graficznej. Podają wyniki uniwersalne, ale oderwane od tego, jak dany zestaw sprawdzi się przy zastosowaniu konkretnego oprogramowania. Testy aplikacyjne sprawdzają zaś właśnie wydajność zestawu przy pracy na najpopularniejszych programach, np. biurowych, takich jak edytory tekstu, arkusze kalkulacyjne czy przeglądarki internetowe. Bardzo często okazuje się, że sprzęt, który w testach syntetycznych poszczególnych elementów może mieć gorsze wyniki od konkurencji, równie dobrze, a czasem i lepiej, wypada przy pracy z konkretnym oprogramowaniem.
– O tym, jaki sprzęt komputerowy chce kupić administracja powinno decydować jego zastosowanie. Inna konfiguracja sprawdzi się w prostych pracach biurowych, inna w bardziej zaawansowanych, a jeszcze inna tam, gdzie w grę wchodzi zastosowanie programów graficznych. Dlatego zdecydowanie najlepszym sposobem weryfikacji wydajności sprzętu pod kątem konkretnych zadań są właśnie testy aplikacyjne – uważa Michał Rogalski, wiceprezes Polskiej Izby Informatyki i Telekomunikacji (PIIT).
Urząd Zamówień Publicznych już pięć lat temu zdecydowanie odradzał stosowanie testów syntetycznych. „Preferowanym sposobem określania wymagań dotyczących wydajności jest odwołanie do wymaganych, minimalnych wskaźników uzyskiwanych przez zestawy komputerowe w testach aplikacyjnych. Przewaga w testach syntetycznych może bowiem nie przekładać się na postrzeganą przez użytkownika wydajność komputera. Przykładowo zestaw z bardzo silnym procesorem i dość powolnym dyskiem twardym może być postrzegany przez użytkownika jako wolny, mimo iż w teście syntetycznym mierzącym moc obliczeniową uzyska wysoki wynik” – napisał w opublikowanym w 2010 r. dokumencie „Rekomendacje prezesa UZP dotyczące udzielania zamówień publicznych na dostawę zestawów komputerowych”.
Niestety, jak się okazuje, zamawiający nie wzięli sobie tych wytycznych do serca. W większości przetargów wciąż stosuje się testy syntetyczne. Z analizy dokonanej przez PIIT wynika, że aż 83 proc. przetargów zorganizowanych w październiku 2014 r. opierało się właśnie na tym rodzaju benchmarków.
– Mierzą one jedynie wydajność poszczególnych elementów zestawów komputerowych, np. procesora. Tymczasem ten sam procesor w połączeniu z innymi komponentami może dawać zupełnie odmienną wydajność całego zestawu – podkreśla Michał Rogalski.
– Co gorsza, testami syntetycznymi można manipulować, co sprawia, że są niemiarodajne – dodaje.
Niemiarodajne wyniki
W przygotowanym niedawno przez PIIT poradniku na temat oceny wydajności zestawów komputerowych przedstawiono wyniki tego samego procesora osiągane w testach syntetycznych na przełomie kilku miesięcy. Różniły się nawet o kilkadziesiąt procent. We wrześniu 2014 r. osiągnął on 4819 pkt, w listopadzie 4288, w styczniu 2015 r. 6158, a lutym już tylko 4176.
– Ta zmienność wyników testów może oznaczać, że opis przedmiotu zamówienia nie będzie jednoznaczny, a tego wymaga art. 29 ustawy – Prawo zamówień publicznych – zauważa Michał Rogalski.
– Zamawiający może określić, jakie wyniki powinien dać test, ale gdy będzie on przeprowadzany w innym dniu, to mogą już one nie zostać osiągnięte. W ten sposób oferta sprzedawcy zestawu, który spełnia wymagania, zostanie odrzucona z przetargu. Taka sytuacja już się zdarzyła – wyjaśnia.
Z podobnym problemem spotkała się Krajowa Izba Odwoławcza rozstrzygająca spór dotyczący przetargu na zakup sprzętu komputerowego dla Gdańskiego Inkubatora Przedsiębiorczości. Postawiono w nim wymóg osiągnięcia w teście syntetycznym procesora wyniku co najmniej 2590 pkt. Jedna z firm w odwołaniu do KIO przedstawiła wydruki pokazujące, że sprzęt konkurencji osiągnął 2557 pkt. KIO oddaliła ten zarzut, gdyż wydruku dokonano już po dacie składania ofert. Spór ten jednak pokazał, jak niebezpieczne dla wyników przetargu może być stosowanie testów syntetycznych (sygn. akt KIO 1941/11).
Dla urzędów za darmo
Rekomendacje dotyczące badania wydajności zestawów komputerowych UZP ponowił w komunikacie z początku tego roku. „Konsekwencją zastosowania testów syntetycznych może być zakup komputerów nieodpowiadających wymaganiom zamawiającego. Publikowane na stronach internetowych wyniki testów syntetycznych mogą dotyczyć komputerów zbudowanych z zupełnie innych elementów, niż te użyte w dostarczanym zestawie, a jedynym elementem wspólnym może być typ zastosowanego procesora” – można w nich przeczytać.
Zarówno UZP, jak i PIIT w wydanym przez siebie poradniku zalecają stosowanie testów BAPCo, organizacji non profit, której zadaniem jest rozwój i rozpowszechnianie zestawu obiektywnych benchmarków. Zrzesza ona wielu globalnych dostawców rozwiązań IT, m.in. Acer, ARCIntuition, ChinaByte, CNET, Compal, Dell, Hewlett-Packard, Hitachi, Intel, LC Future Center, Lenovo, Microsoft, Western Digital, Wistron, Samsung, Sony, Toshiba, Zol.
Co istotne, testy BAPCo dla administracji publicznej są całkowicie darmowe. Tymczasem stosowane benchmarki syntetyczne są nierzadko płatne. Urzędnicy nie zawsze zdają sobie z tego sprawę, pobierając darmową wersję trzydziestodniową, która jednak w dalszym okresie użytkowania wymaga opłacenia licencji.
Również Komisja Europejska zaleca stosowanie testów aplikacyjnych jako najbardziej miarodajnych i jednocześnie neutralnych technologicznie. Poza wspomnianymi już benchmarkami dostarczanymi przez BAPCo wskazać można też PCMark 8 udostępniany przez Futuremark Corporation czy WorldBench 7 udostępniany przez WorldBench.