Přesné měření výkonnosti při náhodných jevech: zpřesňování výsledků měření výkonnosti projektu Mono.
Abstrakt
Testování výkonnosti software je ztěžováno náhodnými fluktuacemi, které se dostávají do výsledků měření. V této práci se zaměřujeme na fluktuace způsobené kompilací software.
Ukazujeme, že návrh testů výkonnosti musí brát v úvahu existenci fluktuací, mají-li testy poskytovat realistické výsledky. Představujeme nový statistický model testů výkonnosti, který bere v úvahu fluktuace při kompilaci, spouštění software, i při jednotlivých měřeních. Tento model popisuje výslednou reálnou výkonnost a umožňuje stanovit optimální rozsah testů pro dosažení maximální přesnosti v zadaném čase pro testování. Model vyhodnocujeme na několika různých modelových testech v kontextu automatické detekce změn výkonnosti během vývoje software.
Ukazujeme, že v tomto kontextu nový statistický model umožňuje snížit počet chybně deketovaných změn.