Benchmark

Et benchmark er en standardiseret eller gentagelig måling, der bruges til at vurdere og sammenligne performance, kapacitet eller effektivitet i et IT-system. Resultatet kan bruges som referencepunkt for senere målinger eller til at sammenligne forskellige løsninger under de samme betingelser.

Hvorfor er begrebet vigtigt?

Benchmarks er vigtige, fordi performance ellers let bliver vurderet ud fra enkeltstående oplevelser eller målinger, som ikke kan sammenlignes direkte. Et fast testgrundlag gør det muligt at se, om en ændring faktisk har forbedret eller forringet systemet.

For virksomheder kan benchmarks bruges ved optimering, kapacitetsplanlægning, valg mellem tekniske løsninger og dokumentation af effekten af ændringer i kode eller infrastruktur.

Typisk misforståelse

Den mest almindelige fejl er at tro, at ét benchmarkresultat beskriver den samlede kvalitet af et system. Resultatet gælder kun for den konkrete test, arbejdsbyrde og konfiguration og bør derfor fortolkes sammen med andre målinger.

Eksempel

En virksomhed måler, hvor mange API-forespørgsler dens løsning kan behandle pr. sekund ved en fast testbelastning. Efter en databaseoptimering gentages præcis den samme test, så resultaterne kan sammenlignes direkte.

Best practice

• Definér tydeligt hvad benchmarken skal måle.

• Brug samme testdata, konfiguration og belastning ved sammenligninger.

• Registrér hardware, softwareversioner og øvrige testbetingelser.

• Gentag målinger for at reducere tilfældige udsving.

• Kombinér throughput med svartid, fejlrate og ressourceforbrug.

• Brug realistiske arbejdsgange, når resultatet skal afspejle produktion.