Slik tester vi for pålitelighet
Fuzz-tester, minnekontrollere, plugin-validatorer og feiltilfeller: hva vi tester, hvor ofte og hva som kom ut av det. Ikke noe løfte om at ingenting noen gang skjer, men tall med datoer.

Vi viser hvordan vi leter etter problemer og hva som kom ut av det. Tallene kommer fra testloggene våre.
Skadede og ondsinnede filer: for formatene du kan laste inn i PSOrvia finnes fuzz-tester. Et program bygger millioner av fordreide varianter av gyldige eksempelfiler og kaster dem mot leseren. Det finnes mer enn 80 slike testmål: lydformater, presets og innstillinger, skrifter, bilder, PDF, spillelister, podkastfeeder, sportinformasjon fra radio, serversvar og nettverksprotokoller. Til sammen gikk mer enn 180 millioner inndata gjennom. Med dem fant vi mer enn 10 feil, for eksempel en endeløs løkke forårsaket av én eneste nullbyte i en presetfil og en minneoverflyt på en fil med et for kort overskriftsfelt. Alle er rettet, og hvert funn blir stående som testfil som spilles av først før hver ny kjøring.
Minne og udefinert oppførsel: testene kjører også under kontrollere som melder hver minnetilgang og hver udefinerte beregning. På Linux kjører disse kontrollene uten feil: 413 kontroller av radiostrømmene, 70 av WebDAV-klienten, 78 av OSC-styringen og 38 for HTTP og HTTPS.
Plugin-validatorer: pluginrunden vår består av en streng validator (strenghet 8 av høyst 10) som endrer parametere tilfeldig, bytter kanaloppsett og lagrer og laster tilstanden på nytt, pluss én kontroll hver for VST3 og CLAP og, på macOS, Audio Unit-kontrollen. I et utvalg på 5 PSOrvia-plugins besto alle 5 den strenge validatoren.
Automatiske vertstester: et testprogram laster plugins uten skjerm inn i et ekte musikkprogram, leser parameterne, setter én og kontrollerer at den blir stående, og rendrer 2 sekunder som verken må mangle eller være stille. For øyeblikket består 3 av 3 tilfeller (én plugin i tre formater).
Når noe likevel går galt: en krasjet plugin i sin egen gjesteprosess tar ikke de andre sporene med seg; siden «En krasjet plugin tar ingenting med seg» beskriver det. At lyden ikke endrer seg ubemerket, kontrolleres av siden «Kontrollert helt ned til biten». Her legger vi til nettverkssiden: radiostrømmer kobler seg til igjen etter et avbrudd med økende pause og ble testet med kuttede og stoppede strømmer og skadet sportinformasjon. En nettverksdisk som ikke kan nås, er en tilstand, ikke en feil: PSOrvia Player prøver igjen med økende pauser (5, 15, 30, 60 sekunder), og disken kommer tilbake av seg selv. Hvis et program krasjer, skriver Player en rapport til en lokal fil; ingenting sendes.