PSOrvia

← Funktioner

Sådan tester vi pålideligheden

Fuzz-tests, hukommelseskontroller, plugin-validatorer og fejltilfælde: hvad vi tester, hvor ofte og hvad der kom ud af det. Intet løfte om, at der aldrig sker noget, men tal med datoer.

Framework KvalitetHosting

Abstrakt grafik: en rolig grøn lydbølge løber ubrudt gennem omridset af et skjold, små forstyrrelser preller af

Vi viser, hvordan vi leder efter problemer, og hvad det gav. Tallene stammer fra vores testlogs.

Beskadigede og ondsindede filer: for de formater, du kan indlæse i PSOrvia, findes der fuzz-tests. Et program bygger millioner af forvrængede varianter ud fra gyldige eksempelfiler og kaster dem mod læseren. Der er mere end 80 sådanne testmål: lydformater, presets og indstillinger, skrifttyper, billeder, PDF, afspilningslister, podcastfeeds, sporinformation fra radio, serversvar og netværksprotokoller. I alt er mere end 180 millioner input gået igennem. Med dem fandt vi mere end 10 fejl, for eksempel en endeløs løkke udløst af en enkelt nulbyte i en preset-fil og et hukommelsesoverløb ved en fil med et for kort headerfelt. Alle er rettet, og hvert fund bliver som testfil, der afspilles først før hver ny kørsel.

Hukommelse og udefineret adfærd: testene kører også under kontrolværktøjer, der melder hver hukommelsesadgang og hver udefineret beregning. På Linux kører disse kontroller uden fejl: 413 kontroller af radiostreams, 70 af WebDAV-klienten, 78 af OSC-styringen og 38 for HTTP og HTTPS.

Plugin-validatorer: vores plugin-runde består af en streng validator (strenghed 8 af højst 10), som ændrer parametre tilfældigt, skifter kanallayout og gemmer og genindlæser tilstanden, plus én kontrol hver for VST3 og CLAP og på macOS Audio Unit-kontrollen. I en stikprøve på 5 PSOrvia-plugins bestod alle 5 den strenge validator.

Automatiske værtstests: et testprogram indlæser plugins uden skærm i et rigtigt musikprogram, læser parametrene, sætter én og kontrollerer, at den bliver stående, og renderer 2 sekunder, som hverken må mangle eller være stille. I øjeblikket består 3 af 3 tilfælde (ét plugin i tre formater).

Når noget alligevel går galt: et plugin, der går ned i sin egen gæsteproces, tager ikke de andre spor med sig; siden „Et plugin, der går ned, tager intet med sig“ beskriver det. At lyden ikke ændrer sig ubemærket, kontrolleres af siden „Kontrolleret ned til bitten“. Her tilføjer vi netværkssiden: radiostreams forbinder igen efter et afbrud med voksende pause og blev testet med afbrudte og gennemhængende streams og beskadiget sporinformation. En netværksdeling, der ikke kan nås, er en tilstand, ikke en fejl: PSOrvia Player prøver igen med voksende pauser (5, 15, 30, 60 sekunder), og delingen kommer af sig selv tilbage. Går et program ned, skriver Player en rapport til en lokal fil; der sendes intet.