PSOrvia

← Functies

Hoe we betrouwbaarheid testen

Fuzz-tests, geheugencontroles, plug-invalidators en storingsgevallen: wat we testen, hoe vaak en wat eruit kwam. Geen belofte dat er nooit iets gebeurt, maar cijfers met data.

Framework KwaliteitHosting

Abstracte afbeelding: een rustige groene geluidsgolf loopt ononderbroken door de omtrek van een schild, kleine verstoringen kaatsen af

We laten zien hoe we naar problemen zoeken en wat eruit kwam. De cijfers komen uit onze testlogs.

Beschadigde en kwaadaardige bestanden: voor de formaten die je in PSOrvia kunt laden zijn er fuzz-tests. Een programma bouwt uit geldige voorbeeldbestanden miljoenen verwrongen varianten en gooit ze naar de lezer. Er zijn meer dan 80 van zulke testdoelen: audioformaten, presets en instellingen, lettertypen, afbeeldingen, PDF, afspeellijsten, podcastfeeds, radiotrackinformatie, serverantwoorden en netwerkprotocollen. In totaal gingen er meer dan 180 miljoen invoeren doorheen. Daarmee vonden we meer dan 10 defecten, bijvoorbeeld een eindeloze lus door één enkele nulbyte in een presetbestand en een geheugenoverloop bij een bestand met een te kort headerveld. Alles is verholpen, en elke vondst blijft bestaan als testbestand dat vóór elke nieuwe run als eerste opnieuw wordt afgespeeld.

Geheugen en ongedefinieerd gedrag: de tests draaien ook onder controleurs die elke geheugentoegang en elke ongedefinieerde berekening melden. Op Linux draaien deze controles zonder fouten: 413 controles van de radiostreams, 70 van de WebDAV-client, 78 van de OSC-besturing en 38 voor HTTP en HTTPS.

Plug-in-validators: onze plug-inronde bestaat uit een strenge validator (strengheid 8 van maximaal 10) die willekeurig parameters wijzigt, kanaalindelingen wisselt en de toestand opslaat en opnieuw laadt, plus telkens een controleur voor VST3 en CLAP en, op macOS, de Audio Unit-controle. In een steekproef van 5 PSOrvia-plug-ins slaagden alle 5 voor de strenge validator.

Automatische hosttests: een testprogramma laadt plug-ins zonder scherm in een echt muziekprogramma, leest de parameters, stelt er een in en controleert dat die blijft staan, en rendert 2 seconden die niet mogen ontbreken en ook niet stil mogen zijn. Momenteel slagen 3 van de 3 gevallen (één plug-in in drie formaten).

Als er toch iets misgaat: een gecrashte plug-in in zijn eigen gastproces sleept de andere sporen niet mee; de pagina „Een gecrashte plug-in sleept niets mee” beschrijft dat. Dat het geluid niet ongemerkt verandert, wordt gecontroleerd door de pagina „Tot op de bit gecontroleerd”. Hier voegen we de netwerkkant toe: radiostreams verbinden na een onderbreking opnieuw met een groeiende pauze en zijn getest met afgebroken en stilgevallen streams en beschadigde trackinformatie. Een netwerkshare die niet bereikt kan worden, is een toestand en geen fout: PSOrvia Player probeert het opnieuw met groeiende pauzes (5, 15, 30, 60 seconden) en de share komt vanzelf terug. Als een programma crasht, schrijft de Player een rapport naar een lokaal bestand; er wordt niets verzonden.