Kako preverjamo zanesljivost
Fuzz testi, preverjanja pomnilnika, validatorji vtičnikov in primeri napak: kaj testiramo, kako pogosto in kaj je prišlo na dan. Nobene obljube, da se nikoli nič ne zgodi, temveč številke z datumi.
Ogrodje KakovostGostovanje

Pokažemo, kako iščemo težave in kaj je iz tega prišlo. Številke izvirajo iz naših testnih dnevnikov.
Poškodovane in zlonamerne datoteke: za oblike, ki jih lahko naložiš v PSOrvia, obstajajo fuzz testi. Program iz veljavnih vzorčnih datotek zgradi milijone popačenih različic in jih vrže na bralnik. Takih testnih ciljev je več kot 80: zvočne oblike, prednastavitve in nastavitve, pisave, slike, PDF, seznami predvajanja, podcast viri, podatki o radijskih skladbah, odgovori strežnikov in omrežni protokoli. Skupaj je skozi njih šlo več kot 180 milijonov vhodov. Z njimi smo našli več kot 10 napak, na primer neskončno zanko zaradi enega samega ničelnega bajta v datoteki prednastavitve in prelivanje pomnilnika pri datoteki s prekratkim poljem glave. Vse so odpravljene, vsaka najdba pa ostane kot testna datoteka, ki se pred vsakim novim zagonom predvaja prva.
Pomnilnik in nedefinirano obnašanje: testi tečejo tudi pod preverjevalniki, ki sporočajo vsak dostop do pomnilnika in vsak nedefiniran izračun. V Linuxu te preveritve tečejo brez napak: 413 preveritev radijskih tokov, 70 odjemalca WebDAV, 78 upravljanja OSC in 38 za HTTP in HTTPS.
Validatorji vtičnikov: naš krog vtičnikov sestavljajo strog validator (strogost 8 od največ 10), ki naključno spreminja parametre, preklaplja razporeditve kanalov ter shranjuje in znova nalaga stanje, ter po en preverjevalnik za VST3 in CLAP in v macOS preverjanje Audio Unit. V vzorcu 5 vtičnikov PSOrvia je vseh 5 prestalo strogi validator.
Samodejni testi gostitelja: testni program naloži vtičnike brez zaslona v pravi glasbeni program, prebere parametre, enega nastavi in preveri, da ostane, ter izriše 2 sekundi, ki ne smeta manjkati niti biti tihi. Trenutno uspejo 3 od 3 primerov (en vtičnik v treh oblikah).
Ko gre kljub temu kaj narobe: vtičnik, ki se sesuje v svojem gostujočem procesu, ne potegne drugih sledi s seboj; to opisuje stran „Vtičnik, ki se sesuje, ne potegne nič s seboj“. Da se zvok neopazno ne spremeni, preverja stran „Preverjeno do bita“. Tu dodajamo omrežno stran: radijski tokovi se po prekinitvi znova povežejo z naraščajočim premorom in so bili preizkušeni s prekinjenimi in zataknjenimi tokovi ter poškodovanimi podatki o skladbah. Nedosegljiva omrežna delitev je stanje, ne napaka: PSOrvia Player poskuša znova z naraščajočimi premori (5, 15, 30, 60 sekund) in delitev se vrne sama. Če program odpove, Player zapiše poročilo v lokalno datoteko; nič se ne pošlje.