PSOrvia

← Funkcije

Kako preverjamo zanesljivost

Fuzz testi, preverjanja pomnilnika, validatorji vtičnikov in primeri napak: kaj testiramo, kako pogosto in kaj je prišlo na dan. Nobene obljube, da se nikoli nič ne zgodi, temveč številke z datumi.

Ogrodje KakovostGostovanje

Abstraktna grafika: mirni zeleni zvočni val poteka nepretrgano skozi obris ščita, majhne motnje se odbijajo

Pokažemo, kako iščemo težave in kaj je iz tega prišlo. Številke izvirajo iz naših testnih dnevnikov.

Poškodovane in zlonamerne datoteke: za oblike, ki jih lahko naložiš v PSOrvia, obstajajo fuzz testi. Program iz veljavnih vzorčnih datotek zgradi milijone popačenih različic in jih vrže na bralnik. Takih testnih ciljev je več kot 80: zvočne oblike, prednastavitve in nastavitve, pisave, slike, PDF, seznami predvajanja, podcast viri, podatki o radijskih skladbah, odgovori strežnikov in omrežni protokoli. Skupaj je skozi njih šlo več kot 180 milijonov vhodov. Z njimi smo našli več kot 10 napak, na primer neskončno zanko zaradi enega samega ničelnega bajta v datoteki prednastavitve in prelivanje pomnilnika pri datoteki s prekratkim poljem glave. Vse so odpravljene, vsaka najdba pa ostane kot testna datoteka, ki se pred vsakim novim zagonom predvaja prva.

Pomnilnik in nedefinirano obnašanje: testi tečejo tudi pod preverjevalniki, ki sporočajo vsak dostop do pomnilnika in vsak nedefiniran izračun. V Linuxu te preveritve tečejo brez napak: 413 preveritev radijskih tokov, 70 odjemalca WebDAV, 78 upravljanja OSC in 38 za HTTP in HTTPS.

Validatorji vtičnikov: naš krog vtičnikov sestavljajo strog validator (strogost 8 od največ 10), ki naključno spreminja parametre, preklaplja razporeditve kanalov ter shranjuje in znova nalaga stanje, ter po en preverjevalnik za VST3 in CLAP in v macOS preverjanje Audio Unit. V vzorcu 5 vtičnikov PSOrvia je vseh 5 prestalo strogi validator.

Samodejni testi gostitelja: testni program naloži vtičnike brez zaslona v pravi glasbeni program, prebere parametre, enega nastavi in preveri, da ostane, ter izriše 2 sekundi, ki ne smeta manjkati niti biti tihi. Trenutno uspejo 3 od 3 primerov (en vtičnik v treh oblikah).

Ko gre kljub temu kaj narobe: vtičnik, ki se sesuje v svojem gostujočem procesu, ne potegne drugih sledi s seboj; to opisuje stran „Vtičnik, ki se sesuje, ne potegne nič s seboj“. Da se zvok neopazno ne spremeni, preverja stran „Preverjeno do bita“. Tu dodajamo omrežno stran: radijski tokovi se po prekinitvi znova povežejo z naraščajočim premorom in so bili preizkušeni s prekinjenimi in zataknjenimi tokovi ter poškodovanimi podatki o skladbah. Nedosegljiva omrežna delitev je stanje, ne napaka: PSOrvia Player poskuša znova z naraščajočimi premori (5, 15, 30, 60 sekund) in delitev se vrne sama. Če program odpove, Player zapiše poročilo v lokalno datoteko; nič se ne pošlje.