Kako provjeravamo pouzdanost
Fuzz testovi, provjera memorije, validatori dodataka i slučajevi kvara: što testiramo, koliko često i što je iz toga proizašlo. Nikakvo obećanje da se nikad ništa neće dogoditi, nego brojke s datumima.
Okvir KvalitetaHostiranje

Pokazujemo kako tražimo probleme i što je iz toga proizašlo. Brojke potječu iz naših zapisnika testiranja.
Oštećene i zlonamjerne datoteke: za formate koje možeš učitati u PSOrvia postoje fuzz testovi. Program iz valjanih uzoraka datoteka gradi milijune izobličenih inačica i baca ih na čitač. Takvih ciljeva testiranja ima više od 80: audioformati, presetovi i postavke, fontovi, slike, PDF, popisi za reprodukciju, podcast feedovi, informacije o radijskim skladbama, odgovori poslužitelja i mrežni protokoli. Ukupno je kroz njih prošlo više od 180 milijuna ulaza. S njima smo pronašli više od 10 nedostataka, na primjer beskonačnu petlju uzrokovanu jednim nul-bajtom u datoteci preseta i prelijevanje memorije na datoteci s prekratkim poljem zaglavlja. Svi su ispravljeni, a svaki nalaz ostaje kao testna datoteka koja se prva ponovno reproducira prije svakog novog pokretanja.
Memorija i nedefinirano ponašanje: testovi se izvode i pod provjerivačima koji prijavljuju svaki pristup memoriji i svaki nedefinirani izračun. Na Linuxu te provjere prolaze bez pogrešaka: 413 provjera radijskih streamova, 70 WebDAV klijenta, 78 OSC upravljanja i 38 za HTTP i HTTPS.
Validatori dodataka: naš krug za dodatke sastoji se od strogog validatora (strogost 8 od najviše 10) koji nasumično mijenja parametre, prebacuje rasporede kanala te sprema i ponovno učitava stanje, uz po jedan provjerivač za VST3 i CLAP te, na macOS-u, provjeru Audio Unit. U uzorku od 5 PSOrvia dodataka svih 5 prošlo je strogi validator.
Automatski testovi hosta: testni program učitava dodatke bez zaslona u pravi glazbeni program, čita parametre, postavi jedan i provjeri da ostaje, te renderira 2 sekunde koje ne smiju ni nedostajati ni biti tihe. Trenutačno prolaze 3 od 3 slučaja (jedan dodatak u tri formata).
Kad se nešto ipak pokvari: srušen dodatak u vlastitom gostujućem procesu ne povlači druge staze sa sobom; stranica „Srušeni dodatak ne povlači ništa sa sobom“ to opisuje. Da se zvuk neprimjetno ne mijenja, provjerava stranica „Provjereno do bita“. Ovdje dodajemo mrežnu stranu: radijski streamovi se nakon prekida ponovno spajaju s rastućom pauzom i testirani su s prekinutim i zaglavljenim streamovima te oštećenim informacijama o skladbama. Nedostupno mrežno dijeljenje je stanje, a ne pogreška: PSOrvia Player pokušava ponovno s rastućim pauzama (5, 15, 30, 60 sekundi) i dijeljenje se samo vraća. Ako program padne, Player zapisuje izvješće u lokalnu datoteku; ništa se ne šalje.