Hogyan teszteljük a megbízhatóságot
Fuzz-tesztek, memóriaellenőrzők, plugin-validátorok és hibaesetek: mit tesztelünk, milyen gyakran és mi jött ki belőle. Nem ígérjük, hogy sosem történik semmi, hanem dátumozott számokat mutatunk.
Keretrendszer MinőségHosztolás

Megmutatjuk, hogyan keressük a hibákat, és mi derült ki belőlük. A számok a tesztnaplóinkból származnak.
Sérült és rosszindulatú fájlok: a PSOrviába betölthető formátumokra fuzz-tesztek léteznek. Egy program érvényes mintafájlokból milliónyi eltorzított változatot épít, és ráereszti az olvasóra. Több mint 80 ilyen tesztcél van: hangformátumok, presetek és beállítások, betűtípusok, képek, PDF, lejátszólisták, podcast-hírcsatornák, rádiós számadatok, szerverválaszok és hálózati protokollok. Összesen több mint 180 millió bemenet ment át rajtuk. Ezekkel több mint 10 hibát találtunk, például egyetlen nullbájt okozta végtelen ciklust egy presetfájlban, és memóriatúlcsordulást egy túl rövid fejlécmezős fájlnál. Mindegyik ki van javítva, és minden lelet tesztfájlként megmarad, amelyet minden új futtatás előtt elsőként játszunk le újra.
Memória és nem definiált viselkedés: a tesztek olyan ellenőrök alatt is futnak, amelyek jelentenek minden memória-hozzáférést és minden nem definiált számítást. Linuxon ezek az ellenőrzések hibák nélkül futnak: 413 ellenőrzés a rádióstreameken, 70 a WebDAV-kliensen, 78 az OSC-vezérlésen és 38 a HTTP-n és HTTPS-en.
Plugin-validátorok: a plugin-körünk egy szigorú validátorból áll (szigorúság 8 a legfeljebb 10-ből), amely véletlenszerűen módosítja a paramétereket, váltogatja a csatornakiosztásokat, és elmenti, majd újra betölti az állapotot, valamint egy-egy ellenőrből a VST3-hoz és a CLAP-hoz, macOS-en pedig az Audio Unit ellenőrzésből. 5 PSOrvia plugin mintájában mind a 5 átment a szigorú validátoron.
Automatikus hosztesztek: egy tesztprogram képernyő nélkül tölt be plugineket egy valódi zeneprogramba, kiolvassa a paramétereket, beállít egyet és ellenőrzi, hogy megmarad, és 2 másodpercet renderel, amelynek nem szabad hiányoznia, sem csendnek lennie. Jelenleg 3 esetből 3 megfelel (egy plugin három formátumban).
Amikor mégis félremegy valami: az összeomlott plugin a saját vendégfolyamatában nem viszi magával a többi sávot; ezt a „Az összeomlott plugin nem visz el semmit magával” oldal írja le. Azt, hogy a hang észrevétlenül nem változik, a „Bitre pontosan ellenőrizve” oldal ellenőrzi. Itt a hálózati oldalt egészítjük ki: a rádióstreamek megszakadás után növekvő szünettel csatlakoznak újra, és megszakított és elakadt streamekkel, valamint sérült számadatokkal teszteltük őket. Az elérhetetlen hálózati megosztás állapot, nem hiba: a PSOrvia Player növekvő szünetekkel újrapróbálja (5, 15, 30, 60 másodperc), és a megosztás magától visszatér. Ha egy program összeomlik, a Player jelentést ír egy helyi fájlba; semmi nem kerül elküldésre.