PSOrvia

← Funkcie

Ako testujeme spoľahlivosť

Fuzz testy, kontroly pamäte, validátory pluginov a chybové prípady: čo testujeme, ako často a čo z toho vzišlo. Žiadny sľub, že sa nikdy nič nestane, ale čísla s dátumami.

Framework KvalitaHostovanie

Abstraktná grafika: pokojná zelená zvuková vlna prebieha bez prerušenia obrysom štítu, drobné rušenia sa odrážajú

Ukazujeme, ako hľadáme problémy a čo z toho vzišlo. Čísla pochádzajú z našich testovacích protokolov.

Poškodené a škodlivé súbory: pre formáty, ktoré môžeš načítať do PSOrvia, existujú fuzz testy. Program vytvorí z platných ukážkových súborov milióny skomolených variantov a hodí ich na čítačku. Takýchto testovacích cieľov je viac ako 80: zvukové formáty, presety a nastavenia, písma, obrázky, PDF, zoznamy skladieb, podcastové kanály, informácie o skladbách z rádia, odpovede serverov a sieťové protokoly. Celkovo nimi prešlo viac ako 180 miliónov vstupov. Našli sme pomocou nich viac ako 10 chýb, napríklad nekonečnú slučku spôsobenú jediným nulovým bajtom v súbore presetu a pretečenie pamäte pri súbore s príliš krátkym poľom hlavičky. Všetky sú opravené a každý nález zostáva ako testovací súbor, ktorý sa pred každým novým behom prehrá ako prvý.

Pamäť a nedefinované správanie: testy bežia aj pod kontrolnými nástrojmi, ktoré hlásia každý prístup do pamäte a každý nedefinovaný výpočet. Na Linuxe tieto kontroly prebiehajú bez chýb: 413 kontrol rádiových streamov, 70 klienta WebDAV, 78 ovládania OSC a 38 pre HTTP a HTTPS.

Validátory pluginov: naše kolo pre pluginy pozostáva zo prísneho validátora (prísnosť 8 z najviac 10), ktorý náhodne mení parametre, prepína rozloženia kanálov a ukladá a znova načítava stav, a z jednej kontroly pre VST3 a CLAP a na macOS z kontroly Audio Unit. Vo vzorke 5 pluginov PSOrvia prešlo prísnym validátorom všetkých 5.

Automatické testy hostiteľa: testovací program načíta pluginy bez obrazovky do skutočného hudobného programu, prečíta parametre, jeden nastaví a overí, že zostane, a vyrenderuje 2 sekundy, ktoré nesmú chýbať ani byť tiché. Momentálne prechádzajú 3 z 3 prípadov (jeden plugin v troch formátoch).

Keď sa niečo predsa pokazí: spadnutý plugin vo vlastnom hosťovskom procese nestiahne so sebou ostatné stopy; opisuje to stránka „Spadnutý plugin nič nestiahne so sebou“. Že sa zvuk nepozorovane nemení, sa kontroluje podľa stránky „Skontrolované na bit“. Tu dopĺňame sieťovú stránku: rádiové streamy sa po prerušení znova pripájajú s rastúcou prestávkou a boli testované s prerušenými a zaseknutými streamami a poškodenými informáciami o skladbách. Nedostupné sieťové zdieľanie je stav, nie chyba: PSOrvia Player to skúša znova s rastúcimi prestávkami (5, 15, 30, 60 sekúnd) a zdieľanie sa samo vráti. Ak program spadne, Player zapíše hlásenie do lokálneho súboru; nič sa neodosiela.