PSOrvia

← Funkce

Jak testujeme spolehlivost

Fuzz testy, kontroly paměti, validátory pluginů a chybové případy: co testujeme, jak často a co z toho vzešlo. Žádný slib, že se nikdy nic nestane, ale čísla s daty.

Framework KvalitaHostování

Abstraktní grafika: klidná zelená zvuková vlna probíhá bez přerušení obrysem štítu, drobná rušení se odrážejí

Ukazujeme, jak problémy hledáme a co z toho vzešlo. Čísla pocházejí z našich testovacích protokolů.

Poškozené a škodlivé soubory: pro formáty, které můžeš do PSOrvia načíst, existují fuzz testy. Program vytvoří z platných ukázkových souborů miliony zkomolených variant a pošle je čtečce. Takových testovacích cílů je víc než 80: zvukové formáty, presety a nastavení, písma, obrázky, PDF, playlisty, podcastové kanály, informace o skladbách z rádia, odpovědi serverů a síťové protokoly. Celkem jimi prošlo víc než 180 milionů vstupů. Našli jsme s nimi víc než 10 chyb, například nekonečnou smyčku způsobenou jediným nulovým bajtem v souboru presetu a přetečení paměti u souboru s příliš krátkým polem hlavičky. Všechny jsou opraveny a každý nález zůstává jako testovací soubor, který se před každým novým během přehraje jako první.

Paměť a nedefinované chování: testy běží také pod kontrolními nástroji, které hlásí každý přístup do paměti a každý nedefinovaný výpočet. Na Linuxu tyto kontroly probíhají bez chyb: 413 kontrol rádiových streamů, 70 klienta WebDAV, 78 ovládání OSC a 38 pro HTTP a HTTPS.

Validátory pluginů: naše kolo pro pluginy se skládá ze přísného validátoru (přísnost 8 z nejvýše 10), který náhodně mění parametry, přepíná rozložení kanálů a ukládá a znovu načítá stav, a z jedné kontroly pro VST3 a CLAP a na macOS z kontroly Audio Unit. Ve vzorku 5 pluginů PSOrvia prošlo přísným validátorem všech 5.

Automatické testy hostitele: testovací program načte pluginy bez obrazovky do skutečného hudebního programu, přečte parametry, jeden nastaví a ověří, že zůstane, a vyrenderuje 2 sekundy, které nesmí chybět ani být tiché. Zatím prochází 3 ze 3 případů (jeden plugin ve třech formátech).

Když se něco přece pokazí: spadlý plugin ve vlastním hostujícím procesu nestrhne ostatní stopy; popisuje to stránka „Spadlý plugin nestrhne nic s sebou“. Že se zvuk nepozorovaně nemění, se kontroluje podle stránky „Ověřeno na bit“. Zde přidáváme síťovou stránku: rádiové streamy se po přerušení znovu připojují s rostoucí prodlevou a byly testovány s přerušenými a zadrhávajícími streamy a poškozenými informacemi o skladbách. Nedostupné síťové sdílení je stav, nikoli chyba: PSOrvia Player to zkouší znovu s rostoucími prodlevami (5, 15, 30, 60 sekund) a sdílení se samo vrátí. Pokud program spadne, Player zapíše hlášení do místního souboru; nic se neodesílá.