PSOrvia

← Funkcijos

Kaip tikriname patikimumą

Fuzz testai, atminties tikrintuvai, įskiepių validatoriai ir gedimų atvejai: ką tikriname, kaip dažnai ir kas paaiškėjo. Jokio pažado, kad niekada nieko nenutiks, tik skaičiai su datomis.

Karkasas KokybėTalpinimas

Abstrakti grafika: rami žalia garso banga nenutrūkstamai eina per skydo kontūrą, smulkūs trikdžiai atšoka

Rodome, kaip ieškome problemų ir kas iš to išėjo. Skaičiai paimti iš mūsų testų žurnalų.

Pažeisti ir kenkėjiški failai: formatams, kuriuos gali įkelti į PSOrvia, yra fuzz testų. Programa iš galiojančių pavyzdinių failų sukuria milijonus iškreiptų variantų ir meta juos skaitytuvui. Tokių testų tikslų yra daugiau nei 80: garso formatai, išankstiniai nustatymai ir parametrai, šriftai, paveikslėliai, PDF, grojaraščiai, tinklalaidžių srautai, radijo kūrinių informacija, serverių atsakymai ir tinklo protokolai. Iš viso per juos praėjo daugiau nei 180 milijonų įvesčių. Su jomis radome daugiau nei 10 defektų, pavyzdžiui, begalinį ciklą, kurį sukėlė vienas nulinis baitas išankstinių nustatymų faile, ir atminties perpildymą faile su per trumpu antraštės lauku. Visi ištaisyti, o kiekvienas radinys lieka kaip testo failas, kuris prieš kiekvieną naują paleidimą atkuriamas pirmas.

Atmintis ir neapibrėžtas elgesys: testai vykdomi ir su tikrintuvais, kurie praneša apie kiekvieną atminties prieigą ir kiekvieną neapibrėžtą skaičiavimą. Linux sistemoje šie patikrinimai vykdomi be klaidų: 413 radijo srautų patikrinimų, 70 WebDAV kliento, 78 OSC valdymo ir 38 HTTP bei HTTPS.

Įskiepių validatoriai: mūsų įskiepių ratą sudaro griežtas validatorius (griežtumas 8 iš daugiausia 10), kuris atsitiktinai keičia parametrus, perjungia kanalų išdėstymus ir išsaugo bei iš naujo įkelia būseną, taip pat po vieną tikrintuvą VST3 ir CLAP bei, macOS sistemoje, Audio Unit patikra. 5 PSOrvia įskiepių imtyje visi 5 praėjo griežtą validatorių.

Automatiniai pagrindinės programos testai: testavimo programa įkelia įskiepius be ekrano į tikrą muzikos programą, nuskaito parametrus, nustato vieną ir patikrina, ar jis išlieka, ir sugeneruoja 2 sekundes, kurių negali trūkti ir kurios negali būti tylios. Šiuo metu išlaikomi 3 iš 3 atvejų (vienas įskiepis trimis formatais).

Kai vis dėlto kas nors nueina blogai: sugedęs įskiepis savo svečių procese nepatraukia kartu kitų takelių; tai aprašo puslapis „Sugedęs įskiepis nieko nepatraukia kartu“. Tai, kad garsas nepastebimai nesikeičia, tikrina puslapis „Patikrinta iki bito“. Čia pridedame tinklo pusę: radijo srautai po nutrūkimo vėl prisijungia su augančia pauze ir buvo išbandyti su nutrauktais ir sustojusiais srautais bei pažeista kūrinių informacija. Nepasiekiamas tinklo bendrinimas yra būsena, o ne klaida: PSOrvia Player bando iš naujo su augančiomis pauzėmis (5, 15, 30, 60 sekundžių) ir bendrinimas grįžta pats. Jei programa sugenda, Player įrašo ataskaitą į vietinį failą; niekas nesiunčiama.