PSOrvia

← Karatteristiċi

Kif nittestjaw l-affidabbiltà

Testijiet fuzz, verifikaturi tal-memorja, validaturi tal-plugins u każijiet ta' falliment: x'nittestjaw, kemm-il darba u x'ħareġ minnu. L-ebda wegħda li qatt ma jiġri xejn, imma numri b'dati.

Framework KwalitàHosting

Grafika astratta: mewġa ħadra kalma tal-ħoss tgħaddi bla waqfien minn kontorn ta' tarka, disturbi żgħar jirrimbalzaw

Nuru kif infittxu l-problemi u x'ħareġ minnhom. In-numri jiġu mill-logs tat-testijiet tagħna.

Fajls bil-ħsara u malizzjużi: għall-formati li tista' tgħabbi f'PSOrvia hemm testijiet fuzz. Programm jibni miljuni ta' varjanti mgħawġa minn fajls kampjun validi u jwaddabhom fuq il-qarrej. Hemm aktar minn 80 miri ta' test bħal dawn: formati awdjo, presets u settings, fonts, immaġini, PDF, playlists, feeds tal-podcasts, informazzjoni dwar it-traċċi tar-radju, tweġibiet tas-server u protokolli tan-network. B'kollox għaddew aktar minn 180 miljun input. Magħhom sibna aktar minn 10 difetti, pereżempju linja bla tmiem ikkawżata minn byte null wieħed f'fajl ta' preset u overflow tal-memorja fuq fajl b'qasam tal-header qasir wisq. Kollha ssewwew, u kull sejba tibqa' bħala fajl tat-test li jerġa' jinxtegħel l-ewwel qabel kull ġirja ġdida.

Memorja u mġiba mhux definita: it-testijiet jaħdmu wkoll taħt verifikaturi li jirrapportaw kull aċċess għall-memorja u kull kalkolu mhux definit. Fuq Linux dawn il-kontrolli jaħdmu mingħajr żbalji: 413 kontrolli tal-fluss tar-radju, 70 tal-klijent WebDAV, 78 tal-kontroll OSC u 38 għal HTTP u HTTPS.

Validaturi tal-plugins: ir-round tal-plugins tagħna jikkonsisti minn validatur strett (stretteżza 8 minn massimu ta' 10) li jbiddel il-parametri b'mod każwali, jaqleb il-layouts tal-kanali u jaħżen u jerġa' jgħabbi l-istat, flimkien ma' verifikatur wieħed għal VST3 u wieħed għal CLAP u, fuq macOS, il-kontroll tal-Audio Unit. F'kampjun ta' 5 plugins ta' PSOrvia, il-5 kollha għaddew mill-validatur strett.

Testijiet awtomatiċi tal-host: programm tat-test jgħabbi plugins mingħajr skrin f'programm tal-mużika veru, jaqra l-parametri, jistabbilixxi wieħed u jivverifika li jibqa', u jirrenderja 2 sekondi li la jistgħu jkunu nieqsa u lanqas siekta. Bħalissa jgħaddu 3 każijiet minn 3 (plugin wieħed fi tliet formati).

Meta xi ħaġa tmur ħażin xorta waħda: plugin li jikkrasja fil-proċess tiegħu bħala mistieden ma jiġbidx it-traċċi l-oħra miegħu; il-paġna „Plugin li jikkrasja ma jiġbed xejn miegħu“ tiddeskrivi dan. Li l-ħoss ma jinbidilx mingħajr ma wieħed jinduna jiġi vverifikat mill-paġna „Ivverifikat sal-bit“. Hawnhekk inżidu l-aspett tan-network: il-flussi tar-radju jirrikonnettjaw wara waqfa b'pawża li tikber u ġew ittestjati b'flussi maqtugħa u mwaqqfa u informazzjoni bil-ħsara dwar it-traċċi. Share tan-network li ma jistax jintlaħaq huwa stat, mhux żball: PSOrvia Player jerġa' jipprova b'pawżi li jikbru (5, 15, 30, 60 sekondi) u s-share jirritorna waħdu. Jekk programm jikkrasja, il-Player jikteb rapport f'fajl lokali; xejn ma jintbagħat.