PSOrvia

← Ominaisuudet

Näin testaamme luotettavuutta

Fuzz-testit, muistintarkistimet, lisäosien validaattorit ja virhetilanteet: mitä testaamme, kuinka usein ja mitä löytyi. Ei lupausta, ettei mitään koskaan tapahdu, vaan lukuja päivämäärineen.

Kehys LaatuIsännöinti

Abstrakti grafiikka: rauhallinen vihreä aaltomuoto kulkee katkeamatta kilven ääriviivan läpi, pienet häiriöt kimpoavat pois

Näytämme, miten etsimme ongelmia ja mitä siitä tuli. Luvut ovat peräisin testilokeistamme.

Vioittuneet ja haitalliset tiedostot: muodoille, joita voit ladata PSOrviaan, on fuzz-testejä. Ohjelma rakentaa kelvollisista esimerkkitiedostoista miljoonia vääristeltyjä muunnelmia ja heittää ne lukijalle. Tällaisia testikohteita on yli 80: äänimuodot, esiasetukset ja asetukset, fontit, kuvat, PDF, soittolistat, podcast-syötteet, radion kappaletiedot, palvelinvastaukset ja verkkoprotokollat. Yhteensä niiden läpi meni yli 180 miljoonaa syötettä. Niillä löysimme yli 10 virhettä, esimerkiksi päättymättömän silmukan, jonka aiheutti yksi nollatavu esiasetustiedostossa, ja muistin ylivuodon tiedostossa, jonka otsikkokenttä oli liian lyhyt. Kaikki on korjattu, ja jokainen löydös säilyy testitiedostona, joka toistetaan ensimmäisenä ennen jokaista uutta ajoa.

Muisti ja määrittelemätön käyttäytyminen: testit ajetaan myös tarkistimien alla, jotka ilmoittavat jokaisen muistin käytön ja jokaisen määrittelemättömän laskutoimituksen. Linuxissa nämä tarkistukset menevät läpi ilman virheitä: 413 radiovirtojen tarkistusta, 70 WebDAV-asiakkaan, 78 OSC-ohjauksen ja 38 HTTP:lle ja HTTPS:lle.

Lisäosien validaattorit: lisäosakierroksemme koostuu tiukasta validaattorista (tiukkuus 8 enintään 10:stä), joka muuttaa parametreja satunnaisesti, vaihtaa kanavasijoittelua sekä tallentaa ja lataa tilan uudelleen, sekä yhdestä tarkistimesta VST3:lle ja CLAP:lle ja macOS:ssä Audio Unit -tarkistuksesta. 5 PSOrvia-lisäosan otoksessa kaikki 5 läpäisivät tiukan validaattorin.

Automaattiset isäntätestit: testiohjelma lataa lisäosia ilman näyttöä oikeaan musiikkiohjelmaan, lukee parametrit, asettaa yhden ja tarkistaa, että se pysyy, sekä renderöi 2 sekuntia, jotka eivät saa puuttua eivätkä olla hiljaisia. Tällä hetkellä 3 tapausta 3:sta läpäisee (yksi lisäosa kolmessa muodossa).

Kun jokin kuitenkin menee pieleen: kaatunut lisäosa omassa vierasprosessissaan ei vie muita raitoja mukanaan; sivu ”Kaatunut lisäosa ei vie mitään mukanaan” kuvaa tämän. Sitä, ettei ääni muutu huomaamatta, tarkistaa sivu ”Tarkistettu bitintarkasti”. Tässä lisäämme verkkopuolen: radiovirrat yhdistyvät katkoksen jälkeen uudelleen kasvavalla tauolla, ja niitä testattiin katkaistuilla ja jumiin jääneillä virroilla sekä vioittuneilla kappaletiedoilla. Tavoittamaton verkkojako on tila, ei virhe: PSOrvia Player yrittää uudelleen kasvavilla tauoilla (5, 15, 30, 60 sekuntia) ja jako palaa itsestään. Jos ohjelma kaatuu, Player kirjoittaa raportin paikalliseen tiedostoon; mitään ei lähetetä.