Cum verificăm fiabilitatea
Teste fuzz, verificatoare de memorie, validatoare de pluginuri și cazuri de defecțiune: ce testăm, cât de des și ce a ieșit. Nicio promisiune că nu se întâmplă niciodată nimic, ci cifre cu date.

Arătăm cum căutăm problemele și ce a ieșit din asta. Cifrele provin din jurnalele noastre de teste.
Fișiere deteriorate și rău intenționate: pentru formatele pe care le poți încărca în PSOrvia există teste fuzz. Un program construiește milioane de variante deformate din fișiere-exemplu valide și le aruncă asupra cititorului. Există peste 80 astfel de ținte de test: formate audio, preseturi și setări, fonturi, imagini, PDF, liste de redare, fluxuri de podcast, informații despre piese de la radio, răspunsuri ale serverelor și protocoale de rețea. În total au trecut prin ele peste 180 milioane de intrări. Cu ele am găsit peste 10 defecte, de exemplu o buclă infinită cauzată de un singur octet nul într-un fișier de preset și o depășire de memorie la un fișier cu un câmp de antet prea scurt. Toate sunt remediate, iar fiecare descoperire rămâne ca fișier de test care este redat primul înainte de fiecare rulare nouă.
Memorie și comportament nedefinit: testele rulează și sub verificatoare care raportează fiecare acces la memorie și fiecare calcul nedefinit. Pe Linux aceste verificări rulează fără erori: 413 verificări ale fluxurilor radio, 70 ale clientului WebDAV, 78 ale controlului OSC și 38 pentru HTTP și HTTPS.
Validatoare de plugin-uri: runda noastră de plugin-uri constă dintr-un validator strict (rigoare 8 din maximum 10) care schimbă aleatoriu parametri, comută dispunerile canalelor și salvează și reîncarcă starea, plus câte un verificator pentru VST3 și CLAP și, pe macOS, verificarea Audio Unit. Într-un eșantion de 5 plugin-uri PSOrvia, toate cele 5 au trecut de validatorul strict.
Teste automate de gazdă: un program de test încarcă plugin-uri fără ecran într-un program muzical real, citește parametrii, setează unul și verifică dacă rămâne, și randează 2 secunde care nu trebuie să lipsească și nici să fie tăcere. În prezent trec 3 din 3 cazuri (un plugin în trei formate).
Când totuși ceva merge prost: un plugin blocat în propriul proces-oaspete nu trage după el celelalte piste; pagina „Un plugin blocat nu trage nimic după el” descrie asta. Faptul că sunetul nu se schimbă pe nesimțite este verificat de pagina „Verificat până la bit”. Aici adăugăm partea de rețea: fluxurile radio se reconectează după o întrerupere cu o pauză crescătoare și au fost testate cu fluxuri întrerupte și blocate și informații de piese deteriorate. O partajare de rețea care nu poate fi atinsă este o stare, nu o eroare: PSOrvia Player încearcă din nou cu pauze crescătoare (5, 15, 30, 60 de secunde) și partajarea revine singură. Dacă un program se blochează, Player scrie un raport într-un fișier local; nu se trimite nimic.