PSOrvia

← Funzionalità

Come verifichiamo l'affidabilità

Test di fuzzing, verificatori di memoria, validatori di plugin e casi di guasto: cosa verifichiamo, quanto spesso e cosa ne è venuto fuori. Nessuna promessa che non succeda mai nulla, ma numeri con data.

Framework QualitàHosting

Grafica astratta: un'onda sonora verde e calma attraversa senza interruzioni il contorno di uno scudo, piccoli disturbi rimbalzano

Mostriamo come cerchiamo i problemi e che cosa ne è uscito. I numeri provengono dai nostri registri dei test.

File danneggiati e dannosi: per i formati che puoi caricare in PSOrvia esistono test di fuzzing. Un programma costruisce milioni di varianti distorte a partire da file di esempio validi e le lancia contro il lettore. Ci sono più di 80 obiettivi di test di questo tipo: formati audio, preset e impostazioni, font, immagini, PDF, playlist, feed di podcast, informazioni sui brani radio, risposte dei server e protocolli di rete. In totale sono passati più di 180 milioni di input. Con essi abbiamo trovato più di 10 difetti, ad esempio un ciclo infinito causato da un singolo byte nullo in un file di preset e un overflow di memoria su un file con un campo di intestazione troppo corto. Tutti sono corretti e ogni scoperta resta come file di test che viene riprodotto per primo prima di ogni nuova esecuzione.

Memoria e comportamento indefinito: i test girano anche sotto verificatori che segnalano ogni accesso alla memoria e ogni calcolo indefinito. Su Linux questi controlli girano senza errori: 413 controlli degli stream radio, 70 del client WebDAV, 78 del controllo OSC e 38 per HTTP e HTTPS.

Validatori di plugin: il nostro giro dei plugin consiste in un validatore rigoroso (rigore 8 su un massimo di 10) che modifica parametri a caso, cambia le disposizioni dei canali e salva e ricarica lo stato, più un verificatore ciascuno per VST3 e CLAP e, su macOS, il controllo Audio Unit. In un campione di 5 plugin PSOrvia, tutti i 5 hanno superato il validatore rigoroso.

Test automatici dell'host: un programma di test carica plugin senza schermo in un vero programma musicale, legge i parametri, ne imposta uno e verifica che resti, e renderizza 2 secondi che non devono né mancare né essere silenziosi. Attualmente 3 casi su 3 superano la prova (un plugin in tre formati).

Quando qualcosa va storto comunque: un plugin andato in crash nel suo processo ospite non trascina con sé le altre tracce; la pagina «Un plugin andato in crash non trascina con sé nulla» lo descrive. Che il suono non cambi inosservato lo verifica la pagina «Verificato al bit». Qui aggiungiamo il lato di rete: gli stream radio si riconnettono dopo un'interruzione con una pausa crescente e sono stati testati con stream interrotti e bloccati e informazioni sui brani danneggiate. Una condivisione di rete irraggiungibile è uno stato, non un errore: PSOrvia Player riprova con pause crescenti (5, 15, 30, 60 secondi) e la condivisione torna da sola. Se un programma va in crash, il Player scrive un rapporto in un file locale; non viene inviato nulla.