PSOrvia

← Funcionalidades

Como verificamos a fiabilidade

Testes de fuzzing, verificadores de memória, validadores de plugins e casos de falha: o que testamos, com que frequência e o que resultou. Nenhuma promessa de que nunca acontece nada, mas números com datas.

Framework QualidadeAlojamento

Gráfico abstrato: uma onda sonora verde e calma atravessa sem interrupção o contorno de um escudo, pequenas perturbações ressaltam

Mostramos como procuramos os problemas e o que resultou disso. Os números vêm dos nossos registos de testes.

Ficheiros danificados e maliciosos: para os formatos que podes carregar no PSOrvia existem testes de fuzzing. Um programa constrói milhões de variantes distorcidas a partir de ficheiros de exemplo válidos e lança-as ao leitor. Há mais de 80 destes alvos de teste: formatos de áudio, predefinições e definições, tipos de letra, imagens, PDF, listas de reprodução, feeds de podcast, informações de faixas de rádio, respostas de servidores e protocolos de rede. No total passaram mais de 180 milhões de entradas. Com elas encontrámos mais de 10 defeitos, por exemplo um ciclo infinito causado por um único byte nulo num ficheiro de predefinição e um excesso de memória num ficheiro com um campo de cabeçalho demasiado curto. Todos estão corrigidos e cada achado permanece como ficheiro de teste que é reproduzido primeiro antes de cada nova execução.

Memória e comportamento indefinido: os testes também correm sob verificadores que comunicam cada acesso à memória e cada cálculo indefinido. No Linux estas verificações correm sem erros: 413 verificações dos streams de rádio, 70 do cliente WebDAV, 78 do controlo OSC e 38 para HTTP e HTTPS.

Validadores de plugins: a nossa ronda de plugins consiste num validador rigoroso (rigor 8 de, no máximo, 10) que altera parâmetros ao acaso, alterna disposições de canais e guarda e volta a carregar o estado, mais um verificador para VST3 e outro para CLAP e, no macOS, a verificação do Audio Unit. Numa amostra de 5 plugins PSOrvia, todos os 5 passaram no validador rigoroso.

Testes automáticos de anfitrião: um programa de teste carrega plugins sem ecrã num programa de música real, lê os parâmetros, define um e verifica que se mantém, e renderiza 2 segundos que não podem faltar nem ser silêncio. Atualmente passam 3 de 3 casos (um plugin em três formatos).

Quando algo corre mal apesar de tudo: um plugin que falha no seu próprio processo convidado não arrasta consigo as outras pistas; a página «Um plugin que falha não arrasta nada consigo» descreve isso. Que o som não mude sem se notar é verificado pela página «Verificado ao bit». Aqui acrescentamos o lado da rede: os streams de rádio voltam a ligar-se após uma interrupção com uma pausa crescente e foram testados com streams cortados e parados e informações de faixas danificadas. Uma partilha de rede inacessível é um estado, não um erro: o PSOrvia Player tenta de novo com pausas crescentes (5, 15, 30, 60 segundos) e a partilha volta sozinha. Se um programa falhar, o Player escreve um relatório num ficheiro local; não é enviado nada.