PSOrvia

← Recursos

Como testamos a confiabilidade

Testes de fuzz, verificadores de memória, validadores de plug-ins e casos de falha: o que testamos, com que frequência e o que resultou. Nenhuma promessa de que nunca acontece nada, mas números com datas.

Estrutura QualidadeHospedagem

Gráfico abstrato: uma forma de onda verde calma passa sem interrupção pelo contorno de um escudo, pequenas perturbações ricocheteiam

Mostramos como procuramos problemas e o que saiu disso. Os números vêm de nossos logs de teste.

Arquivos danificados e maliciosos: para os formatos que podem ser carregados no PSOrvia há testes de fuzz. Um programa monta milhões de variantes distorcidas a partir de arquivos de exemplo válidos e as joga contra o leitor. Há mais de 80 desses alvos de teste: formatos de áudio, presets e configurações, fontes, imagens, PDF, playlists, feeds de podcast, informações de faixa de rádio, respostas de servidores e protocolos de rede. No total passaram mais de 180 milhões de entradas. Com elas encontramos mais de 10 defeitos, por exemplo um laço infinito causado por um único byte nulo em um arquivo de preset e um estouro de memória em um arquivo com um campo de cabeçalho curto demais. Todos estão corrigidos, e cada achado permanece como arquivo de teste que é reexecutado primeiro antes de cada nova rodada.

Memória e comportamento indefinido: os testes também rodam sob verificadores que registram cada acesso à memória e cada cálculo indefinido. No Linux essas verificações rodam sem erros: 413 verificações dos streams de rádio, 70 do cliente WebDAV, 78 do controle OSC e 38 para HTTP e HTTPS.

Validadores de plug-ins: nossa rodada de plug-ins consiste em um validador rigoroso (rigor 8 de no máximo 10) que altera parâmetros ao acaso, troca layouts de canais e salva e recarrega o estado, mais um verificador cada para VST3 e CLAP e, no macOS, a verificação de Audio Unit. Em uma amostra de 5 plug-ins PSOrvia, os 5 passaram no validador rigoroso.

Testes automáticos de host: um programa de teste carrega plug-ins sem tela em um programa de música real, lê os parâmetros, define um e verifica que ele permanece, e renderiza 2 segundos que não podem estar ausentes nem mudos. Atualmente 3 de 3 casos passam (um plug-in em três formatos).

Quando algo realmente dá errado: um plug-in que travou em seu próprio processo convidado não leva as outras faixas junto; a página "Um plug-in que travou não leva nada junto" descreve isso. Que o som não muda sem ninguém notar é verificado pela página "Verificado bit a bit". Aqui acrescentamos o lado da rede: streams de rádio se reconectam após uma queda com uma pausa crescente e foram testados com streams cortados e travados e informações de faixa danificadas. Um compartilhamento de rede inacessível é um estado, não um erro: o PSOrvia Player tenta de novo com pausas crescentes (5, 15, 30, 60 segundos) e o compartilhamento volta sozinho. Se um programa travar, o Player grava um relatório em um arquivo local; nada é enviado.