PSOrvia

← Funciones

Cómo comprobamos la fiabilidad

Pruebas de fuzzing, comprobadores de memoria, validadores de plugins y casos de fallo: qué probamos, con qué frecuencia y qué salió. Ninguna promesa de que nunca pase nada, sino cifras con fechas.

Framework CalidadAlojamiento

Gráfico abstracto: una onda sonora verde y tranquila atraviesa sin interrupción el contorno de un escudo, pequeñas perturbaciones rebotan

Mostramos cómo buscamos los problemas y qué salió de ello. Las cifras proceden de nuestros registros de pruebas.

Archivos dañados y maliciosos: para los formatos que puedes cargar en PSOrvia hay pruebas de fuzzing. Un programa construye millones de variantes retorcidas a partir de archivos de muestra válidos y se las lanza al lector. Hay más de 80 objetivos de prueba de este tipo: formatos de audio, presets y ajustes, fuentes, imágenes, PDF, listas de reproducción, feeds de podcast, información de pistas de radio, respuestas de servidores y protocolos de red. En total pasaron más de 180 millones de entradas. Con ellas encontramos más de 10 defectos, por ejemplo un bucle infinito causado por un único byte nulo en un archivo de preset y un desbordamiento de memoria con un archivo cuyo campo de cabecera era demasiado corto. Todos están corregidos y cada hallazgo permanece como archivo de prueba que se reproduce primero antes de cada nueva ejecución.

Memoria y comportamiento indefinido: las pruebas también se ejecutan bajo verificadores que informan de cada acceso a memoria y de cada cálculo indefinido. En Linux estas comprobaciones se ejecutan sin errores: 413 comprobaciones de los streams de radio, 70 del cliente WebDAV, 78 del control OSC y 38 para HTTP y HTTPS.

Validadores de plugins: nuestra ronda de plugins consiste en un validador estricto (rigor 8 de un máximo de 10) que cambia parámetros al azar, alterna disposiciones de canales y guarda y vuelve a cargar el estado, además de un verificador para VST3 y otro para CLAP y, en macOS, la comprobación de Audio Unit. En una muestra de 5 plugins de PSOrvia, los 5 superaron el validador estricto.

Pruebas automáticas de host: un programa de prueba carga plugins sin pantalla en un programa de música real, lee los parámetros, ajusta uno y comprueba que se mantiene, y renderiza 2 segundos que no deben faltar ni estar en silencio. Actualmente se superan 3 de 3 casos (un plugin en tres formatos).

Cuando algo sale mal a pesar de todo: un plugin que falla en su propio proceso invitado no arrastra consigo a las demás pistas; la página «Un plugin que falla no arrastra nada consigo» lo describe. Que el sonido no cambie sin que se note se comprueba en la página «Comprobado al bit». Aquí añadimos el lado de la red: los streams de radio se reconectan tras una interrupción con una pausa creciente y se probaron con streams cortados y detenidos e información de pista dañada. Un recurso compartido de red al que no se puede llegar es un estado, no un error: PSOrvia Player lo reintenta con pausas crecientes (5, 15, 30, 60 segundos) y el recurso vuelve por sí solo. Si un programa falla, el Player escribe un informe en un archivo local; no se envía nada.