Comment nous testons la fiabilité
Tests de fuzzing, vérificateurs de mémoire, validateurs de plug-ins et cas de panne : ce que nous testons, à quelle fréquence et ce qui en est sorti. Aucune promesse que rien n'arrive jamais, mais des chiffres datés.
Framework QualitéHébergement

Nous montrons comment nous cherchons les problèmes et ce qui en est ressorti. Les chiffres proviennent de nos journaux de tests.
Fichiers endommagés et malveillants : pour les formats que tu peux charger dans PSOrvia, il existe des tests de fuzzing. Un programme fabrique des millions de variantes tordues à partir de fichiers d'exemple valides et les jette sur le lecteur. Il y a plus de 80 cibles de test de ce genre : formats audio, préréglages et réglages, polices, images, PDF, listes de lecture, flux de podcast, informations de titres de radio, réponses de serveurs et protocoles réseau. Au total, plus de 180 millions d'entrées sont passées. Nous y avons trouvé plus de 10 défauts, par exemple une boucle infinie provoquée par un seul octet nul dans un fichier de préréglage et un débordement de mémoire sur un fichier dont le champ d'en-tête était trop court. Tous sont corrigés, et chaque trouvaille reste sous forme de fichier de test rejoué en premier avant chaque nouvelle exécution.
Mémoire et comportement indéfini : les tests s'exécutent aussi sous des vérificateurs qui signalent chaque accès mémoire et chaque calcul indéfini. Sous Linux, ces contrôles s'exécutent sans erreur : 413 contrôles des flux radio, 70 du client WebDAV, 78 de la commande OSC et 38 pour HTTP et HTTPS.
Validateurs de plug-ins : notre tour de plug-ins se compose d'un validateur strict (rigueur 8 sur 10 au maximum) qui modifie des paramètres au hasard, change les dispositions de canaux, enregistre et recharge l'état, plus un contrôleur chacun pour VST3 et CLAP et, sous macOS, le contrôle Audio Unit. Dans un échantillon de 5 plug-ins PSOrvia, les 5 ont réussi le validateur strict.
Tests automatiques d'hôte : un programme de test charge des plug-ins sans écran dans un vrai logiciel de musique, lit les paramètres, en règle un et vérifie qu'il reste, et rend 2 secondes qui ne doivent être ni absentes ni silencieuses. Actuellement, 3 cas sur 3 réussissent (un plug-in en trois formats).
Quand quelque chose tourne malgré tout mal : un plug-in planté dans son propre processus invité n'entraîne pas les autres pistes ; la page « Un plug-in planté n'entraîne rien dans sa chute le décrit. Que le son ne change pas à notre insu est vérifié par la page « Vérifié au bit près . Ici, nous ajoutons le côté réseau : les flux radio se reconnectent après une coupure avec une pause croissante et ont été testés avec des flux coupés et bloqués et des informations de titres endommagées. Un partage réseau inaccessible est un état, pas une erreur : PSOrvia Player réessaie avec des pauses croissantes (5, 15, 30, 60 secondes) et le partage revient de lui-même. Si un programme plante, le Player écrit un rapport dans un fichier local ; rien n'est envoyé.