PSOrvia

← Features

So prüfen wir Zuverlässigkeit

Fuzz-Tests, Speicherprüfer, Plugin-Validatoren und Fehlerfälle: was wir prüfen, wie oft und was dabei herauskam. Keine Zusage, dass nie etwas passiert, sondern Zahlen mit Datum.

Framework QualitätHosting

Abstrakte Grafik: eine ruhige grüne Wellenform läuft ununterbrochen durch einen Schild-Umriss, kleine Störungen prallen davon ab

Wir zeigen, wie wir danach suchen und was dabei herauskam. Die Zahlen stammen aus unseren Prüfprotokollen.

Beschädigte und böswillige Dateien: Für die Formate, die du in PSOrvia laden kannst, gibt es Fuzz-Tests. Ein Programm baut aus gültigen Beispieldateien Millionen verdrehter Varianten und wirft sie dem Leser vor. Es gibt mehr als 80 solcher Prüfziele: Audioformate, Presets und Einstellungen, Schriften, Bilder, PDF, Playlisten, Podcast-Feeds, Radio-Titelangaben, Serverantworten und Netzwerkprotokolle. Insgesamt liefen mehr als 180 Millionen Eingaben durch. Damit haben wir mehr als 10 Fehler gefunden, zum Beispiel eine Endlosschleife durch ein einzelnes Nullbyte in einer Preset-Datei und einen Speicherüberlauf bei einer Datei mit zu kurzer Kopfangabe. Alle sind behoben, und jeder Fund bleibt als Prüfdatei erhalten, die vor jedem neuen Lauf zuerst abgespielt wird.

Speicher und undefiniertes Verhalten: Die Tests laufen auch unter Prüfern, die jeden Speicherzugriff und jede undefinierte Rechnung melden. Auf Linux laufen diese Prüfungen ohne Fehler: 413 Prüfungen der Radio-Ströme, 70 des WebDAV-Clients, 78 der OSC-Steuerung und 38 für HTTP und HTTPS.

Plugin-Validatoren: Unsere Prüfrunde für Plugins besteht aus einem strengen Validator (Strenge 8 von höchstens 10), der Parameter zufällig verstellt, Kanalbelegungen wechselt und den Zustand sichert und wieder lädt, dazu je einem Prüfer für VST3 und für CLAP und unter macOS der Audio-Unit-Prüfung. In einer Stichprobe von 5 PSOrvia-Plugins bestanden alle 5 den strengen Validator.

Automatische Host-Tests: Ein Prüfprogramm lädt Plugins ohne Bildschirm in ein echtes Musikprogramm, liest die Parameter, setzt einen und prüft, dass er bleibt, und rendert 2 Sekunden, die weder fehlen noch stumm sein dürfen. Aktuell bestehen 3 von 3 Fällen (ein Plugin in drei Formaten).

Wenn doch etwas schiefgeht: Ein abgestürztes Plugin im eigenen Gastprozess reißt die anderen Spuren nicht mit; das beschreibt die Seite „Ein abgestürztes Plugin reißt nichts mit“. Dass sich der Klang dabei nicht unbemerkt ändert, prüft die Seite „Bitgenau geprüft“. Hier ergänzen wir die Netzseite: Radio-Ströme verbinden sich nach einem Abbruch mit wachsender Pause neu und wurden mit abgeschnittenen und hängenden Strömen sowie beschädigten Titelangaben geprüft. Eine Netzfreigabe, die nicht erreichbar ist, ist ein Zustand und kein Fehler: Der PSOrvia Player versucht es mit wachsenden Pausen (5, 15, 30, 60 Sekunden) erneut, und die Freigabe kehrt von selbst zurück. Stürzt ein Programm ab, schreibt der Player einen Bericht in eine lokale Datei; gesendet wird nichts.