PSOrvia

← Funkcje

Jak sprawdzamy niezawodność

Testy fuzz, kontrole pamięci, walidatory wtyczek i przypadki awarii: co testujemy, jak często i co z tego wyszło. Żadnej obietnicy, że nigdy nic się nie stanie, za to liczby z datami.

Framework JakośćHostowanie

Grafika abstrakcyjna: spokojna zielona fala dźwiękowa biegnie nieprzerwanie przez zarys tarczy, drobne zakłócenia się odbijają

Pokazujemy, jak szukamy problemów i co z tego wyszło. Liczby pochodzą z naszych dzienników testów.

Uszkodzone i złośliwe pliki: dla formatów, które możesz wczytać do PSOrvia, istnieją testy fuzz. Program buduje z prawidłowych plików przykładowych miliony zniekształconych wariantów i rzuca je na czytnik. Takich celów testowych jest ponad 80: formaty audio, presety i ustawienia, czcionki, obrazy, PDF, playlisty, kanały podcastów, informacje o utworach radiowych, odpowiedzi serwerów i protokoły sieciowe. W sumie przeszło przez nie ponad 180 milionów danych wejściowych. Znaleźliśmy dzięki nim ponad 10 defektów, na przykład nieskończoną pętlę wywołaną pojedynczym bajtem zerowym w pliku presetu i przepełnienie pamięci na pliku ze zbyt krótkim polem nagłówka. Wszystkie są naprawione, a każde znalezisko zostaje jako plik testowy, który przed każdym nowym uruchomieniem jest odtwarzany jako pierwszy.

Pamięć i niezdefiniowane zachowanie: testy działają także pod kontrolą narzędzi, które zgłaszają każdy dostęp do pamięci i każde niezdefiniowane obliczenie. W systemie Linux te kontrole przebiegają bez błędów: 413 kontroli strumieni radiowych, 70 klienta WebDAV, 78 sterowania OSC i 38 dla HTTP i HTTPS.

Walidatory wtyczek: nasza runda wtyczek składa się ze ścisłego walidatora (ścisłość 8 z co najwyżej 10), który losowo zmienia parametry, przełącza układy kanałów oraz zapisuje i ponownie wczytuje stan, a do tego po jednym kontrolerze dla VST3 i CLAP oraz, w macOS, kontroli Audio Unit. W próbie 5 wtyczek PSOrvia wszystkie 5 przeszły ścisły walidator.

Automatyczne testy hosta: program testowy wczytuje wtyczki bez ekranu do prawdziwego programu muzycznego, odczytuje parametry, ustawia jeden i sprawdza, czy się utrzymuje, oraz renderuje 2 sekundy, które nie mogą ani brakować, ani być ciszą. Obecnie przechodzą 3 z 3 przypadków (jedna wtyczka w trzech formatach).

Gdy mimo wszystko coś pójdzie źle: zawieszona wtyczka we własnym procesie gościa nie pociąga za sobą innych ścieżek; opisuje to strona „Zawieszona wtyczka niczego nie pociąga za sobą”. To, że dźwięk nie zmienia się niezauważenie, sprawdza strona „Sprawdzone co do bitu”. Tu dodajemy stronę sieciową: strumienie radiowe łączą się ponownie po przerwie z rosnącą pauzą i zostały przetestowane na przerwanych i zablokowanych strumieniach oraz uszkodzonych informacjach o utworach. Nieosiągalny zasób sieciowy to stan, a nie błąd: PSOrvia Player ponawia próby z rosnącymi pauzami (5, 15, 30, 60 sekund) i zasób wraca samoczynnie. Jeśli program się zawiesi, Player zapisuje raport do lokalnego pliku; nic nie jest wysyłane.