Як ми перевіряємо надійність
Фаззинг-тести, перевірки пам’яті, валідатори плагінів і випадки збоїв: що ми тестуємо, як часто і що з цього вийшло. Не обіцянка, що ніколи нічого не станеться, а числа з датами.

Ми показуємо, як шукаємо проблеми й що з цього вийшло. Числа беруться з наших журналів тестів.
Пошкоджені й зловмисні файли: для форматів, які можна завантажити в PSOrvia, є фаззинг-тести. Програма будує мільйони перекручених варіантів із коректних файлів-зразків і кидає їх у читач. Таких тестових цілей понад 80: аудіоформати, пресети й налаштування, шрифти, зображення, PDF, списки відтворення, подкаст-стрічки, інформація про треки радіо, відповіді серверів і мережеві протоколи. Загалом пройшло понад 180 мільйонів вхідних даних. Ними ми знайшли понад 10 дефектів, наприклад нескінченний цикл через єдиний нульовий байт у файлі пресета та переповнення пам’яті на файлі з надто коротким полем заголовка. Усі виправлено, і кожна знахідка лишається тестовим файлом, який програється першим перед кожним новим запуском.
Пам’ять і невизначена поведінка: тести також виконуються під перевірниками, що повідомляють про кожен доступ до пам’яті та кожне невизначене обчислення. У Linux ці перевірки проходять без помилок: 413 перевірок радіопотоків, 70 клієнта WebDAV, 78 керування OSC і 38 для HTTP і HTTPS.
Валідатори плагінів: наш раунд для плагінів складається зі строгого валідатора (строгість 8 із максимум 10), що випадково змінює параметри, перемикає розкладки каналів і зберігає та знову завантажує стан, а також по одному перевірнику для VST3 і CLAP та, у macOS, перевірки Audio Unit. У вибірці з 5 плагінів PSOrvia всі 5 пройшли строгий валідатор.
Автоматичні тести хостів: тестова програма завантажує плагіни без екрана в справжню музичну програму, зчитує параметри, встановлює один і перевіряє, що він лишається, та рендерить 2 секунди, які не повинні бути ні відсутніми, ні беззвучними. Наразі проходять 3 із 3 випадків (один плагін у трьох форматах).
Коли щось таки йде не так: плагін, що впав у власному гостьовому процесі, не тягне за собою інші доріжки; сторінка «Плагін, що впав, нічого не тягне за собою» це описує. Те, що звук не змінюється непомітно, перевіряє сторінка «Перевірено до біта». Тут ми додаємо мережевий бік: радіопотоки перепідключаються після перерви зі зростаючою паузою й були перевірені з обрізаними й завислими потоками та пошкодженою інформацією про треки. Недоступне мережеве сховище — це стан, а не помилка: PSOrvia Player пробує знову зі зростаючими паузами (5, 15, 30, 60 секунд), і сховище повертається саме. Якщо програма впаде, Player записує звіт у локальний файл; нічого не надсилається.