PSOrvia

← Функции

Как проверяваме надеждността

Фъз тестове, проверки на паметта, валидатори на плъгини и случаи на отказ: какво тестваме, колко често и какво излезе. Не обещаваме, че нищо не се случва, а даваме числа с дати.

Фреймуърк КачествоХостинг

Абстрактна графика: спокойна зелена звукова вълна преминава непрекъснато през очертание на щит, малки смущения отскачат

Показваме как търсим проблемите и какво излезе от това. Числата идват от нашите протоколи от тестове.

Повредени и злонамерени файлове: за форматите, които можеш да зареждаш в PSOrvia, има fuzz тестове. Програма създава милиони изкривени варианти от валидни примерни файлове и ги подава на четеца. Има повече от 80 такива тестови цели: аудиоформати, пресети и настройки, шрифтове, изображения, PDF, плейлисти, подкаст емисии, информация за песни от радиото, отговори на сървъри и мрежови протоколи. Общо през тях са минали повече от 180 милиона входни данни. С тях открихме повече от 10 дефекта, например безкраен цикъл заради един нулев байт във файл с пресет и препълване на паметта при файл със твърде кратко поле в заглавката. Всички са отстранени и всяка находка остава като тестов файл, който се възпроизвежда пръв преди всяко ново изпълнение.

Памет и недефинирано поведение: тестовете се изпълняват и под проверяващи програми, които отчитат всеки достъп до паметта и всяко недефинирано изчисление. На Linux тези проверки минават без грешки: 413 проверки на радиопотоците, 70 на WebDAV клиента, 78 на управлението с OSC и 38 за HTTP и HTTPS.

Валидатори на плъгини: нашият кръг за плъгини се състои от строг валидатор (строгост 8 от най-много 10), който променя параметри на случаен принцип, превключва конфигурации на каналите, запазва и зарежда отново състоянието, плюс по една проверка за VST3 и CLAP и, на macOS, проверката на Audio Unit. В извадка от 5 плъгина на PSOrvia и 5 са преминали строгия валидатор.

Автоматични тестове с хост: тестова програма зарежда плъгини без екран в истинска музикална програма, чете параметрите, задава един и проверява дали остава, и изчислява 2 секунди, които не трябва да липсват, нито да са тишина. В момента преминават 3 от 3 случая (един плъгин в три формата).

Когато нещо все пак се обърка: срутил се плъгин в собствения си гост процес не повлича другите писти със себе си; страницата „Сринал се плъгин не повлича нищо със себе си“ описва това. Че звукът не се променя незабелязано, се проверява от страницата „Проверено до бита“. Тук добавяме мрежовата страна: радиопотоците се свързват отново след прекъсване със засилваща се пауза и са тествани с прекъснати и забавени потоци и повредена информация за песните. Мрежов дял, който не може да бъде достигнат, е състояние, а не грешка: PSOrvia Player опитва отново със засилващи се паузи (5, 15, 30, 60 секунди) и делът се връща сам. Ако програма се срине, Player записва отчет в локален файл; нищо не се изпраща.