PSOrvia

← Fitur

Cara kami menguji keandalan

Fuzz test, pemeriksa memori, validator plug-in, dan kasus kegagalan: apa yang kami uji, seberapa sering, dan apa hasilnya. Bukan janji bahwa tidak akan pernah terjadi apa-apa, melainkan angka dengan tanggal.

Framework KualitasHosting

Grafik abstrak: bentuk gelombang hijau yang tenang berjalan tanpa putus melalui garis tepi perisai, gangguan kecil memantul

Kami menunjukkan bagaimana kami mencari masalah dan apa hasilnya. Angka-angkanya berasal dari log pengujian kami.

File rusak dan berbahaya: untuk format yang dapat kamu muat ke PSOrvia ada fuzz test. Sebuah program membuat jutaan varian yang dipelintir dari file sampel yang valid dan melemparkannya ke pembaca. Ada lebih dari 80 target uji semacam itu: format audio, preset dan pengaturan, font, gambar, PDF, daftar putar, feed podcast, informasi trek radio, balasan server, dan protokol jaringan. Secara total lebih dari 180 juta input telah diproses. Dengannya kami menemukan lebih dari 10 cacat, misalnya perulangan tanpa akhir akibat satu byte null di file preset dan luapan memori pada file dengan bidang header yang terlalu pendek. Semuanya sudah diperbaiki, dan setiap temuan tetap tersimpan sebagai file uji yang diputar ulang lebih dulu sebelum setiap jalan baru.

Memori dan perilaku tak terdefinisi: pengujian juga berjalan di bawah pemeriksa yang melaporkan setiap akses memori dan setiap perhitungan tak terdefinisi. Di Linux pemeriksaan ini berjalan tanpa galat: 413 pemeriksaan untuk stream radio, 70 untuk klien WebDAV, 78 untuk kendali OSC, dan 38 untuk HTTP dan HTTPS.

Validator plug-in: putaran plug-in kami terdiri atas validator ketat (tingkat ketatan 8 dari maksimum 10) yang mengubah parameter secara acak, mengganti tata letak kanal, serta menyimpan dan memuat ulang status, ditambah satu pemeriksa masing-masing untuk VST3 dan CLAP dan, di macOS, pemeriksaan Audio Unit. Pada sampel 5 plug-in PSOrvia, semua 5 lulus validator ketat.

Pengujian host otomatis: sebuah program uji memuat plug-in tanpa layar ke dalam program musik sungguhan, membaca parameter, mengatur satu dan memeriksa bahwa nilainya bertahan, serta merender 2 detik yang tidak boleh hilang maupun hening. Saat ini 3 dari 3 kasus lulus (satu plug-in dalam tiga format).

Ketika sesuatu memang salah: plug-in yang crash dalam proses tamunya sendiri tidak membawa trek lain bersamanya; halaman "Plug-in yang crash tidak membawa apa pun bersamanya" menjelaskannya. Bahwa suara tidak berubah tanpa disadari diperiksa oleh halaman "Diperiksa bit demi bit". Di sini kami menambahkan sisi jaringan: stream radio tersambung kembali setelah terputus dengan jeda yang makin panjang dan diuji dengan stream yang terpotong dan tersendat serta informasi trek yang rusak. Berbagi jaringan yang tidak dapat dijangkau adalah sebuah keadaan, bukan galat: PSOrvia Player mencoba lagi dengan jeda yang makin panjang (5, 15, 30, 60 detik) dan berbagi itu kembali dengan sendirinya. Jika sebuah program crash, Player menulis laporan ke file lokal; tidak ada yang dikirim.