Güvenilirliği nasıl test ediyoruz
Fuzz testleri, bellek denetleyicileri, eklenti doğrulayıcıları ve hata durumları: neyi, ne sıklıkta test ediyoruz ve ne çıktı. Hiçbir şeyin asla olmayacağı sözü değil, tarihli sayılar.
Çerçeve KaliteBarındırma

Sorunları nasıl aradığımızı ve bundan ne çıktığını gösteriyoruz. Sayılar test günlüklerimizden gelir.
Hasarlı ve kötü niyetli dosyalar: PSOrvia'ya yükleyebileceğin biçimler için fuzz testleri vardır. Bir program geçerli örnek dosyalardan milyonlarca bükülmüş varyant üretir ve okuyucuya fırlatır. Bu türden 80'den fazla test hedefi vardır: ses biçimleri, presetler ve ayarlar, yazı tipleri, görüntüler, PDF, çalma listeleri, podcast akışları, radyo parça bilgisi, sunucu yanıtları ve ağ protokolleri. Toplamda 180 milyondan fazla girdi geçti. Bunlarla 10'dan fazla kusur bulduk; örneğin bir preset dosyasındaki tek bir null baytının yol açtığı sonsuz döngü ve çok kısa bir başlık alanına sahip bir dosyada bellek taşması. Hepsi düzeltildi ve her bulgu, her yeni çalıştırmadan önce ilk olarak yeniden oynatılan bir test dosyası olarak kalır.
Bellek ve tanımsız davranış: testler ayrıca her bellek erişimini ve her tanımsız hesabı bildiren denetleyiciler altında da çalışır. Linux'ta bu denetimler hatasız çalışır: radyo akışlarının 413, WebDAV istemcisinin 70, OSC kumandasının 78 ve HTTP ile HTTPS için 38 denetimi.
Eklenti doğrulayıcıları: eklenti turumuz, parametreleri rastgele değiştiren, kanal düzenlerini değiştiren ve durumu kaydedip yeniden yükleyen katı bir doğrulayıcıdan (en fazla 10 üzerinden 8 katılık), ayrıca VST3 ve CLAP için birer denetleyiciden ve macOS'ta Audio Unit denetiminden oluşur. 5 PSOrvia eklentisinden oluşan bir örnekte 5'i de katı doğrulayıcıyı geçti.
Otomatik ana uygulama testleri: bir test programı eklentileri ekransız olarak gerçek bir müzik programına yükler, parametreleri okur, birini ayarlar ve kaldığını denetler, ve eksik ya da sessiz olmaması gereken 2 saniyeyi işler. Şu an 3 durumun 3'ü geçiyor (üç biçimde bir eklenti).
Bir şeyler ters gittiğinde: kendi konuk işleminde çöken bir eklenti diğer kanalları beraberinde götürmez; bunu "Çöken bir eklenti hiçbir şeyi beraberinde götürmez" sayfası anlatır. Sesin fark edilmeden değişmediği "Bit düzeyinde denetlenir" sayfasında denetlenir. Burada ağ tarafını ekliyoruz: radyo akışları kesintiden sonra büyüyen bir beklemeyle yeniden bağlanır ve kesilmiş ve takılmış akışlarla, hasarlı parça bilgisiyle test edildi. Ulaşılamayan bir ağ paylaşımı bir hata değil, bir durumdur: PSOrvia Player büyüyen beklemelerle (5, 15, 30, 60 saniye) yeniden dener ve paylaşım kendiliğinden geri gelir. Bir program çökerse Player yerel bir dosyaya bir rapor yazar; hiçbir şey gönderilmez.