PSOrvia

← Δυνατότητες

Πώς ελέγχουμε την αξιοπιστία

Δοκιμές fuzz, έλεγχοι μνήμης, επικυρωτές πρόσθετων και περιπτώσεις αποτυχίας: τι ελέγχουμε, πόσο συχνά και τι προέκυψε. Καμία υπόσχεση ότι δεν θα συμβεί ποτέ τίποτα, αλλά αριθμοί με ημερομηνίες.

Framework ΠοιότηταΦιλοξενία

Αφηρημένο γραφικό: ένα ήρεμο πράσινο κύμα ήχου διασχίζει αδιάκοπα το περίγραμμα μιας ασπίδας, μικρές διαταραχές αναπηδούν

Δείχνουμε πώς αναζητούμε προβλήματα και τι προέκυψε. Οι αριθμοί προέρχονται από τα αρχεία καταγραφής των δοκιμών μας.

Κατεστραμμένα και κακόβουλα αρχεία: για τις μορφές που μπορείς να φορτώσεις στο PSOrvia υπάρχουν δοκιμές fuzz. Ένα πρόγραμμα φτιάχνει εκατομμύρια παραμορφωμένες παραλλαγές από έγκυρα δείγματα αρχείων και τις ρίχνει στον αναγνώστη. Υπάρχουν περισσότεροι από 80 τέτοιοι στόχοι δοκιμής: μορφές ήχου, προρυθμίσεις και ρυθμίσεις, γραμματοσειρές, εικόνες, PDF, λίστες αναπαραγωγής, ροές podcast, πληροφορίες κομματιών ραδιοφώνου, απαντήσεις διακομιστών και πρωτόκολλα δικτύου. Συνολικά πέρασαν περισσότερες από 180 εκατομμύρια είσοδοι. Με αυτές βρήκαμε περισσότερα από 10 ελαττώματα, για παράδειγμα έναν ατέρμονο βρόχο από ένα μόνο μηδενικό byte σε αρχείο προρύθμισης και μια υπερχείλιση μνήμης σε αρχείο με υπερβολικά κοντό πεδίο κεφαλίδας. Όλα έχουν διορθωθεί και κάθε εύρημα παραμένει ως αρχείο δοκιμής που αναπαράγεται πρώτο πριν από κάθε νέα εκτέλεση.

Μνήμη και απροσδιόριστη συμπεριφορά: οι δοκιμές εκτελούνται και κάτω από ελεγκτές που αναφέρουν κάθε πρόσβαση στη μνήμη και κάθε απροσδιόριστο υπολογισμό. Στο Linux αυτοί οι έλεγχοι τρέχουν χωρίς σφάλματα: 413 έλεγχοι των ραδιοφωνικών ροών, 70 του πελάτη WebDAV, 78 του ελέγχου OSC και 38 για HTTP και HTTPS.

Επικυρωτές πρόσθετων: ο κύκλος μας για πρόσθετα αποτελείται από έναν αυστηρό επικυρωτή (αυστηρότητα 8 από το πολύ 10) που αλλάζει τυχαία παραμέτρους, εναλλάσσει διατάξεις καναλιών και αποθηκεύει και φορτώνει ξανά την κατάσταση, συν έναν έλεγχο για VST3 και έναν για CLAP και, στο macOS, τον έλεγχο Audio Unit. Σε δείγμα 5 πρόσθετων PSOrvia, και τα 5 πέρασαν τον αυστηρό επικυρωτή.

Αυτόματες δοκιμές host: ένα πρόγραμμα δοκιμής φορτώνει πρόσθετα χωρίς οθόνη σε ένα πραγματικό μουσικό πρόγραμμα, διαβάζει τις παραμέτρους, ορίζει μία και ελέγχει ότι παραμένει, και αποδίδει 2 δευτερόλεπτα που δεν πρέπει να λείπουν ούτε να είναι σιωπή. Αυτή τη στιγμή περνούν 3 από 3 περιπτώσεις (ένα πρόσθετο σε τρεις μορφές).

Όταν κάτι πάει παρ' όλα αυτά στραβά: ένα πρόσθετο που καταρρέει στη δική του διεργασία-επισκέπτη δεν παρασύρει τα άλλα κομμάτια· η σελίδα «Ένα πρόσθετο που καταρρέει δεν παρασύρει τίποτα» το περιγράφει. Ότι ο ήχος δεν αλλάζει απαρατήρητα ελέγχεται από τη σελίδα «Ελεγμένο μέχρι το bit». Εδώ προσθέτουμε την πλευρά του δικτύου: οι ραδιοφωνικές ροές επανασυνδέονται μετά από διακοπή με αυξανόμενη παύση και δοκιμάστηκαν με κομμένες και κολλημένες ροές και κατεστραμμένες πληροφορίες κομματιών. Ένας κοινόχρηστος πόρος δικτύου που δεν είναι προσβάσιμος είναι κατάσταση, όχι σφάλμα: το PSOrvia Player ξαναδοκιμάζει με αυξανόμενες παύσεις (5, 15, 30, 60 δευτερόλεπτα) και ο πόρος επανέρχεται μόνος του. Αν ένα πρόγραμμα καταρρεύσει, το Player γράφει μια αναφορά σε τοπικό αρχείο· δεν στέλνεται τίποτα.