Ο κατάλογος αυτός θα βοηθήσει τους μη επιστήμονες για να εξετάσουν  επιστημονικά άρθρα και να κατανοήσουν τους περιορισμούς των αποδεικτικών στοιχείων.

ΠΗΓΗ: Nature 503, 335?337(21 November 2013) doi:10.1038/503335a
Απόδοση στην ελληνική γλώσσα Κώστας Τάνης

Οι διαφορές και η τύχη  είναι αιτίες μεταβολών.
Ο πραγματικός κόσμος μεταβάλλεται απρόβλεπτα. Επιστήμη είναι ως επί το πλείστον η ανακάλυψη του τι προκαλεί τα πρότυπα που βλέπουμε. Γιατί είναι θερμότερη αυτή η δεκαετία από την προηγούμενη;  Γιατί υπάρχουν περισσότερα πουλιά σε ορισμένες περιοχές από ό, τι σε άλλες;
Υπάρχουν πολλές εξηγήσεις για τις τάσεις αυτές, έτσι ώστε η κύρια πρόκληση της έρευνας είναι να ξεχωρίζουμε την σημαντικότητα της διαδικασίας που επιλέγεται (για παράδειγμα, η επίδραση της κλιματικής αλλαγής στους πληθυσμούς των πτηνών) από τις αναρίθμητες άλλες πηγές μεταβλητότητας (από εκτεταμένες αλλαγές όπως η εντατικοποίηση της γεωργίας και η εξάπλωση των χωροκατακτητικών ειδών, ή από διαδικασίες τοπικής κλίμακας, όπως είναι τα τυχαία γεγονότα που καθορίζουν τις γεννήσεις και τους θανάτους πουλιών).

Καμιά μέτρηση δεν είναι ακριβής.
Σχεδόν όλες οι μετρήσεις έχουν κάποιο λάθος. Εάν η διαδικασία μέτρησης επαναλαμβάνονταν, θα μπορούσε κανείς να καταγράψει ένα διαφορετικό αποτέλεσμα. Σε ορισμένες περιπτώσεις, το σφάλμα της μέτρησης μπορεί να είναι μεγάλο σε σύγκριση με τις πραγματικές διαφορές. Έτσι, αν έχει ειπωθεί ότι η οικονομία αυξήθηκε κατά 0,13% τον περασμένο μήνα, υπάρχει μια καλή πιθανότητα στην πραγματικότητα να έχει συρρικνωθεί. Τα αποτελέσματα θα πρέπει να παρουσιάζονται με ακρίβεια που να υπολογίζει το σχετικό σφάλμα, για να αποφευχθεί κάτι που θα συνεπάγονταν αδικαιολόγητο βαθμό ανακρίβειας.

Η προκατάληψη είναι διαδεδομένη.
Ο πειραματικός σχεδιασμός ή οι συσκευές μέτρησης μπορούν να παράγουν αποτελέσματα προς μια δεδομένη κατεύθυνση. Για παράδειγμα, ο προσδιορισμός της συμπεριφοράς ψήφου, ζητώντας από ανθρώπους στο δρόμο, στο σπίτι ή μέσω του διαδικτύου να απαντήσουν, θα δώσει δείγματα με διαφορετική αναλογία, και μπορεί όλα τα δείγματα να δώσουν διαφορετικά αποτελέσματα. Επειδή στις μελέτες που αναφέρονται ως «στατιστικά σημαντικές» τα αποτελέσματα είναι πιο πιθανό να γραφτούν και να δημοσιευθούν, η επιστημονική βιβλιογραφία τείνει να δίνει υπερβολική εικόνα για το μέγεθος των προβλημάτων ή την αποτελεσματικότητα των προτεινόμενων λύσεων. Να ένα πείραμα που θα μπορούσε να ωθείται από τις προσδοκίες: οι συμμετέχοντες σε μια θεραπεία θα μπορούσαν να υποθέσουν ότι θα βιώσουν μια διαφορά και έτσι θα μπορούσαν να συμπεριφέρονται διαφορετικά ή να αναφέρουν κάποιο αποτέλεσμα. Οι ερευνητές που συλλέγουν τα αποτελέσματα μπορεί να επηρεαστούν από τη γνώση του ποιοί έλαβαν θεραπεία. Το ιδανικό πείραμα είναι διπλά-τυφλό: ούτε οι συμμετέχοντες ούτε εκείνοι που συλλέγουν τα δεδομένα να ξέρουν ποιος έλαβε τι. Αυτό θα μπορούσε να είναι απλό σε δοκιμές φαρμάκων, αλλά είναι αδύνατο για πολλές κοινωνικές μελέτες. Επιβεβαίωση προκατάληψης προκύπτει και όταν οι επιστήμονες βρίσκουν αποδείξεις για μία δημοφιλή θεωρία και στη συνέχεια δεν γίνονται αρκετά κριτικοί στα δικά τους αποτελέσματα, ή παύουν να ψάχνουν για αποδείξεις περί του αντιθέτου.

 

Όσο μεγαλύτερο είναι το μέγεθος του δείγματος, συνήθως τόσο καλύτερα.
Ο μέσος όρος που λαμβάνεται από ένα μεγάλο αριθμό παρατηρήσεων συνήθως θα είναι πιο κατατοπιστικός από τον μέσο όρο που λαμβάνεται από ένα μικρότερο αριθμό παρατηρήσεων.  Δηλαδή, καθώς συσσωρεύονται ενδείξεις, βελτιώνεται η γνώση μας. Αυτό είναι ιδιαίτερα σημαντικό όταν οι μελέτες θολώνουν από σημαντική φυσική διακύμανση και σφάλματα της μέτρησης. Έτσι, η αποτελεσματικότητα μιάς θεραπείας φαρμάκου θα ποικίλει φυσικά μεταξύ των υποκειμένων. Αυτός ο μέσος όρος της αποτελεσματικότητάς της θα είναι πιο αξιόπιστος και η εκτίμηση πιο ακριβής, από μια δοκιμή με δεκάδες χιλιάδες συμμετέχοντες παρά από μία με εκατοντάδες .