Κατανομή πιθανότητας

Στην θεωρία πιθανοτήτων και στην στατιστική, η κατανομή πιθανοτήτων αποδίδει την πιθανότητα σε κάθε μετρήσιμο υποσύνολο των πιθανών αποτελεσμάτων του τυχαίου πειράματος, της έρευνας, ή την διαδικασία της επαγωγικής στατιστικής. Παραδείγματα αποτελούν τα πειράματα των οποίων ο δειγματικός χώρος είναι μη-αριθμητικός, όπου η κατανομή θα είναι μια κατηγορική κατανομή. Πειράματα των οποίων ο δειγματικός χώρος αποτελείται από διακριτές τυχαίες μεταβλητές, όπου η κατανομή μπορεί να καθορίζεται από μια συνάρτηση συσσωρευμένης πιθανότητας. Τα πειράματα με δειγματικούς χώρους κωδικοποιούνται από συνεχείς τυχαίες μεταβλητές, όπου η κατανομή μπορεί να καθορίζεται από μια συνάρτηση πυκνότητας πιθανότητας. Πιο πολύπλοκα πειράματα, όπως εκείνα που αφορούν στοχαστικές διαδικασίες που ορίζονται σε συνεχή χρόνο, μπορεί να απαιτήσει τη χρήση των πιο γενικών μέτρων πιθανότητας.

Μία κατανομή πιθανοτήτων μπορεί να οριστεί με τους εξής τρόπους:

Παρέχοντας μία (έγκυρη) συνάρτηση μάζας πιθανότητας (ή αλλιώς συνάρτηση πυκνότητας πιθανότητας)
Παρέχοντας μία αθροιστικής συνάρτησης συνάρτηση κατανομής
Παρέχοντας μία συνάρτησης κινδύνου
Παρέχοντας μία χαρακτηριστικής συνάρτησης
Παρέχοντας έναν κανόνα για την κατασκευή μιας νέας τυχαίας μεταβλητής από άλλες τυχαίες μεταβλητές των οποίων η κατανομή είναι γνωστή.

Η κατανομή πιθανοτήτων μπορεί να είναι είτε μονομεταβλητή είτε πολυμεταβλητή. Μία μονομεταβλητή κατανομή δίνει τις πιθανότητες για κάθε δυνατή τιμή μίας τυχαίας μεταβλητής. Μία πολυμεταβλητή κατανομή δίνει τις πιθανότητες για κάθε δυνατή τιμή ενός τυχαίου διανύσματος, που περιλαμβάνει δύο ή περισσότερες τυχαίες μεταβλητές.

Γνωστές μονομεταβλητές κατανομές είναι η διωνυμική κατανομή, η εκθετική κατανομή και η κανονική κατανομή. Η πολυμεταβλητή κανονική κατανομή είναι μια συχνά απαντώμενη πολυμεταβλητή κατανομή.

Εισαγωγή

Οι μεταβλητές διακρίνονται σε ποιοτικές (ή κατηγορικές) οι οποίες παίρνουν τιμές που δεν είναι αριθμοί και στις ποσοτικές που οι τιμές που παίρνουν είναι αριθμοί, και περεταίρω διακρίνονται σε διακριτές και συνεχείς. Για παράδειγμα, το αποτέλεσμα του στριψίματος ενός νομίσματος είναι το σύνολο $\Omega =\{$ κορώνα, γράμματα $\}$ (άρα κατηγορική), η μέτρηση του ύψους σε εκατοστά είναι διακριτή, και η μέτρηση της θερμοκρασίας σε θερμόμετρο είναι συνεχής.

Για να ορίσουμε τις κατανομές πιθανοτήτων για τις απλές περιπτώσεις, πρέπει να γίνει διάκριση μεταξύ διακριτών και συνεχών τυχαίων μεταβλητών. Στην διακριτές μεταβλητές, μπορούμε να αναθέσουμε μια πιθανότητα σε κάθε δυνατή τιμή: για παράδειγμα, όταν ρίχνουμε ένα αμερόληπτο ζάρι, κάθε μία από τις έξι τιμές $1$ έως $6$ έχει την πιθανότητα $1/6$ . Στις συνεχείς μεταβλητές οι τιμές που μπορούν να πάρουν είναι οποιεσδήποτε τιμές που μπορεί να υπάρχουν σε ένα διάστημα $[a,b]$ όπου $a,b$ ανήκουν στους πραγματικούς αριθμούς. Επίσης σε μια συνεχή μεταβλητή οι πιθανότητες είναι μη-μηδενικές μόνο εάν αναφέρονται σε χρονικά διαστήματα. Για παράδειγμα, η πιθανότητα ο δείκτης του θερμομέτρου να είναι ακριβώς $31.1$ είναι 0.

Ορολογία

Επειδή η θεωρία πιθανοτήτων και η στατιστική εφαρμόζονται σε αρκετούς διαφορετικούς τομείς, η ορολογία δεν είναι ενιαία και μερικές φορές προκαλεί σύγχυση. Οι ακόλουθοι όροι χρησιμοποιούνται σχετικά με κατανομές πιθανότητας:

Συνάρτηση μάζα πιθανότητας (σ.μ.π.): για διακριτές τυχαίες μεταβλητές.
Κατηγορική κατανομή: για διακριτές τυχαίες μεταβλητές με πεπερασμένο σύνολο τιμών.
Συνάρτηση πυκνότητας (σ.π.) : κυρίως χρησιμοποιείται για συνεχείς μεταβλητές.

Οι ακόλουθοι όροι είναι κάπως ασαφείς, δεδομένου ότι μπορεί να αναφέρεται σε αθροιστικές και μη αθροιστικές κατανομές, ανάλογα με τις προτιμήσεις του συγγραφέα:

Συνάρτηση κατανομής πιθανότητας: συνεχής ή διακριτή, αθροιστική και μη αθροιστική.
Συνάρτηση πιθανότητας: ακόμα πιο διφορούμενη, μπορεί να σημαίνει οποιοδήποτε από τα παραπάνω ή άλλα πράγματα.

Τέλος,

Κατανομή πιθανότητας: μερικές φορές είναι το ίδιο με την συνάρτηση κατανομής πιθανότητας, αλλά συνήθως αναφέρεται στην πληρέστερη απόδοση πιθανοτήτων σε όλα τα μετρήσιμα υποσύνολα των αποτελεσμάτων, όχι μόνο σε συγκεκριμένα αποτελέσματα ή περιοχές των αποτελεσμάτων.

Αθροιστική συνάρτηση κατανομής

Επειδή μια κατανομή πιθανότητας $\Pr$ στην πραγματική γραμμή προσδιορίζεται από την πιθανότητα της τυχαίας μεταβλητής $X$ σε ημι-ανοικτό διάστημα $(-\infty ,x]$ , η κατανομή πιθανοτήτων που χαρακτηρίζονται από αθροιστική συνάρτηση κατανομής της είναι:

F(x)=\Pr \left[X\leq x\right]

, για όλα τα

x\in \mathbb {R}

.

Διακριτή κατανομή πιθανότητας

Μια διακριτή κατανομή πιθανότητας είναι μια κατανομή πιθανοτήτων που παίρνει τιμές σε ένα πεπερασμένο ή αριθμήσιμο σύνολο $S$ . Η συνάρτηση πιθανότητας $p_{X}:S\to [0,1]$ ορίζεται ως:

p_{X}(x)=\Pr(X=x)

.

Η πιθανότητα κάθε γεγονότος $\{X\in E\}$ (για $E\subseteq S$ ) δίνεται από το άθροισμα:

\Pr(X\in E)=\sum _{x\in E}\Pr(X=x)=\sum _{x\in E}p_{X}(x)

.

Επιπλέον, η συνάρτηση ικανοποιεί:

\sum _{x\in S}\Pr(X=x)=\sum _{x\in S}p_{X}(x)=1.

Ο αριθμός των δυνατών τιμών της $X$ μπορεί να είναι άπειρος, αρκεί οι πιθανότητες να τίνουν στο $0$ αρκετά γρήγορα ώστε το άθροισμα να είναι $1$ . Για παράδειγμα, εάν $p_{X}(n)={\tfrac {1}{2^{n}}}$ για $n=1,2,\ldots$ τότε έχουμε το άθροισμα των πιθανοτήτων είναι

p_{X}(1)+p_{X}(2)+\ldots ={\frac {1}{2}}+{\frac {1}{4}}+{\frac {1}{8}}+\ldots =1,

ως άθροισμα γεωμετρικής σειράς.

Στην στατιστική, οι πιο συνήθεις κατανομές που χρησιμοποιούνται για μοντελοποίηση περιλαμβάνουν την κατανομή Πουασσόν, την κατανομή Μπερνούλλι, την διωνυμική κατανομή, την γεωμετρική κατανομή, και την αρνητική διωνυμική κατανομή. Επιπλέον, η διακριτή ομοιόμορφη κατανομή χρησιμοποιείται συνήθως σε προγράμματα ηλεκτρονικών υπολογιστών για να προσομοιώσουν διάφορα φαινόμενα και να παράξουν δείγματα από διάφορες άλλες κατανομές πιαθνότητας.

Συνεχής κατανομή πιθανότητας

Μια συνεχής κατανομή πιθανότητας είναι μια κατανομή πιθανοτήτων που έχει συνάρτηση πυκνότητας πιθανότητας. Πολλοί μαθηματικοί αποκαλούν, επίσης, μια τέτοια διανομή απόλυτα συνεχής, δεδομένου ότι αθροιστική συνάρτηση κατανομής της είναι απολύτως συνεχής σε σχέση με το μέτρο λ Lebesgue. Αν η κατανομή του $X$ είναι συνεχής, τότε το Χ ονομάζεται συνεχής τυχαία μεταβλητή. Υπάρχουν πολλά παραδείγματα με συνεχή κατανομή πιθανότητας όπως: η κανονική, η ομοιόμορφη, η εκθετική, και άλλες.

Διαισθητικά, μία συνεχής τυχαία μεταβλητή είναι εκείνη η οποία μπορεί να λάβει μια συνεχή σειρά από τιμές, σε αντίθεση με μια διακριτή κατανομή, όπου το σύνολο των πιθανών τιμών για την τυχαία μεταβλητή είναι υπολογίσιμο. Ενώ για μια διακριτή κατανομή ένα γεγονός με πιθανότητα μηδέν είναι αδύνατο (π.χ., να φέρεις 3½ σε ένα αμερόληπτο ζάρι είναι αδύνατο, και έχει πιθανότητα μηδέν),στην περίπτωση της συνεχούς τυχαίας μεταβλητής αυτό δεν συμβαίνει .Για παράδειγμα, εάν κάποιος μετρά το πλάτος ενός φύλλου δρυός, το αποτέλεσμα της 3½ εκατοστά είναι δυνατόν να συμβεί. Ωστόσο, έχει πιθανότητα μηδέν επειδή υπάρχουν πολλές άλλες πιθανές τιμές, ακόμη και μεταξύ 3 cm και 4 cm. Κάθε ένα από αυτά τα επιμέρους αποτελέσματα έχει μηδενική πιθανότητα, αλλά η πιθανότητα ότι το αποτέλεσμα θα ανήκει στο διάστημα (3 εκατοστών, 4 εκατοστά) είναι μη μηδενική. Αυτό το φαινομενικά παράδοξο λύνεται από το γεγονός ότι η πιθανότητα του Χ αποκτά κάποια τιμή μέσα σε ένα άπειρο σύνολο. Επισήμως, κάθε πιθανή τιμή έχει μια απειροελάχιστη πιθανότητα, η οποία στατιστικά είναι ισοδύναμη με το μηδέν.

Επισήμως, εάν το Χ είναι μια συνεχής τυχαία μεταβλητή, τότε έχει μια ƒ συνάρτηση πυκνότητας πιθανότητας (x), και ως εκ τούτου την πιθανότητα να ανήκουν σε ένα δεδομένο χρονικό διάστημα, ας πούμε [a, b] δίνεται από το ολοκλήρωμα

\Pr[a\leq X\leq b]=\int _{a}^{b}f(x)\,dx

Ειδικότερα, η πιθανότητα για το Χ να λάβει μια συγκεκριμένη τιμή (δηλαδή a ≤ X ≤ a) είναι μηδέν, επειδή η πιθανότητα να συμπίπτουν τα άνω και τα κάτω όρια είναι πάντοτε ίση με μηδέν.

Ο ορισμός αναφέρει ότι μια συνεχής κατανομή πιθανοτήτων πρέπει να έχει πυκνότητα, ή ισοδύναμα την αθροιστική συνάρτηση κατανομής της απολύτως συνεχής. Η απαίτηση αυτή είναι ισχυρότερη από απλή συνέχεια της αθροιστική συνάρτηση κατανομής, και υπάρχει μια ειδική κατηγορία των κατανομών που δεν είναι ούτε συνεχής ούτε διακριτές ούτε ένα μίγμα από αυτά. Ένα παράδειγμα δίνεται από την κατανομή Cantor. Τέτοιες όμως ποτέ δεν συναντώνται στην πράξη.

Σημείωση σχετικά με την ορολογία: κάποιοι συγγραφείς χρησιμοποιούν τον όρο «συνεχής διανομή" για να υποδηλώσουν τη διανομή με συνεχή αθροιστική συνάρτηση κατανομής.

Μια σύμβαση αναφέρει ότι μια κατανομή πιθανοτήτων μ λέγεται συνεχής αν η αθροιστική συνάρτηση κατανομής F (x) του = μ(- ∞, x] είναι συνεχής και, ως εκ τούτου, το μέτρο της πιθανότητας μ{x}=0 για κάθε x.

Μια άλλη σύμβαση διατηρεί το όρο συνεχή κατανομή πιθανότητας για απολύτως συνεχείς κατανομές. Αυτές οι κατανομές μπορούν να χαρακτηρίζονται από μια συνάρτηση πυκνότητας πιθανότητας: μια μη-αρνητική Lebesgue συνάρτηση f που ορίζεται επί των πραγματικών αριθμών τέτοια ώστε

F(x)=\mu (-\infty ,x]=\int _{-\infty }^{x}f(t)\,dt.

Παραπομπές

B. S. Everitt: The Cambridge Dictionary of Statistics, Cambridge University Press, Cambridge (3rd edition, 2006). ISBN 0-521-69027-7

Bishop: Pattern Recognition and Machine Learning, Springer, ISBN 0-387-31073-8

den Dekker A. J., Sijbers J., (2014) "Data distributions in magnetic resonance images: a review", Physica Medica

Εξωτερικοί σύνδεσμοι

Hazewinkel, Michiel, ed. (2001), "Probability distribution", Encyclopedia of Mathematics, Springer, ISBN 978-1-55608-010-4