Indipendenza assoluta ( probabilità )
L'indipendenza assoluta tra due o più sottoinsiemi di variabili casuali consente di fattorizzare la distribuzione congiunta completa delle variabili in più distribuzioni di dimensioni inferiori. Date due variabili casuali a e b, la variabile a è indipendente da b se la probabilità condizionata P(a|b) è uguale alla probabilità non condizionata P(a). L'indipendenza tra due proposizioni logiche può essere scritta nel seguente modo:
La fattorizzazione della distribuzione consente di ridurre il volume delle combinazioni da analizzare per enumerazione e, quindi, semplifica il livello di complessità computazionale del problema. Ad esempio date quattro variabili casuali booleane { A, B, C,D } la distribuzione congiunta completa delle probabilità è la seguente:
P(A, B, C, D)
L'enumerazione completa della distribuzione necessita di 24 operazioni. Essendo variabili casuali booleane, ogni variabile può assumere soltanto due valori ( es. zero oppure uno ). La variabile D è indipendente dalle altre se la probabilità condizionata P(D|A, B, C) è uguale alla probabilità non condizionata P(D) su tutti i valori che la variabile D può assumere.
P(D=0|A, B, C)=P(D=0)
P(D=1|A, B, C)=P(D=1)
Essendo la variabile D indipendente dalle altre in ogni valore del suo dominio ( 0,1 ), è possibile riscrivere la distribuzione congiunta delle probabilità nel seguente modo:
P(A, B, C, D) = P(D) · P(A, B, C)
La precedente equazione suddivide la distribuzione congiunta completa della probabilità P(A, B, C, D) in due distribuzioni di dimensione inferiore: P(D) e P(A, B, C). La prima distribuzione P(D) ha una dimensione pari a 2 combinazione, mentre la seconda distribuzione P(A, B, C) ha una dimensione pari a 2^3. La suddivisione della distribuzione consente di ridurre l'enumerazione completa delle combinazioni del problema da 24 a (23+2) ossia da 16 a 10.
Complessità computazionale. La fattorizzazione delle variabili indipendenti consente di ridurre la complessità computazionale dei problemi. La scomposizione in sottoinsiemi indipendenti riduce le combinazioni tra le variabili del problema e, pertanto, l'enumerazione dei casi da analizzare da parte dell'algoritmo. Da ciò consegue un vantaggio sia in termini di tempo ( complessità temporale ) che di spazio di memoria ( complessità spaziale ). Le asserzioni di indipendenza riducono notevolmente la dimensione della rappresentazione di un dominio di conoscenza.
- Indipendenza marginale. L'indipendenza assoluta è anche detta indipendenza marginale della probabilità delle variabili casuali.
Difficoltà a individuare le relazioni di indipendenza. Non è sempre facile individuare le relazioni di indipendenza tra due o più variabili casuali. L'indipendenza tra le variabili può essere individuata da algoritmi ricorsivi su tutte le variabili di un problema ma il processo può diventare molto lungo e complesso, soprattutto se il problema è composto da molte variabili che possono assumere molti valori. Nello studio dei sistemi esperti e dell'inferenza probabilistica, è spesso l'intuito dell'esperto del dominio di conoscenza a individuare il nesso di indipendenza tra due o più variabili di un problema, sulla base dell'esperienza maturata.- Indipendenza condizionale. Si parla di indipendenza condizionale quando l'indipendenza tra due variabili è condizionata da una terza variabile.
