Generatore di problemi
Il generatore di problemi è un algoritmo utilizzato per migliorare il processo di apprendimento dell'agente razionale Lo scopo della subroutine consiste nel proporre azioni considerate sub-ottimali allo stato della conoscenza corrente, al fine di esplorare nuove vie ed ampliare la conoscenza dell'ambiente operativo. Può infatti capitare che l'agente razionale tenda a ripetere nel tempo le stesse azioni, quelle giudicate migliori, sulla base della conoscenza e dell'esperienza maturata. L'esclusione delle azioni sub-ottimali preclude il miglioramento della conoscenza e indirettamente la possibilità di trovare azioni ancor più vantaggiose.
Facciamo un esempio pratico. In una determinata situazione l'agente razionale ha 3 scelte (A, B, C) che, sulla base della conoscenza attuale, conducono rispettivamente ai livelli di utilità 5, 7 e 10 nell'istante di tempo t0. In questi casi la razionalità porta l'agente a compiere sempre l'azione C in quanto ottimale e ad escludere le altre due sub-ottimali (A, B). È però errato considerare l'azione C come una scelta ottimale in senso assoluto. L'agente razionale non lavora in regime di informazioni perfette e la sua conoscenza dell'ambiente è limitata. In altri termini l'agente non conosce l'evoluzione delle scelte nell'istante successivo t1 (la seconda colonna della tabella). Come si può facilmente comprendere la scelta A pur essendo sub-ottimale nell'istante t0 conduce ad un livello di utilità attesa nell'istante t1 pari a 12, superiore a quello della scelta razionale C. L'agente razionale non ha però modo di saperlo poiché continua a scegliere "razionalmente" sempre l'azione C. Per acquisire questa conoscenza deve necessariamente rompere gli schemi ed esplorare strade nuove.
In conclusione, in un agente razionale il generatore di problemi ha il compito di proporre all'algoritmo decisionale quelle azioni sub-ottimali altrimenti escluse. Tali azioni saranno prese in considerazione in modo random, di tanto in tanto, al fine di consentire all'algoritmo di apprendimento di acquisire nuove informazioni, arricchire la sua conoscenza dell'ambiente ed indagare sull'esistenza di nuove strategie più efficienti o efficaci per il raggiungimento del proprio obiettivo.
