Stemming
Lo stemming è un processo di trasformazione di una parola dalla forma flessa alla forma radice ( tema o radice linguistica ). Gli algoritmi di stemming sono utilizzati dai motori di ricerca per ampliare il campo dei risultati alle parole con eguale radice alla keyword di ricerca. Ad esempio, la parola "pescatore" viene trasformata nella sua forma radice a tema "pesca". L'algoritmo di stemming consente di ampliare i risultati di ricerca includendo parole chiave simili, altrimenti escluse dalla selezione. In un search engine il processo di stemming elabora le parole di una ricerca ( query ) e riconduce ogni termine alla sua radice equivalente ( tema o radice linguistica ).
Ciò consente di ampliare i record selezionati, includendo anche i termini che non sono esattamente uguali alla chiave della ricerca. Il primo algoritmo di stemming viene sviluppato nel 1968 da Julie Beth Lovins. Nel 1980, dopo diversi miglioramenti, l'algoritmo di stemming ottiene una versione standard per la lingua inglese con l'algoritmo di Martin Porter.
Differenza tra lemma e tema. Spesso lo stemming viene considerato simile alla funzione asterisco * dei linguaggi di programmazione. In realtà, il processo di riduzione alla radice non è sempre così semplice. Nel linguaggio naturale le parole potrebbero avere una radice tematica diversa dalla radice morfologica (lemma). Il tema di una parola non corrisponde sempre alla sua radice morfologica, ossia al lemma della parola. Ad esempio, la radice morfologica di "andare" e di "andato" è "and" (lemma) ma quest'ultima non è utilizzabile come radice tematica (tema) delle due parole. Inoltre, due parole con medesima radice tematica (tema) potrebbero anche avere due radici morfologiche (lemmi) diverse. Ad esempio, il termine "ciclismo" è correlato al termine "bicicletta", i due termini hanno lo stesso tema pur avendo un lemma differente. Lo stesso può dirsi per "scultura" e "statua", per "pittura" e "quadro" o "dipingere".
- Esempio di stemming. Lo stemming è utilizzato nei motori di ricerca per ridurre le parole dalla forma flessa alla forma radice, al fine di espandere i risultati di un'interrogazione ( query ) in un database oltre i casi di uguaglianza letterale. Ad esempio, in una ricerca letterale la query per il termine "bicicletta" consente di estrarre tutti i record di un database che contengono esattamente la parola cercata, ossia "bicicletta" ( singolare ). La ricerca letterale non seleziona le varianti o il plurale. Viceversa, una ricerca estesa con la tecnica stemming consente all'algoritmo di trasformare la parola estesa ( "bicicletta" ) nella radice o nella primitiva semantica che, a sua volta, è associata anche alla forma plurale ( "biciclette" ) , ai sinonimi e alle parole correlate o simili ( "ciclismo", "velocipede", ecc. ), ai diminutivi ( "biciclettina" ), ecc. Una volta ottenuta la parola radice, detta tema, viene effettuata la selezione dei dati sulla base di quest'ultima. Ciò consente di estrapolare tutti i record che contengono la parola radice.
- Applicazioni e usi. Lo stemming è utilizzato nei search engine, nella progettazione informatica degli algoritmi di ricerca ( Information Retrieval, IR ), nell'intelligenza artificiale e nell'elaborazione del linguaggio naturale.
