RAG Chatbot

Le organizzazioni raccolgono negli anni centinaia o migliaia di documenti: contratti, linee guida, schede prodotto o archivi interni. Ogni ricerca richiede tempo, perché spesso non è chiaro dove si trovi l’informazione rilevante. La conoscenza si distribuisce tra allegati e-mail, file Excel e PDF. Questo diventa rapidamente un problema, soprattutto nell’onboarding di nuovi collaboratori.

I chatbot sono adatti solo in parte a questo scopo. Con più documenti si raggiungono rapidamente i limiti di input, non esiste un accesso permanente ai vostri contenuti e mancano riferimenti alle fonti affidabili. Inoltre, i dati sensibili non dovrebbero finire su server esterni.

Un’applicazione IA dedicata indicizza i vostri documenti una sola volta, risponde alle domande con riferimento alla fonte, può funzionare opzionalmente nella vostra infrastruttura e cresce insieme alla vostra base di conoscenza.

Per questi casi è adatta la Retrieval-Augmented Generation, in breve RAG. Invece di caricare manualmente i documenti o lasciare che il modello indovini, viene costruita una base di conoscenza dedicata, a cui l’IA accede in modo mirato.

In questa demo, un web crawler ha scaricato tutte le schede informative Pensplan. Successivamente, i documenti sono stati indicizzati, suddivisi in sezioni di testo, i cosiddetti chunk, e trasformati in embedding. Gli embedding sono la rappresentazione numerica del testo, con cui si misura la somiglianza semantica. Infine, gli embedding sono stati salvati in un vector store su un server.

Quando un utente pone una domanda, il sistema cerca prima i passaggi pertinenti nei documenti e li fornisce all’IA come contesto. La risposta si basa quindi sulle fonti trovate, invece che sulla libera fantasia del modello.