IA locale in azienda: cosa può fare e cosa richiede

Molte aziende si interessano all'IA, ma appena entrano in gioco documenti interni, dati dei clienti o processi aziendali sensibili, la domanda diventa molto concreta: questi dati possono e devono davvero essere trasmessi a fornitori esterni?

È proprio qui che l'IA locale diventa interessante. Non perché sia automaticamente migliore. Ma perché offre alle aziende più controllo su dati, modelli e workflow interni. L'IA locale non è un sostituto magico di ChatGPT, ma un'infrastruttura controllata per workflow interni concreti.

Cosa significa davvero IA locale

IA locale significa che un modello di intelligenza artificiale viene eseguito su un'infrastruttura propria o controllata. Può trattarsi di una workstation potente, di un server interno o di un ambiente server professionale. Gli input non vengono inviati automaticamente a un fornitore esterno.

Nella maggior parte dei casi aziendali non si tratta di addestrare un modello da zero. Sarebbe costoso, richiederebbe molti dati e per molte aziende non sarebbe necessario. Di solito si parla di inference: un modello già addestrato viene eseguito localmente e utilizzato per nuovi input.

Un termine importante è Open-Weight Model. Nel linguaggio comune si parla spesso di modelli open-source. Più precisamente, i pesi del modello sono disponibili, ma non sempre lo sono i dati di addestramento, il codice di training e tutti i dettagli dello sviluppo. Esempi sono Llama, Mistral, Qwen, Gemma o i modelli DeepSeek. Prima dell'uso produttivo bisogna comunque verificare licenza, origine dei dati e ambito di utilizzo. (Qwen),(Mistral),(Llama)

Protezione dei dati garantita

Il motivo più frequente per cui le aziende valutano l'IA locale è la protezione dei dati. Questa preoccupazione è giustificata, soprattutto quando vengono elaborati contratti, documenti del personale, dati dei clienti o listini prezzi interni.

L'esecuzione locale può aiutare perché i dati non lasciano automaticamente l'azienda. Prompt, documenti, risultati intermedi e log possono rimanere internamente. Questo riduce la dipendenza da fornitori esterni e garantisce sovranità sui dati.

Cosa richiede tecnicamente un setup LLM locale

Un modello linguistico locale ha bisogno prima di tutto di hardware. Non conta solo la potenza di calcolo generale, ma soprattutto la memoria. Nelle schede grafiche è importante la VRAM, cioè la memoria direttamente disponibile sulla GPU. I modelli più grandi richiedono più VRAM. I modelli più piccoli o quantizzati possono funzionare su hardware molto più accessibile.

Quantizzazione significa, in modo semplificato, che i numeri del modello vengono memorizzati in forma più compatta. Il modello richiede quindi meno memoria e può essere eseguito su hardware economicamente più realistico. La qualità può diminuire leggermente, ma per molte attività interne un modello più piccolo scelto bene è sufficiente.

Serve poi un ambiente di esecuzione. Per i primi test, Ollama è molto diffuso perché permette di avviare modelli locali in modo relativamente rapido e supporta l'accelerazione GPU su diverse piattaforme.

Per applicazioni aziendali reali entra quasi sempre in gioco anche RAG, abbreviazione di Retrieval-Augmented Generation. In questo caso il modello non risponde solo sulla base del suo addestramento generale, ma riceve prima informazioni rilevanti da una base di conoscenza selezionata, per esempio PDF interni, manuali, linee guida o dati di prodotto.

Un buon setup locale è quindi composto da più elementi: hardware, modello, ambiente di esecuzione, interfaccia utente o applicazione interna, elaborazione dei documenti, indice di ricerca, controllo degli accessi, logging, aggiornamenti e controllo qualità.

Tre livelli di sviluppo sensati

L'infrastruttura corretta non dipende solo dalla dimensione dell'azienda. Dipende soprattutto dal profilo di utilizzo. Un'azienda con 20 collaboratori e migliaia di documenti al giorno può richiedere più infrastruttura IA di un'azienda con 150 collaboratori che usa l'IA solo occasionalmente.

Livello 1: Uso privato e piccoli team

Questo livello è adatto ai primi test e a singoli team. Le attività tipiche sono chat locali, semplici sintesi, primi test con documenti interni o piccole automazioni.

L'hardware può essere un laptop potente, un Mac con sufficiente Unified Memory, un mini-PC o una workstation con GPU. In pratica si usano di solito modelli piccoli o medi, circa 7B fino a 14B parametri in forma quantizzata. Un PC con 32 fino a 64 GB di RAM e 12 fino a 16 GB di VRAM può già essere utile per questi test.

Il costo indicativo va da 0 a 2.500 euro, se si utilizza hardware esistente o lo si amplia moderatamente. Questo livello è utile per imparare, ma non è ancora un'infrastruttura aziendale affidabile.

Livello 2: Piccola o media impresa con workflow concreto

Questo livello diventa interessante quando un team lavora regolarmente con documenti sensibili. Esempi sono uno studio di consulenza fiscale, uno studio tecnico, un team HR o un servizio clienti con molte richieste ricorrenti.

Qui un singolo computer di test spesso non basta più. Ha più senso una workstation dedicata o un piccolo server con GPU potente, 64 fino a 128 GB di RAM e gestione utenti. Esempi sarebbero una workstation con RTX 4090 (24 GB VRAM) o RTX 5090 (32 GB VRAM), a seconda di disponibilità, budget e compatibilità software.

I costi sono indicativamente tra 4.000 e 15.000 euro per l'hardware, senza integrazione, manutenzione e progettazione del processo. Questo livello è adatto per ricerca nella conoscenza interna, analisi documentale, bozze di e-mail o sistemi di assistenza.

Livello 3: Azienda più grande o requisiti elevati

Nelle aziende più grandi non si tratta più solo di far funzionare un modello da qualche parte. Si tratta di operatività. Più reparti, utenti paralleli, carico più elevato, gestione centrale dei diritti, monitoring, audit log, strategie di backup e responsabilità chiare diventano importanti.

Qui entrano in gioco server GPU professionali, più schede grafiche o GPU da workstation con molta memoria. Una NVIDIA RTX PRO 6000 Blackwell, per esempio, offre 96 GB di memoria GDDR7 ed è pensata per workstation professionali e carichi di lavoro IA. Sistemi di questo tipo non sono pensati per un test informale, ma per infrastruttura produttiva.

Il costo indicativo parte da circa 25.000 euro e può superare chiaramente i 100.000 euro quando si aggiungono alta disponibilità, più GPU, manutenzione, integrazione e requisiti di sicurezza.

Quando conviene l'IA locale e quando no

L'IA locale conviene soprattutto quando vengono elaborati dati sensibili, l'utilizzo è regolare e il workflow interno è chiaro. Buoni candidati sono l'elaborazione documentale, la ricerca nella conoscenza interna, l'analisi strutturata di testi, la preparazione di e-mail, le sintesi di verbali o attività amministrative ricorrenti.

Conviene meno quando un'azienda usa l'IA solo occasionalmente, non può garantire assistenza tecnica o ha sempre bisogno dei modelli più potenti disponibili. I modelli cloud sono spesso più semplici, più rapidamente disponibili e più convenienti in caso di utilizzo raro. Per alcune attività, un approccio ibrido è il più ragionevole: processi standard sensibili in locale, attività speciali tramite servizi cloud verificati quando necessario.

Il punto di forza dell'IA locale è il controllo: protezione dei dati, costi pianificabili e vicinanza ai dati interni. I punti deboli sono lo sforzo operativo, il vincolo all'hardware, i limiti dei modelli e la manutenzione necessaria.

La domanda più importante è: quale processo deve essere migliorato, quali dati sono coinvolti e di quanto controllo ha realmente bisogno l'azienda?

Per molte aziende il percorso sensato non inizia con l'acquisto di un server. Inizia con un caso d'uso chiaro, un piccolo prototipo e una verifica onesta se l'IA locale sia davvero l'infrastruttura migliore per quel workflow concreto.