Unsloth: fine-tuning alla portata

Unsloth non è un modello e non è un’interfaccia: è il motore che rende l’addestramento possibile su hardware modesto. Riscrive a mano le parti più pesanti del processo, e il risultato, senza perdita di qualità, è circa il doppio della velocità con una frazione della memoria richiesta.

Tradotto: il fine-tuning passa da “serve un datacenter” a “sta su una GPU da gioco o su un notebook gratuito in cloud”.

Prima di partire: ti serve davvero?

Vale la pena ripetere quello che diceva la lezione sul fine-tuning, perché è l’errore più costoso in circolazione.

Vuoi…	Serve il fine-tuning?
Insegnare uno stile, un tono, un formato	sì, è il suo mestiere
Insegnare fatti, documenti, dati aggiornabili	no, serve il RAG
Migliorare su un compito ripetitivo e ben definito	probabilmente sì
Aggiungere conoscenza che cambia nel tempo	mai

La distinzione in una riga: il fine-tuning cambia come il modello risponde, il RAG cambia cosa sa. Confonderli porta a mesi persi.

Come funziona in pratica

Il percorso è sempre lo stesso. Si prepara un insieme di esempi nel formato istruzione-risposta; si sceglie un modello base; si addestra un adattatore LoRA: quindi senza toccare i pesi originali, come nella lezione dedicata; si prova; si esporta.

Il passo che chiude il cerchio è proprio l’esportazione: il modello addestrato si converte in GGUF e si carica in Ollama, dove diventa un modello come tutti gli altri, richiamabile per nome.

Dove si vince e dove si perde

Il fattore decisivo non è la potenza della macchina, sono i dati. Cinquecento esempi scritti bene e coerenti battono cinquemila raccogliticci. Se vuoi un certo tono, ogni singolo esempio deve avere quel tono: le eccezioni insegnano al modello che l’eccezione è ammessa.

L’insidia da conoscere è l’overfitting: il modello impara a memoria invece di generalizzare, e si riconosce perché va benissimo sugli esempi di addestramento e male su tutto il resto. Si evita tenendo da parte una fetta di dati per il controllo e fermandosi presto, senza esagerare con i cicli.

Una nota realistica sulla scala: il fine-tuning è alla portata, ma non è istantaneo. Preparare i dati richiede più tempo dell’addestramento vero e proprio, ed è la parte che nessuno racconta nei tutorial.

Il dataset: dove si vince davvero

Tutto il resto: hardware, parametri, durata dell’addestramento, conta meno della qualità degli esempi. È la parte che i tutorial liquidano in due righe ed è quella che occupa la maggior parte del tempo vero.

Regola	Perché
Coerenza assoluta nello stile	Le eccezioni insegnano che l’eccezione è ammessa
Varietà nei casi	Esempi tutti simili producono un modello fragile
Includere i casi difficili	Con soli esempi facili, il modello cede sui casi veri
Qualità sopra quantità	500 esempi curati battono 5.000 raccogliticci

L’errore più frequente è il primo: si raccolgono esempi da fonti diverse, con toni diversi, e si spera che il modello faccia la media. Non fa la media: impara che qualsiasi tono è accettabile e ne sceglie uno a caso.

Un modo pratico di partire: scrivi a mano venti esempi perfetti, quelli che rappresentano esattamente ciò che vuoi, e usali come riferimento per generarne o selezionarne altri.

Come capire se è servito

Finito l’addestramento serve la risposta a una domanda sola: è meglio di prima? Tre misure, tutte necessarie.

Prima, su esempi mai visti, tenuti fuori dall’addestramento dall’inizio. Seconda, contro il modello base: stessi esempi, risposte affiancate, se non c’è differenza visibile, il fine-tuning non è servito. Terza, su compiti generici fuori dal dominio, per accorgersi di cosa il modello ha perso strada facendo.

La terza è quella che si salta ed è quella che fa male: è facile ottenere un modello bravissimo sul proprio compito e diventato inutile su tutto il resto.

E una nota realistica: preparare i dati richiede più tempo dell’addestramento vero e proprio. Metti in conto tre giri prima di avere qualcosa di usabile.

Il percorso completo, passo per passo

Vale la pena vedere l’intero giro, perché la parte di addestramento, quella che tutti raccontano, è la più breve.

1. DATI          coppie istruzione/risposta, coerenti e verificate
                 (il 60-70% del tempo reale sta qui)
   ↓
2. ADDESTRA      LoRA/QLoRA sopra un modello base
                 (i minuti che vedi nei tutorial)
   ↓
3. VALUTA        esempi tenuti da parte + confronto col base + regressioni
   ↓
4. ESPORTA       adattatore unito al modello, conversione in GGUF
   ↓
5. USA           importato in Ollama, diventa un modello come gli altri

Il passo che chiude il cerchio è il quarto: senza l’esportazione ti resta un adattatore che vive solo nell’ambiente di addestramento. Convertito, il modello si richiama per nome come qualsiasi altro, e a quel punto tutto ciò che sai fare con i modelli locali vale anche per il tuo.

Dove gira e dove no

Punto pratico che evita mezze giornate perse: serve una scheda grafica NVIDIA. Su Apple Silicon questa libreria non gira, per il fine-tuning su Mac esiste un’altra strada, basata sul framework di Apple.

Situazione	Praticabile?
GPU NVIDIA da 8-12 GB	Sì, modelli fino a 7-8B con QLoRA
GPU NVIDIA da 24 GB	Sì, comodo, anche modelli più grandi
Notebook cloud gratuito	Sì, con i limiti di tempo della sessione
Apple Silicon	No, serve l’alternativa basata su MLX
Solo processore	No

Il notebook cloud gratuito è il modo più veloce per capire se la strada ha senso prima di comprare qualcosa: ci si prova con cento esempi, si guarda il risultato, e solo dopo si decide se il problema meritava davvero il fine-tuning o se bastava un prompt migliore.

In sintesi

Concetto	In una riga
Cos’è	Il motore che rende il fine-tuning fattibile su hardware normale
Il guadagno	Circa doppia velocità e molta meno memoria, a parità di qualità
Il percorso	Dati → LoRA → prova → esporta in GGUF → Ollama
Il fattore decisivo	La qualità e la coerenza degli esempi, non la macchina
La trappola	Overfitting: bene sugli esempi, male su tutto il resto
Dataset	Coerenza e varietà contano più della quantità e dell’hardware
Valutazione	Esempi nuovi, confronto col base, e controllo delle regressioni
Il giro completo	Dati, addestramento, valutazione, esportazione, uso in Ollama
Dove gira	Serve una GPU NVIDIA: su Apple Silicon si usa l’alternativa MLX