From Human to Scalable Annotation: Teaching LLMs to mimic experts labeling on Economic News Sentiment

Per capire davvero l’economia non basta guardare i numeri. Inflazione, occupazione, crescita e consumi restano indicatori decisivi, ma raccontano solo una parte della storia. L’altra parte passa dal linguaggio: dal modo in cui l’economia viene narrata, interpretata, resa percepibile nello spazio pubblico. Le notizie economiche non si limitano infatti a descrivere i fatti; contribuiscono a costruire aspettative e credenze, diffondere fiducia o preoccupazione, orientare il clima generale. È da questa intuizione che nasce il paper From Human to Scalable Annotation: Teaching LLMs to mimic experts labeling on Economic News Sentiment, dedicato a una domanda molto concreta: un sistema di intelligenza artificiale può imparare a riconoscere il tono delle notizie economiche italiane in modo simile a un esperto umano?

Per rispondere, con gli altri autori abbiamo identificato un corpus di 800 articoli di economia in italiano, pubblicati tra il 2007 e il 2024, chiedendo ad esperti di valutarli rispetto al clima positivo o negativo che trasmettevano (secondo una scala da 1 a 5). Agli annotatori non veniva chiesto di valutare i fatti economici in sé, bensì il tono comunicativo dell’articolo. In altre parole, non contava tanto ciò che accadeva nell’economia, quanto il modo in cui quel fatto veniva raccontato. È una distinzione importante, perché una stessa notizia può essere presentata in modo allarmistico, neutro o rassicurante.

Il risultato forse più interessante è che nemmeno gli esseri umani concordano sempre. Il livello di accordo tra annotatori risulta infatti piuttosto basso, segno che il sentiment economico non è una proprietà oggettiva e immediata, ma una valutazione interpretativa, fatta di sfumature linguistiche, enfasi e scelte retoriche. Proprio per questo il compito affidato all’intelligenza artificiale è particolarmente difficile: non si tratta solo di classificare un testo, ma di avvicinarsi a un giudizio umano che è già, di per sé, non oggettivo.

Lo studio mostra ancora un punto decisivo: non è utile usare sistemi complessi capaci di leggere e interpretare testi lunghi per ottenere buoni risultati. Funzionano meglio, invece, i modelli più snelli che vengono istruiti con regole chiare e adattati in modo specifico al compito. L’intelligenza artificiale non sostituisce automaticamente il giudizio umano, ma diventa uno strumento efficace per estenderlo su larga scala. In prospettiva, questo significa poter analizzare grandi quantità di notizie economiche in modo più rapido e coerente, trasformando il linguaggio dei media in un osservatorio prezioso non solo su ciò che accade nell’economia, ma su come l’economia viene percepita, interpretata e raccontata.