AI non riescono a distinguere immagini: un test rivela limiti sorprendenti

Un test condotto su tre modelli di intelligenza artificiale ha rivelato come gli AI image judges, ovvero modelli in grado di valutare immagini, spesso scelgano immagini non corrette basandosi su aspetti estetici piuttosto che su dettagli specifici richiesti. L’esperienza ha mostrato che i modelli non sempre riescono a distinguere immagini in base a qualità specifiche, come la nitidezza o la riduzione di artefatti di compressione, e possono preferire immagini più “belle” anche quando non sono le più appropriate.

Test su 60 coppie di immagini

Il test ha utilizzato 60 coppie di immagini, ciascuna delle quali differiva in un aspetto specifico, come la nitidezza, la riduzione di artefatti di compressione o la luminosità. Ogni coppia è stata valutata in due ordini diversi, in modo da verificare se il modello si basava sull’ordine in cui le immagini venivano mostrate o sul contenuto effettivo. I risultati hanno mostrato che i modelli non sempre rispondevano in modo coerente, e in alcuni casi hanno scelto immagini non corrette.

Un modello preferisce immagini “belle” anche quando non sono le più appropriate. Uno dei modelli testati, GPT-4o, ha mostrato una tendenza a preferire immagini con colori vivaci e sfumature, anche quando non erano le più appropriate. In alcuni casi, il modello ha scelto immagini non corrette basandosi su aspetti estetici piuttosto che su dettagli specifici richiesti. Questo fenomeno è stato osservato anche in altri modelli, come Claude e Gemini, che hanno mostrato una certa inconsistenza nel rispondere a domande specifiche. Il test ha anche rivelato che alcuni modelli, come GPT-4o, tendono a inventare risposte quando non c’è una differenza reale tra le immagini. Questo fenomeno è stato osservato in particolare quando si chiedeva di valutare la torsione delle immagini, una caratteristica che non era stata modificata. I modelli hanno spesso scelto immagini non corrette, anche quando non c’era alcuna differenza tra le due.

Limiti degli AI image judges

Il test ha dimostrato che gli AI image judges non sempre riescono a distinguere immagini in base a dettagli specifici, e possono preferire immagini “belle” anche quando non sono le più appropriate. Questo fenomeno è stato osservato in tutti i modelli testati, anche se con gradi diversi di frequenza. I risultati indicano che i modelli non sempre riescono a distinguere immagini in base a qualità specifiche, e possono preferire immagini non corrette basandosi su aspetti estetici piuttosto che su dettagli specifici richiesti.

Alcuni modelli inventano risposte quando non c’è una differenza reale. Il test ha rivelato che alcuni modelli, come GPT-4o, tendono a inventare risposte quando non c’è una differenza reale tra le immagini. Questo fenomeno è stato osservato in particolare quando si chiedeva di valutare la torsione delle immagini, una caratteristica che non era stata modificata. I modelli hanno spesso scelto immagini non corrette, anche quando non c’era alcuna differenza tra le due.