Questo pezzo era nato per spiegare cosa fosse ARC-AGI e perché la OpenAI ne parlasse tanto presentando il modello o3 alla fine del 2024. Da allora il benchmark è cambiato due volte, la competizione è arrivata alla terza edizione e la classifica si è svuotata e riempita più volte.

Ho riscritto tutta la parte di cronaca e ho tenuto quella che serve per non rimanere invischiati nel giro delle dichiarazioni apocalittico-iperottimiste. Le cose importanti sono soprattutto: capire che cosa misura questo test e come si leggono i numeri che trovi in giro.

Cos’è ARC-AGI

ARC-AGI è un acronimo che sta per Abstraction and Reasoning Corpus for Artificial General Intelligence. L’ha ideato François Chollet nel 2019, in un paper intitolato On the Measure of Intelligence.

Le matrici ARC-AGI sono semplicemente puzzle da risolvere. Il puzzle è fatto così: ci sono tre coppie di griglie di pixel input-output. Poi c’è una quarta coppia con l’input e una matrice vuota. Chi prova a risolvere il test deve indovinare l’output corretto, desumendo le regole dalle prime tre coppie.

Si tratta di un esercizio di astrazione e ragionamento: le persone o i sistemi che affrontano questi puzzle devono comprendere la regola che trasforma l’input nell’output senza indicazioni testuali, partendo da pochi esempi.

Questo tipo di prova punta sulla capacità di generalizzare a partire da pochi dati, invece che sulla forza bruta e sui grandi numeri tipici del deep learning tradizionale.

Umani e macchine a confronto

In linea teorica, le matrici ARC-AGI dovrebbero essere facili da risolvere per le persone e molto difficili per le macchine. Queste sono le conoscenze che occorre avere per risolvere questi problemi:

• Oggettività: gli oggetti persistono e non possono apparire o scomparire senza motivo. Gli oggetti possono interagire o meno a seconda delle circostanze.
• Orientamento allo scopo: gli oggetti possono essere animati o inanimati. Alcuni oggetti hanno una loro agentività: hanno intenzioni e perseguono obiettivi.
• Numeri e conteggio: gli oggetti possono essere contati o ordinati in base alla loro forma, aspetto o movimento utilizzando la matematica di base come addizione, sottrazione e confronto.
• Geometria e topologia di base: gli oggetti possono essere forme come rettangoli, triangoli e cerchi che possono essere specchiati, ruotati, traslati, deformati, combinati, ripetuti. È possibile rilevare differenze nelle distanze.

Le matrici ARC-AGI cercano di “misurare” ciò che rientra nell’ambito di queste conoscenze. Il tentativo è di costruire test il meno possibile influenzati da conoscenze acquisite o culturali come la lingua.

Bisogna sempre ricordare, però, che ci si può allenare a questo tipo di test: anche saperli superare è una conoscenza che si acquisisce culturalmente. Questo vale per le persone e vale, in modo diverso, per le macchine: è uno dei nodi che il benchmark ha dovuto affrontare nelle sue versioni successive.

Alcuni esempi ARC-AGI

Nell’homepage dell’ARC Prize c’è un esempio di questi test, fatto così. Nell’input 1 c’è una matrice quadrata 7×7, che contiene due figure a forma di “L” azzurre. L’output corrispondente completa le due “L” trasformandole in quadrati, con un quadratino blu. L’input 2 ha 3 “L” e il suo output ha 3 quadrati, completati con la medesima logica. La soluzione è abbastanza scontata ed è quella che vedi in figura.

Nel test d’esempio dell’ARC-AGI del 20 dicembre 2024 ci sono questi tre input.

Input 1 (13×17)

È una griglia di quadrati neri all’interno della quale troviamo diverse figure colorate distribuite in vari punti: una croce gialla, un blocco rosso in alto a destra, un gruppo verde, uno azzurro (simile a una croce ma con un “buco” centrale) e, nella parte bassa, una vasta area blu quadrata (7×7) che al suo interno presenta quattro quadratini di vari colori. L’output corrispondente è una griglia 7×7 che contiene una ricomposizione delle figure colorate dell’input, senza il grande quadrato blu.

Notando che i quadratini colorati presenti all’interno del quadrato blu riprendono gli stessi colori di alcune figure sparse nell’input, si può ipotizzare che essi fungano da “mappa” per selezionare e riposizionare nell’output le figure corrispondenti. In altre parole, i quadratini colorati nel quadrato blu determinano quali figure andranno nell’output e in quale posizione.

Input 2 (17×17)

È una griglia di quadrati neri all’interno dei quali vediamo di nuovo un quadrato blu (7×7) contenente quattro quadratini colorati, e diverse figure. Le figure sono cinque in totale. L’output è sempre una griglia 7×7 che mostra solo quattro delle cinque figure.

Ancora una volta, l’associazione tra i colori dei quadratini nel quadrato blu e le figure presenti nell’input permette di capire quali forme selezionare e dove posizionarle nell’output. Il quadrato blu funziona come una “chiave di lettura”: indica dove collocare le figure e quali figure riprodurre.

Input 3 (17×18)

In questo caso le figure colorate presenti sono sei, più il solito quadrato blu (7×7) con quattro quadratini colorati al suo interno. L’output mostra una griglia 7×7 con quattro delle sei figure.

Il pattern è ormai chiaro: i quattro quadratini colorati nel quadrato blu determinano quali quattro figure tra le sei totali vanno incluse nell’output e in quali posizioni specifiche. L’ordine dei quadratini colorati nel quadrato blu (da sinistra a destra, dall’alto verso il basso) stabilisce anche l’ordine con cui le figure vengono posizionate nella griglia 7×7 finale.

La regola individuata

In tutti e tre gli esempi, il quadrato blu (7×7) presente nell’input contiene quattro quadratini di colori differenti, ciascuno dei quali corrisponde a una figura colorata dispersa nel resto della griglia. Quei quattro quadratini selezionano le figure da estrarre e ne indicano la posizione nell’output finale.

L’output è una griglia 7×7 in cui compaiono le quattro figure selezionate, ricollocate esattamente nella posizione definita dalla corrispondenza con i quattro quadratini colorati iniziali.

La soluzione

Adesso si presenta un quarto input, quello senza output, perché lo dobbiamo decidere noi per risolvere il problema.

L’input numero quattro è una griglia 17×16 con il solito quadrato blu (7×7) che, a sua volta, contiene quattro quadratini colorati: rosso, verde, fucsia e azzurro, disposti nell’ordine da sinistra a destra e dall’alto verso il basso. Analogamente ai tre casi precedenti, queste quattro tinte corrispondono a quattro figure presenti nell’input.

Quindi, l’output dovrà essere una griglia 7×7.

• Il quadratino rosso nel quadrato blu corrisponde alla figura rossa nell’input, che andrà posizionata in alto a sinistra nell’output 7×7.
• Il quadratino verde corrisponde alla figura verde, che verrà collocata in alto a destra.
• Il quadratino fucsia corrisponde alla figura fucsia, da posizionare in basso a destra.
• Il quadratino azzurro corrisponde alla figura azzurra, da mettere in basso a sinistra, nella posizione coerente con l’ordine logico seguito negli esempi precedenti.

In questo modo, l’output 7×7 finale mostrerà i quattro cluster di blocchi corrispondenti a questi colori, riprodotti in una disposizione pulita, che riflette l’ordine stabilito dai quadratini interni al quadrato blu dell’input.

Perché per una macchina questo è un problema difficile

Per una macchina sono problemi molto complessi per parecchi motivi.

Prima di tutto, questi test richiedono di mettere insieme competenze spaziali, logiche e matematiche, astraendo e facendo deduzioni. Le macchine vengono addestrate su set di dati pubblici, e poi devono affrontare una serie di problemi analoghi che non avevano mai visto prima. In qualche modo “imparano” come si risolvono a partire dai dati pubblici e poi provano a risolvere il nuovo problema.

Inoltre, per rispondere al quesito i modelli devono tradurre le relazioni bidimensionali che si vedono nelle matrici in un formato monodimensionale. Questo li costringe a correlare informazioni distanti fra loro, e il processo diventa quasi ingestibile con l’aumentare della dimensione della griglia. Gli errori tipici includono output mal formattati, come righe saltate o pixel errati: è il segno di una difficoltà intrinseca nel gestire contesti lunghi e complessi.

Le tre versioni del benchmark

Questa è la cosa che cambia di più rispetto alla prima stesura di questo pezzo. ARC-AGI oggi è diventata una famiglia di tre benchmark diversi, e i loro punteggi non sono confrontabili tra loro.

ARC-AGI-1 (2019). Il test originale, quello che vedi negli esempi qui sopra. Dal 2019 al 2024 lo stato dell’arte si è mosso lentamente, restando intorno al 34% nonostante i modelli linguistici fossero cresciuti di oltre diecimila volte. Oggi è sostanzialmente saturo nella fascia alta.

ARC-AGI-2 (marzo 2025). Stesso formato di puzzle, task molto più difficili, progettati per resistere alla forza bruta e per richiedere l’applicazione simultanea di più regole che interagiscono tra loro. Ogni task è stato risolto da almeno due persone in meno di due tentativi, mentre i panel di persone testate hanno una media individuale intorno al 60%. Da questa versione in poi ogni punteggio viene riportato insieme a una misura di efficienza, a partire dal costo per task.

ARC-AGI-3 (marzo 2026). Il primo cambio reale di formato dal 2019. Invece di puzzle statici ci sono 135 ambienti interattivi costruiti a mano, e l’agente di AI deve esplorare un’interfaccia sconosciuta, capire da solo qual è l’obiettivo, costruirsi un modello del mondo in cui sta operando, testarlo, correggerlo e portarsi dietro quello che ha imparato al livello successivo. Senza istruzioni in linguaggio naturale. Un punteggio del 100% significa che l’agente batte ogni gioco con la stessa efficienza di una persona.

Cosa c’entrava o3, e come è andata a finire

Il 20 dicembre 2024 la OpenAI ha mostrato i risultati di o3 su ARC-AGI-1, ed è stato il momento in cui questo benchmark è diventato una notizia da prima pagina.

Questi sono i risultati ottenuti dai modelli della OpenAI su ARC-AGI-1, in ordine di tempo:

• GPT-2 (2019): 0%
• GPT-3 (2020): 0%
• GPT-4 (2023): 2%
• GPT-4o (2024): 5%
• o1-preview (2024): 21%
• o1 high (2024): 32%
• o1 Pro (2024): circa 50%
• o3 low compute (2024): 75,7%
• o3 high compute (2024): 87,5%

Due precisazioni che allora circolavano male e che vale la pena mettere in chiaro.

La prima riguarda il costo. Il tetto di 10.000 dollari per task riguardava i criteri di visualizzazione sulla leaderboard verificata di ARC Prize, e la configurazione high compute di o3 lo superava largamente, impiegando circa 172 volte le risorse della prova standard. La competizione Kaggle, quella che assegna i premi, ha vincoli completamente diversi e molto più stretti. Sono tre contesti separati e continuano a essere confusi ancora oggi.

La seconda riguarda la parola “tuned”, che compariva nelle prime tabelle e che ARC Prize ha poi corretto: o3 non era stato messo a punto specificamente su ARC-AGI, il training set pubblico faceva parte del suo addestramento generale.

o3 è stato ritirato da tempo. Quello che resta di quel momento è la constatazione che ARC-AGI-1 aveva individuato con precisione il passaggio dai modelli che memorizzano ai sistemi che ragionano al momento della risposta.

Cosa è successo nel 2025

ARC-AGI-2 esce a marzo 2025 e sostituisce ARC-AGI-1 come dataset della competizione. I primi modelli di ragionamento ci sbattono contro duramente: o1-pro e R1 si fermano tra l’1% e l’1,3%.

ARC Prize 2025 (26 marzo – 3 novembre): 1.455 team, 15.154 submission. Il punteggio massimo sul set privato arriva al 24%, ottenuto dal team NVARC di NVIDIA con generazione di dati sintetici e test-time training su un modello da 4 miliardi di parametri, a 20 centesimi per task. Il Grand Prize da 700.000 dollari, che richiede l’85%, resta non assegnato per il secondo anno di fila.

Il paper award va al Tiny Recursive Model di Alexia Jolicoeur-Martineau: 7 milioni di parametri, 45% su ARC-AGI-1 e 8% su ARC-AGI-2. È una rete minuscola che si avvicina a risultati ottenuti da sistemi enormemente più grandi. Hai sentito dire un sacco di volte che nelle AI generative “basta scalare”? Be’, questo è un dato importante: non è vero.

Il tema dell’anno sono i refinement loop: cicli di raffinamento applicati sopra il modello, che ne migliorano le prestazioni senza toccarne i pesi. A dicembre 2025 ARC Prize verifica un harness open source di Poetiq che porta Gemini 3 Pro dal 31% a 0,81 dollari per task fino al 54% a poco più di 30 dollari per task. Il record precedente era di Gemini 3 Deep Think, 45% a oltre 77 dollari a problema. Lo stesso approccio applicato a Claude Opus 4.5 ottiene risultati simili, ma a costo circa doppio.

A novembre 2025 nasce ARC Prize Verified, un programma con un panel accademico indipendente che sottopone ad audit il processo di test. Serve a separare i punteggi certificati su dataset nascosti dalle cifre che i laboratori pubblicano da soli nei propri model card.

Cosa è successo nel 2026

A marzo 2026 esce ARC-AGI-3 insieme a ARC Prize 2026: 2 milioni di dollari di montepremi, tre track (ARC-AGI-3, ARC-AGI-2 e paper), submission entro il 2 novembre e risultati il 4 dicembre. Durante la valutazione su Kaggle non c’è accesso a internet, quindi i sistemi che chiamano modelli via API sono esclusi per costruzione.

A maggio 2026 ARC Prize pubblica l’analisi di 160 partite giocate da GPT-5.5 e Claude Opus 4.7 sugli ambienti interattivi. I punteggi: 0,43% e 0,18%. Su un benchmark dove ogni ambiente è stato battuto da almeno due persone senza alcun allenamento.

Perché succede? ARC-AGI-3 funziona anche per aiutarci a rispondere a questa domanda. Siccome registra ogni azione insieme al ragionamento del modello, si può guardare dove l’ipotesi si è formata e dove si è rotto il ragionamento del modello. Sono emersi tre modi di fallire ricorrenti:

1. I modelli capiscono che una certa azione produce un certo effetto, e non riescono a trasformare quell’osservazione in una regola generale del gioco.
2. I modelli scambiano l’ambiente sconosciuto per un gioco che hanno visto in addestramento (Tetris, Frogger, Sokoban, Breakout) e poi sprecano mosse testando le regole sbagliate.
3. I modelli battono un livello senza aver veramente capito il gioco, e portano la teoria sbagliata al livello dopo, dove si irrigidiscono su quella teoria.

Il confronto tra due modelli è la cosa più istruttiva del rapporto: Opus, per esempio, comprime le osservazioni in una teoria sbagliata e la esegue con convinzione e ostinazione. GPT-5.5, invece, fatica proprio a comprimere e continua a riaprire ipotesi senza impegnarsi su nessuna.

Da allora i numeri si sono mossi molto in fretta.

Come si leggono i numeri di ARC-AGI

Quando leggi una percentuale su ARC-AGI, prima di tutto chiediti a quale di questi tre numeri diversi ti trovi davanti:

1. Il punteggio di un modello commerciale verificato da ARC Prize, senza limiti di spesa. È il numero più alto e il più citato. Dice cosa riesce a fare quel sistema quando il costo non è un problema (ma nella vita vera il costo è sempre un problema).
2. Il punteggio dello stesso modello dentro un harness di refinement (in parole povere, un’ottimizzazione degli agenti di AI). Può essere molto più alto del precedente e costare trenta o sessanta volte tanto. Il merito del punteggio, qui, sta nell’orchestrazione agentica costruita sopra il modello.
3. Il punteggio di una submission Kaggle. Qui il budget di calcolo è molto basso, non c’è accesso a internet e la soluzione è obbligatoriamente open source. È il numero che assegna i premi, ed è anche di gran lunga il più basso.

A questi si aggiungono le cifre che i laboratori pubblicano da soli nei propri annunci, che vengono da configurazioni e prompt che nessuno può replicare. Il programma ARC Prize Verified esiste esattamente per questo motivo.

Un sistema può quindi stare sopra l’85% nel primo caso mentre il Grand Prize resta non assegnato. Questa apparente contraddizione è proprio ciò che il benchmark misura: l’efficienza del modello fa parte della definizione di AGI. Una persona risolve un task ARC-AGI per l’equivalente di poche decine di dollari. Un sistema che ci arriva spendendone centinaia ha dimostrato di essere qualcosa di diverso. Ovviamente.

E quindi questa è anche la ragione per cui la formula “definiamo AGI un sistema che eguaglia l’efficienza di apprendimento umana”, che è la definizione adottata da ARC Prize, sposta l’attenzione dal cosa riesce a fare al quanto gli costa farlo (anche perché non sappiamo definire bene l’apprendimento umano).

Cosa arriva dopo?

Chollet ha annunciato che ARC-AGI-4 uscirà a inizio 2027, con l’obiettivo di un benchmark nuovo ogni anno, ognuno non saturo al momento del rilascio. Il che, se ci pensi, richiede di prevedere dove saranno le capacità dei sistemi fra dodici mesi e dove non saranno ancora: la progettazione dei benchmark è diventata un esercizio di previsione (secondo qualcuno anche futile).

Nel frattempo ARC Prize Foundation è diventata fornitrice di benchmark per il Center for AI Standards and Innovation del NIST. Insomma, un test nato come esercizio teorico sulla misura dell’intelligenza delle macchine è finito dentro l’infrastruttura di valutazione pubblica statunitense.

Cosa ci dice tutto questo

ARC-AGI resta utile per una ragione molto importante: misura la capacità dei modelli di cavarsela

• davanti a qualcosa di mai visto
• con pochi esempi
• con risorse limitate.

Tutto il resto della conversazione pubblica sulle intelligenze artificiali gira intorno a benchmark che premiano la conoscenza accumulata, dove i sistemi vanno benissimo. Ogni volta che una versione del benchmark si avvicina alla saturazione, la reazione è la stessa: qualcuno annuncia che ci siamo, qualcun altro sposta l’asticella. Il modo onesto di guardarla è un altro. Ogni versione ha isolato una capacità che mancava, e quando quella capacità è arrivata ne è emersa un’altra che nel test precedente restava invisibile.

ARC-AGI-1 ha mostrato quando i sistemi hanno smesso di limitarsi a memorizzare.

ARC-AGI-2 ha mostrato quanto costa applicare più regole insieme.

ARC-AGI-3 sta mostrIl 31 gennaio 2025 la OpenAI, probabilmente spinta dalla mossa di DeepSeek e dal rilascio di un modello parzialmente open-source e a basso costo che ha sparigliato le carte dei large language model e delle intelligenze artificiali, ha reso disponibili due nuovi modelli: o3-mini e o3-mini-high.

Che cosa sappiamo per il momento di questi modelli?

• o3-mini e o3-mini-high sono entrambi più accurati e veloci dei corrispondenti modelli o1
• consumano meno di o
• o3-mini è quello “generalista”
• o3-mini-high è quello da usare per programmazione o problemi di logica: pensa più a lungo prima di dare una risposta, è più lento di o3-mini

Secondo le specifiche di OpenAI i dati di addestramento di o3 sono fino a ottobre 2023 (in gergo tecnico si chiama knowledge cutoff), questo significa che sono gli stessi di o1.

Il modello o3 era stato presentato poco prima di Natale del 2024, enfatizzando le sue performance sul test ARC-AGI.

Cos’è l’ARC-AGI e cosa c’entra o3 di ChatGPT?

ARC-AGI è un acronimo che sta per Abstraction and Reasoning Corpus for Artificial General Intelligence.

Le matrici ARC-AGI sono un puzzle da risolvere. Il puzzle è fatto così: ci sono tre coppie di griglie di pixel input-output. Poi c’è una quarta coppia con l’input e una matrice vuota. Chi prova a risolvere il test deve indovinare l’output corretto, desumendo le regole dalle prime tre coppie.

Si tratta di un esercizio di astrazione e ragionamento: le persone o i sistemi che affrontano questi puzzle devono comprendere la regola che trasforma l’input nell’output senza indicazioni testuali, partendo da pochi esempi.

Questo tipo di prova non punta sulla forza bruta o sui grandi numeri (tipici del deep learning tradizionale) ma sulla capacità di generalizzare a partire da pochi dati.

Umani e macchine a confronto

In linea teorica, le matrici ARC-AGI dovrebbero essere facili da risolvere per degli umani, molto difficili per le macchine. Queste sono le conoscenze che occorre avere per risolvere questi problemi:

• Oggettività: gli oggetti persistono e non possono apparire o scomparire senza motivo. Gli oggetti possono interagire o meno a seconda delle circostanze.
• Orientamento allo scopo: gli oggetti possono essere animati o inanimati. Alcuni oggetti hanno una loro agentività: hanno intenzioni e perseguono obiettivi.
• Numeri e conteggio: gli oggetti possono essere contati o ordinati in base alla loro forma, aspetto o movimento utilizzando la matematica di base come addizione, sottrazione e confronto.
• Geometria e topologia di base: gli oggetti possono essere forme come rettangoli, triangoli e cerchi che possono essere specchiati, ruotati, traslati, deformati, combinati, ripetuti, ecc. È possibile rilevare differenze nelle distanze.

Le matrici ARC-AGI cercano di “misurare” ciò che rientra nell’ambito di queste consocenze. Il tentativo è di evitare di creare test che possano essre influenzati da conoscenze acquisite o culturali come la lingua. Bisogna sempre ricordare, però, che ci si può allenare a questo tipo di test: anche saperli superare è una conoscenza che si può acquisire culturalmente,

Alcuni esempi ARC-AGI

Nell’homepage dell’ArcPrize c’è un esempio di questi test, fatto così. Nell’input 1 c’è una matrice quadrata 7×7, che contiene due figure a forma di “L” azzurre. L’output corrispondente completa le due “L” trasformandole in quadrati, con un quadratino blu.
L’input 2 ha 3 “L” e il suo output ha 3 quadrati, completati con la medesima logica. La soluzione è abbastanza scontata ed è quella che vedi in figura.

Nel test d’esempio dell’ARC-AGI del 20 dicembre 2024 ci sono questi tre input.

Input 1 (13×17)
È una griglia di quadrati neri (13×17) all’interno della quale troviamo diverse figure colorate distribuite in vari punti: una croce gialla, un blocco rosso in alto a destra, un gruppo verde, uno azzurro (simile a una croce ma con un “buco” centrale) e, nella parte bassa, una vasta area blu quadrata (7×7) che al suo interno presenta quattro quadratini di vari colori. L’output corrispondente è una griglia 7×7 che contiene una ricomposizione delle figure colorate dell’input, ma senza includere il grande quadrato blu.
Notando che i quadratini colorati presenti all’interno del quadrato blu riprendono gli stessi colori di alcune figure sparse nell’input, si può ipotizzare che essi fungano da “mappa” per selezionare e riposizionare nell’output le figure corrispondenti. In altre parole, i quadratini colorati nel quadrato blu determinano quali figure andranno nell’output e in quale posizione.

Input 2 (17×17)
È una griglia di quadrati neri all’interno dei quali vediamo di nuovo un quadrato blu (7×7) contenente quattro quadratini colorati, e diverse figure. Le figure sono cinque in totale. L’output è sempre una griglia 7×7 che mostra solo quattro delle cinque figure. Ancora una volta, l’associazione tra i colori dei quadratini nel quadrato blu e le figure presenti nell’input permette di capire quali forme selezionare e dove posizionarle nell’output. Il quadrato blu funziona come una “chiave di lettura” per l’output, indicando non solo dove collocare le figure nell’output ma anche quali figure riprodurre.

Input 3 (17×18)
In questo caso le figure colorate presenti sono sei, più il solito quadrato blu (7×7) con quattro quadratini colorati al suo interno. L’output mostra una griglia 7×7 con quattro delle sei figure. Il pattern è ormai chiaro: i quattro quadratini colorati nel quadrato blu determinano quali quattro figure tra le sei totali vanno incluse nell’output e in quali posizioni specifiche. L’ordine dei quadratini colorati nel quadrato blu (ad esempio da sinistra a destra, dall’alto verso il basso) stabilisce anche l’ordine con cui le figure vengono posizionate nella griglia 7×7 finale.

La regola individuata

In tutti e tre gli esempi, il quadrato blu (7×7) presente nell’input contiene quattro quadratini di colori differenti, ciascuno dei quali corrisponde a una figura colorata dispersa nel resto della griglia. Quei quattro quadratini non solo selezionano le figure da estrarre, ma ne indicano anche la posizione nell’output finale. L’output è una griglia 7×7 in cui compaiono le quattro figure selezionate, “ingrandite” o comunque ricollocate, esattamente nella stessa posizione, definita dalla corrispondenza con i quattro quadratini colorati iniziali.

La soluzione

Adesso si presenta un quarto input, quello senza output perché lo dobbiamo decidere noi per risolvere il problema.

L’input numero quattro è una griglia 17×16 con il solito quadrato blu (7×7) che, a sua volta, contiene quattro quadratini colorati: rosso, verde, fucsia e azzurro, disposti nell’ordine da sinistra a destra e dall’alto verso il basso. Analogamente ai tre casi precedenti, queste quattro tinte corrispondono a quattro figure presenti nell’input.

Quindi, l’output dovrà essere una griglia 7×7.

• Il quadratino rosso nel quadrato blu corrisponde alla figura rossa nell’input, che andrà posizionata in alto a sinistra nell’output 7×7.
• Il quadratino verde corrisponde alla figura verde, che verrà collocata in alto a destra nell’output.
• Il quadratino fucsia corrisponde alla figura fucsia, da posizionare in basso a destra.
• Il quadratino azzurro corrisponde alla figura azzurra, da mettere in basso a sinistra (o comunque nella posizione coerente con l’ordine logico seguito negli esempi precedenti).

In questo modo, l’output 7×7 finale mostrerà i quattro cluster di blocchi corrispondenti a questi colori, riprodotti in una disposizione pulita, che riflette l’ordine stabilito dai quadratini interni al quadrato blu dell’input.

Ecco la soluzione del puzzle, che conferma la regola dedotta e offre un esempio di come l’ARC-AGI richieda astrazione, deduzione e comprensione profonda dello schema di trasformazione.

Perché per una macchina questo è un problema difficile?

Per una macchina sono problemi molto complessi per parecchi motivi.

Prima di tutto, questi test richiedono di mettere insieme competenze spaziali, logiche e matematiche, astraendo e facendo deduzioni. Addestrate su set di dati pubblici, alle macchine viene poi sottoposta una serie di problemi analoghi che non avevano mai visto prima. Quindi, in qualche modo “imparano” come si risolvono a partire dai dati pubblici e poi provano a risolvere il nuovo problema.

Inoltre, i modelli, per rispondere al quesito, devono traduzione le relazioni bidimensionali che si vedono nelle matrici in un formato monodimensionale. Questo li costringe a cercare di correlare informazioni distanti fra loro: il processo diventa quasi ingestibile con l’aumentare della dimensione della griglia. Gli errori tipici includono output mal formattati, come righe saltate o pixel errati, segno di una difficoltà intrinseca nel gestire contesti lunghi e complessi.

Errori fatti dalle macchine

Questo è un esempio di test sbagliato da o3.

Questa è la soluzione. Tu l’avresti trovata, vero?