Cloudflare AI Gateway: cosa fa e quando conviene passarci dentro

Cloudflare AI Gateway è un proxy che sta fra l'applicazione e i provider AI che questa chiama: aggiunge cache, analytics, limiti di traffico, tetti di spesa in dollari e il log di ogni richiesta, senza cambiare i modelli che usi.

Serve ai team le cui funzioni AI hanno superato la fase di prototipo. Due o tre provider, qualche migliaio di chiamate al giorno e una fattura mensile che nessuno riesce ad attribuire a una funzione precisa. La qualità del modello resta quella di prima. Cambia il fatto che sai quanto costa, per utente e per rotta, prima che arrivi la fattura.

La versione in trenta secondi

Cambia una cosa sola: l'URL di base a cui punta l'SDK. Le richieste arrivano al gateway su Cloudflare, che le inoltra al provider e restituisce la risposta. Il resto del codice resta dov'è. In cambio hai i log delle richieste, l'analisi dei costi per modello, una cache, i limiti di traffico, tetti di spesa in dollari e un filtro sui contenuti opzionale. Le funzioni base del gateway sono gratuite e Cloudflare gira i costi di inferenza dei provider senza ricarico.

Che problema risolve davvero un AI gateway?

Due problemi, e nessuno dei due riguarda la qualità del modello.

Il primo è la visibilità sui costi. Nel State of FinOps 2026 il 98% degli intervistati dichiara di gestire la spesa AI, contro il 31% di due anni prima, e il controllo dei costi AI risulta la competenza più richiesta da sviluppare. La difficoltà ha una radice strutturale: la spesa AI non segue il numero di utenti. Una funzione agentica trasforma un singolo clic in una catena di chiamate al modello, e uno step di retrieval moltiplica più volte i token di un prompt. Un budget costruito sul volume di richieste del trimestre scorso sbaglia di parecchio.

Il secondo è l'attribuzione. Le dashboard dei provider riportano la spesa per chiave API e per modello. Non ti dicono che l'endpoint di sintesi costa nove centesimi al giorno per utente attivo mentre la barra di ricerca costa una frazione di centesimo. Senza un proxy sul percorso, quel numero va ricostruito da log applicativi che probabilmente ancora non scrivi.

Come funziona

Un gateway è un URL per progetto. Le richieste che lo raggiungono vengono inoltrate al provider indicato, e la risposta torna nella forma in cui il provider l'ha mandata. Ci sono tre modi di chiamarlo. Gli endpoint nativi mantengono il formato esatto di OpenAI, Anthropic, Google e degli altri, quindi il codice SDK già scritto funziona dopo il cambio di URL di base. Un endpoint unificato compatibile con OpenAI ti fa cambiare modello cambiando una stringa. Il routing dinamico esegue un flusso che definisci tu prima di scegliere il modello.

AI Gateway supporta 24 provider in modo nativo, fra cui OpenAI, Anthropic, Google Vertex AI, Amazon Bedrock, Groq, Mistral, DeepSeek, xAI e Workers AI di Cloudflare. Qualunque altro servizio con una API HTTPS si collega come provider personalizzato e mantiene log, cache e limiti di traffico. Con la fatturazione unificata chiami i provider con credenziali gestite da Cloudflare, senza tenere le chiavi dentro l'applicazione, e paghi con una fattura sola.

I cinque controlli che contano

La cache

Le richieste identiche vengono servite dalla cache di Cloudflare invece che dal provider. Il TTL si imposta richiesta per richiesta con l'header cf-aig-cache-ttl, con un minimo di 60 secondi e un massimo di un mese. L'avvertenza è concreta: colpiscono solo le ripetizioni esatte. In un prodotto di chat, dove ogni prompt è testo libero, la percentuale di hit sfiora lo zero. In una pipeline di classificazione o estrazione che gira un template fisso su un insieme limitato di input, è il taglio più grosso disponibile sulla bolletta.

I limiti di traffico

Richieste per finestra temporale, per gateway. Oltre il limite il gateway risponde 429 e la richiesta non raggiunge mai il provider. Consideralo uno strumento contro gli abusi e per contenere i danni, non un controllo di spesa: cento richieste economiche e cento costose contano allo stesso modo.

I tetti di spesa

Budget in dollari invece che in richieste. Il gateway calcola la spesa cumulata dal consumo di token e dal prezzo del modello, poi blocca le richieste quando il tetto è raggiunto. Cloudflare li ha rilasciati in beta aperta il 5 giugno 2026 su tutti i piani, con esempi come 200 dollari al giorno per ciascun utente o un tetto di 10.000 dollari al giorno per l'intero gateway. È il controllo che trasforma una funzione AI da rischio aperto a voce di costo con un massimo.

I guardrail

Il gateway può ispezionare prompt e risposte al volo rispetto a categorie di sicurezza. La valutazione gira su @cf/meta/llama-guard-3-8b in Workers AI e si paga come inferenza a token, quindi il costo cresce con la quantità di testo che filtri. Aggiunge anche una chiamata al modello sul percorso, e questo si vede nella latenza. Filtra i punti in cui il testo scritto dall'utente arriva a un modello, non tutte le chiamate.

Il routing dinamico

Il routing dinamico sostituisce il modello scritto nel codice con un piccolo flusso, costruito a interfaccia visuale o in JSON. Le condizioni scelgono il modello, le quote si applicano dentro il flusso e i fallback coprono un disservizio del provider. Mandare gli utenti paganti sul modello grande e quelli free su quello economico diventa un flusso a due nodi invece di un ramo nel codice.

Cosa ti danno i log

Le analytics coprono richieste, token, costo, errori e latenza, divisi per provider e per modello: la vista che le dashboard dei provider non ti danno appena ne usi più di uno. Da agosto 2026 il gateway legge anche l'identità dell'utente autenticato da Cloudflare Access e la attacca a log, analytics e regole di spesa. Così «la bolletta AI è salita del 40% questo mese» diventa un account con un nome e una rotta precisa, cioè la differenza fra una domanda dell'amministrazione e un ticket per gli sviluppatori.

Quanto costa

Il gateway in sé è gratuito, e l'inferenza dei provider passa ai prezzi dei provider. L'unica risorsa a consumo è l'archiviazione dei log: 100.000 log conservati su tutti i gateway con il piano Workers Free, 200.000 con Workers Paid, poi 8 dollari ogni 100.000 log conservati al mese. Logpush, che porta i log nel tuo storage, richiede un piano a pagamento. I guardrail si pagano come inferenza. Metti a budget log e guardrail: accanto alla spesa per i modelli, il resto è un arrotondamento.

Quando passarci dentro e quando no

Passaci dentro se chiami più di un provider, se una singola azione dell'utente si apre in diverse chiamate al modello, se ti serve un budget per cliente o per team che la piattaforma applica al posto tuo, oppure se lo stack sta già su Cloudflare e un binding in più non costa nulla.

Pensaci due volte se chiami un solo provider qualche centinaio di volte al giorno e hai già un tracing che risponde alla domanda sui costi. Pensaci due volte se contratti o vincoli di residenza dei dati rendono un processore in più sul percorso una questione legale e non una riga di configurazione. E verifica lo streaming in staging prima di spostare il traffico di produzione: è supportato, e le tre cose da controllare con il tuo client sono le risposte token per token, i timeout e il passaggio degli errori.

Il compromesso è quello di qualsiasi proxy gestito. Accetti un salto di latenza e una dipendenza, e ottieni controlli che altrimenti dovresti scrivere e mantenere. Se li vuoi dentro la tua infrastruttura, LiteLLM è l'opzione self-hosted e gira su una macchina modesta con un database Postgres. Se cerchi soprattutto governance e guardrail profondi, Portkey nasce per quello. Le primitive ormai sono simili in tutta la categoria, quindi la scelta riguarda soprattutto chi le fa funzionare.

Concetti vicini

Un gateway misura la spesa e la limita. Non decide quanto dovrebbe costare una funzione AI, che è una domanda di pricing affrontata in come gestire il costo dei token prima di perdere il margine. Non sostituisce nemmeno la cache e lo streaming a livello applicativo: quel lavoro sta nel client, e il lato Next.js lo abbiamo trattato nelle API Anthropic in Next.js. Se lo storage è già su Cloudflare, il confronto su R2 copre l'altra metà della fattura.