Skip to content

← Models i routing

Selecció de model i fallbacks

L'array "models" defineix una cadena de fallbacks ordenada. Si el primer falla, OpenRouter prova el següent. Resiliència sense codi extra.

6 slides 4 min de lectura
  1. OpenRouter · Models i routing

    Selecció de model i fallbacks

    Una llista ordenada de models per si el primer no respon.

    OpenRouter · Models i routing arlaf.dev
  2. De "model" a "models"

    A més del camp "model" amb un sol slug, pots enviar un array "models" amb diversos. És una cadena de prioritats, no una llista a l'atzar.

    OpenRouter · Models i routing arlaf.dev
  3. Com funciona la cadena

    OpenRouter prova els models en ordre. Si el primer no està disponible o retorna error, passa al següent, i així fins que un respon o s'esgota la llista.

    OpenRouter · Models i routing arlaf.dev
  4. Un body amb cadena de fallbacks

    {
      "models": [
        "anthropic/claude-3.5-sonnet",
        "openai/gpt-4o",
        "meta-llama/llama-3.1-70b-instruct"
      ],
      "messages": [
        { "role": "user", "content": "Resumeix aquest text." }
      ]
    }
    
    OpenRouter · Models i routing arlaf.dev
  5. Per què importa

    Un proveïdor pot caure, saturar-se o rebutjar una petició. Amb fallbacks, la teva app continua responent sense que hi hagis d'afegir reintents ni lògica de captura.

    OpenRouter · Models i routing arlaf.dev
  6. El primer que respongui guanya — la teva app no s'atura per la caiguda d'un proveïdor.
    OpenRouter · Models i routing arlaf.dev
Llegir la nota completa

Triar un model és tan senzill com posar el seu slug al camp model. Però quan una petició ha de ser resilient, OpenRouter et dóna una eina millor: l’array models.

Una cadena, no una llista

En comptes d’enviar un sol model, envies un array models amb diversos slugs. L’ordre és el que mana: és una cadena de fallbacks prioritzada, on el primer element és la teva opció preferida i la resta són plans B, C, etc.

Com es recorre la cadena

OpenRouter prova el primer model de la llista. Si està disponible i respon, has acabat. Si no — perquè el proveïdor està caigut, saturat o retorna un error — salta automàticament al següent model de l’array, i així successivament fins que un respon o s’esgota la llista.

{
  "models": [
    "anthropic/claude-3.5-sonnet",
    "openai/gpt-4o",
    "meta-llama/llama-3.1-70b-instruct"
  ],
  "messages": [
    { "role": "user", "content": "Resumeix aquest text." }
  ]
}

Per què val la pena

Els proveïdors fallen: hi ha talls, pics de demanda i peticions rebutjades. Sense fallbacks hauries d’escriure tu mateix la lògica de reintent i de captura d’errors, repartida per tota l’aplicació. Amb l’array models, aquesta resiliència viu dins de la petició: defineixes alternatives una sola vegada i OpenRouter s’encarrega de la commutació.

Nota: el nom exacte del camp i el seu comportament (quins errors disparen el fallback, com es factura cada intent) poden variar. Confirma-ho a la documentació vigent d’OpenRouter abans de dependre’n en producció.

El resultat pràctic és una app que degrada amb elegància: si el teu model favorit no està, segueix funcionant amb el següent en comptes de tornar un error a l’usuari.