Skip to content

← Modelos y routing

Selección de modelo y fallbacks

El array "models" define una cadena de fallbacks ordenada. Si el primero falla, OpenRouter prueba el siguiente. Resiliencia sin código extra.

6 slides 4 min de lectura
  1. OpenRouter · Models i routing

    Selección de modelo y fallbacks

    Una lista ordenada de modelos por si el primero no responde.

    OpenRouter · Modelos y routing arlaf.dev
  2. De "model" a "models"

    Además del campo "model" con un solo slug, puedes enviar un array "models" con varios. Es una cadena de prioridades, no una lista al azar.

    OpenRouter · Modelos y routing arlaf.dev
  3. Cómo funciona la cadena

    OpenRouter prueba los modelos en orden. Si el primero no está disponible o devuelve error, pasa al siguiente, y así hasta que uno responde o se agota la lista.

    OpenRouter · Modelos y routing arlaf.dev
  4. Un body con cadena de fallbacks

    {
      "models": [
        "anthropic/claude-3.5-sonnet",
        "openai/gpt-4o",
        "meta-llama/llama-3.1-70b-instruct"
      ],
      "messages": [
        { "role": "user", "content": "Resumeix aquest text." }
      ]
    }
    
    OpenRouter · Modelos y routing arlaf.dev
  5. Por qué importa

    Un proveedor puede caerse, saturarse o rechazar una petición. Con fallbacks, tu app sigue respondiendo sin que tengas que añadir reintentos ni lógica de captura.

    OpenRouter · Modelos y routing arlaf.dev
  6. El primero que responda gana — tu app no se detiene por la caída de un proveedor.
    OpenRouter · Modelos y routing arlaf.dev
Leer la nota completa

Triar un model és tan senzill com posar el seu slug al camp model. Però quan una petició ha de ser resilient, OpenRouter et dóna una eina millor: l’array models.

Una cadena, no una llista

En comptes d’enviar un sol model, envies un array models amb diversos slugs. L’ordre és el que mana: és una cadena de fallbacks prioritzada, on el primer element és la teva opció preferida i la resta són plans B, C, etc.

Com es recorre la cadena

OpenRouter prova el primer model de la llista. Si està disponible i respon, has acabat. Si no — perquè el proveïdor està caigut, saturat o retorna un error — salta automàticament al següent model de l’array, i així successivament fins que un respon o s’esgota la llista.

{
  "models": [
    "anthropic/claude-3.5-sonnet",
    "openai/gpt-4o",
    "meta-llama/llama-3.1-70b-instruct"
  ],
  "messages": [
    { "role": "user", "content": "Resumeix aquest text." }
  ]
}

Per què val la pena

Els proveïdors fallen: hi ha talls, pics de demanda i peticions rebutjades. Sense fallbacks hauries d’escriure tu mateix la lògica de reintent i de captura d’errors, repartida per tota l’aplicació. Amb l’array models, aquesta resiliència viu dins de la petició: defineixes alternatives una sola vegada i OpenRouter s’encarrega de la commutació.

Nota: el nom exacte del camp i el seu comportament (quins errors disparen el fallback, com es factura cada intent) poden variar. Confirma-ho a la documentació vigent d’OpenRouter abans de dependre’n en producció.

El resultat pràctic és una app que degrada amb elegància: si el teu model favorit no està, segueix funcionant amb el següent en comptes de tornar un error a l’usuari.