Streaming and tool calling

SSE streaming and tool calling work like on OpenAI, but support varies per model — check it before relying on it.

June 2, 2026 6 slides 5 min read

OpenRouter · Integració

Streaming and tool calling

The same features as OpenAI, with a per-model caveat.
Two key features

Streaming gives you tokens as they're generated; tool calling lets the model request running your functions. Both speak OpenAI's dialect.
- stream=true → token chunks over SSE.
- tools=[...] → the model returns tool_calls.
- Actual support depends on the model you pick.
OpenRouter · Integration arlaf.dev

Streaming in Python

stream = client.chat.completions.create(
    model="openai/gpt-4o",  # exemple
    messages=[{"role": "user", "content": "Explica'm SSE en una frase."}],
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="", flush=True)

Tool calling in TypeScript

const tools = [{
  type: "function",
  function: {
    name: "get_weather",
    description: "Temps actual d'una ciutat",
    parameters: {
      type: "object",
      properties: { city: { type: "string" } },
      required: ["city"],
    },
  },
}];

const resp = await client.chat.completions.create({
  model: "anthropic/claude-3.5-sonnet", // exemple
  messages: [{ role: "user", content: "Quin temps fa a Girona?" }],
  tools,
});

const calls = resp.choices[0].message.tool_calls;
// calls[0].function.name === "get_weather"
// → executes la teva funció i tornes el resultat com a missatge "tool"

The important caveat

Not every model accepts tools or streaming the same way. Ask for tools on a model that doesn't support them and it'll ignore them or fail. Check before building on it.
The API is uniform; the model's capabilities aren't. Always check the catalog.

Read the full note

Un cop tens el client apuntant a OpenRouter, dues funcions que ja coneixes d’OpenAI funcionen tal qual: el streaming i el tool calling. La mateixa forma de petició, els mateixos camps de resposta. El que canvia és que ara darrere hi pot haver qualsevol model del catàleg.

Streaming: tokens en directe

Amb stream=true la resposta arriba com un flux de SSE (server-sent events): petits chunks amb un delta que vas concatenant. És el que dóna la sensació de “escriure en viu” a un xat. El bucle és idèntic al d’OpenAI — iteres sobre el flux i imprimeixes cada tros que arriba.

Tool calling: que el model demani funcions

Amb tools=[...] descrius funcions (nom, descripció i un esquema JSON dels paràmetres). El model decideix si en vol cridar alguna i, si ho fa, no respon text sinó un tool_calls amb el nom i els arguments. Tu executes la funció de veritat, hi tornes el resultat com un missatge de rol tool, i el model continua la conversa amb aquesta dada a la mà.

El detall que no pots ignorar

Aquí és on el caràcter d’agregador d’OpenRouter es nota: l’API és uniforme, però les capacitats no. Un model pot suportar streaming i no tools; un altre pot acceptar tools però amb matisos de format. Si demanes una funció que el model no sap fer, el millor cas és que l’ignori i el pitjor que la petició falli.

Nota: el suport de streaming, tools i sortida estructurada varia per model. Contrasta sempre amb el catàleg d’OpenRouter quines capacitats té el model concret abans de dependre’n en producció.