← Tornar al blog
Guia tècnica · Per a desenvolupadors

Qwen 3.8 27B per a desenvolupadors: context d’1M, agents de codi i API privada a Europa

Fer servir agents de codi en repositoris reals fa aflorar tres problemes de seguida: la factura per token es dispara en bucles llargs amb eines, el codi propietari surt d’Europa cap a proveïdors amb polítiques de retenció poc clares, i executar models en local amb quantització de 4 bits es queda sense memòria molt abans de carregar una base de codi gran. Qwen 3.8 27B (qwen3.8-27b), amb llicència Apache-2.0, retalla bona part de la distància respecte a models tancats molt més grans, i a Vora Compute el servim en FP8 amb 1.000.000 de tokens de context darrere d’una API compatible amb OpenAI allotjada a la Unió Europea i sense retenció de prompts.

Per què Qwen 3.8 27B encaixa en fluxos d’agents de codi

Qwen 3.8 27B és un model dens multimodal de 27.000 milions de paràmetres publicat per l’equip de Qwen sota llicència Apache-2.0. La seva arquitectura de 64 capes alterna blocs lineals Gated DeltaNet amb capes completes de Gated Attention (16 × (3 × Gated DeltaNet → 1 × Gated Attention)), cosa que fa viable la inferència en seqüències llargues sense perdre capacitat de raonament entre múltiples fitxers.

En programació, treball de terminal i lectura de documentació tècnica, la fitxa oficial de Qwen3.8-27B a Hugging Face recull aquests resultats:

Resultats de Qwen 3.8 27B en benchmarks de codi, agents i documents publicats a Hugging Face
BenchmarkQuè avaluaPuntuació publicada
LiveCodeBench v6Programació competitiva i algorísmia90,3
OmniDocBench 1.5Lectura estructurada de documents tècnics91,1
GPQA DiamondRaonament tècnic i científic avançat89,2
QwenSWEBenchTasques completes d’enginyeria de programari79,0
IFBenchSeguiment estricte d’instruccions79,5
Terminal Bench 2.1 (Terminus)Execució d’ordres en terminal pas a pas73,0
SWE-bench ProCorrecció de bugs i pegats en repositoris reals61,7
NL2Repo-BenchGeneració de codi a escala de repositori42,3
DeepSWE 1.1Programació agèntica d’horitzó llarg (256K)42,2

Aquestes xifres situen un model obert de 27B en terreny pràctic per al dia a dia: refactoritzacions, generació de proves, depuració en terminal, revisió de canvis i lectura d’especificacions llargues, sobretot quan l’agent executa eines i valida cada canvi contra els teus tests.

Com funciona el context d’1M a la pràctica

Qwen 3.8 27B té una finestra nativa de 262.144 tokens, estesa fins a 1.000.000 de tokens mitjançant l’escalat oficial YaRN factor 4. Convé tenir present aquest matís: 1M és context estès, no longitud nativa de preentrenament, i en producció rendeix més quan s’utilitza amb criteri.

A Inferència:

  • El sostre d’1.000.000 de tokens inclou l’entrada exacta renderitzada (prompt de sistema, esquemes d’eines, historial, fitxers i imatges) més els tokens de sortida reservats.
  • La sortida per defecte és de 8.192 tokens, ampliable fins a 32.768 tokens per petició (max_tokens o max_completion_tokens).
  • El cos JSON complet no pot superar 15 MiB. Si una petició passa del límit es rebutja explícitament; mai no es trunca en silenci.
  • La memòria cau de prefix viu només en memòria volàtil de GPU i aïllada per compte (dos comptes mai no comparteixen entrades i res no s’escriu a disc).

En el treball diari convé mantenir sessions compactes per a edicions rutinàries —el prefill és més ràpid i la precisió és màxima— i reservar els prompts de 256K a 1M per a tasques que realment ho demanin: auditar dependències entre molts mòduls, revisar registres extensos d’incidents o carregar una especificació sencera d’un sol cop.

En peticions de més de 262.144 tokens la preparació inicial abans del primer token triga més. Vora permet fins a 30 minuts abans del primer token i 60 minuts en total, de manera que convé configurar el timeout del client o agent com a mínim a 61 minuts (3.660 s) quan enviïs contextos molt llargs.

Ajustar reasoning_effort en bucles llargs d’agents

Per defecte, Qwen 3.8 27B raona abans de respondre. Això millora els resultats en bugs complexos o canvis d’arquitectura, però allarga innecessàriament les edicions mecàniques. A Vora cada petició accepta reasoning_effort:

  • none — Resposta directa sense fase de raonament. Ideal per a edicions mecàniques, codi repetitiu, extracció JSON i commits ràpids.
  • low (àlies: minimal) — Traça curta per a correccions directes i refactoritzacions petites.
  • medium (per defecte) — Equilibri general per a programació amb agents i canvis en diversos fitxers.
  • high (àlies: xhigh, max) — Màxima profunditat de raonament per a bugs de concurrència, migracions i decisions d’arquitectura.

Dos detalls eviten errors freqüents en bucles d’agents:

  1. Conserva reasoning_content separat a l’historial de l’assistent. Amb stream: true, el raonament arriba a choices[0].delta.reasoning_content i la resposta final a choices[0].delta.content. Retorna reasoning_content com a camp separat al torn següent —mai no l’enganxis dins de content— per mantenir la continuïtat i reutilitzar la memòria cau de prefix.
  2. Recorda que max_tokens cobreix el raonament més la resposta final. Si passes un max_tokens curt amb reasoning_effort: "high", el model pot acabar amb finish_reason: "length" abans d’escriure la resposta final. Augmenta max_tokens (fins a 32.768) o baixa el nivell d’esforç.

Tens el detall complet dels paràmetres a Models & limits.

Com connectar Qwen 3.8 27B al teu agent de codi

Inferència exposa un endpoint Chat Completions compatible amb OpenAI a:

Base URL
https://api.voracompute.com/v1

Crea una clau a la consola de Vora i exporta-la a la sessió de terminal des d’on llances l’agent:

Terminal
export VORA_API_KEY=vora_sk_...

OpenCode

Desa aquesta configuració com a opencode.json a l’arrel del projecte (o a ~/.config/opencode/opencode.json per a tots els projectes). Declara qwen3.8-27b amb el límit d’1M, el camp de raonament i timeouts ampliats (documentació de proveïdors d’OpenCode):

opencode.json
{
  "$schema": "https://opencode.ai/config.json",
  "providers": {
    "vora": {
      "package": "@opencode/ai/providers/openai-compatible",
      "name": "Vora Compute",
      "env": ["VORA_API_KEY"],
      "settings": {
        "baseURL": "https://api.voracompute.com/v1",
        "headerTimeout": 3660000,
        "chunkTimeout": 3660000,
        "timeout": 3660000
      },
      "models": {
        "qwen3.8-27b": {
          "name": "Qwen3.8 27B",
          "limit": { "context": 1000000, "output": 32768 },
          "capabilities": {
            "tools": true,
            "input": ["text"],
            "output": ["text"],
            "reasoning": {
              "supported": true,
              "toggle": true,
              "effort": ["none", "low", "medium", "high"]
            }
          },
          "compatibility": {
            "reasoningField": "reasoning_content",
            "maxTokensField": "max_tokens",
            "streamUsage": true
          }
        }
      }
    }
  },
  "model": "vora/qwen3.8-27b"
}

Llança’l amb:

Terminal
opencode --model vora/qwen3.8-27b

Cline (VS Code)

Als ajustos de proveïdor de Cline (documentació OpenAI-compatible de Cline), introdueix:

  • API Provider: OpenAI Compatible
  • Base URL: https://api.voracompute.com/v1
  • API Key: la teva clau vora_sk_...
  • Model ID: qwen3.8-27b
  • Context Window: 1000000
  • Max Output Tokens: 32768

Continue

Afegeix VORA_API_KEY=vora_sk_... a ~/.continue/.env i aquesta entrada a ~/.continue/config.yaml (referència de Continue). Selecciona el mode Agent al teu IDE quan vulguis crides a eines:

~/.continue/config.yaml
name: My Config
version: 0.0.1
schema: v1
models:
  - name: Qwen3.8 27B (Vora)
    provider: openai
    model: qwen3.8-27b
    apiBase: https://api.voracompute.com/v1
    apiKey: ${{ secrets.VORA_API_KEY }}
    useResponsesApi: false
    roles: [chat, edit, apply]
    capabilities: [tool_use]
    defaultCompletionOptions:
      contextLength: 1000000
      maxTokens: 8192

Aider

Desa .aider.model.settings.yml al repositori per definir el límit de sortida (guia OpenAI-compatible d’Aider):

.aider.model.settings.yml
- name: openai/qwen3.8-27b
  extra_params:
    max_tokens: 8192

I executa Aider mantenint el prefix openai/:

Terminal
export OPENAI_API_BASE="https://api.voracompute.com/v1"
export OPENAI_API_KEY="$VORA_API_KEY"
aider --model openai/qwen3.8-27b

Delegar des de Claude Code o Codex amb Vora CLI

Claude Code demana un gateway compatible amb l’API d’Anthropic (/v1/messages) i Codex fa servir la Responses API (/v1/responses), de manera que cap dels dos connecta directament avui a Chat Completions. El que sí que pots fer és mantenir Claude Code o Codex com a agent principal i delegar cerques en molts fitxers, revisions de diffs, resums i edicions mecàniques a Qwen 3.8 27B amb Vora CLI (Node.js 22+, sense dependències):

Terminal
npm install -g https://inference.voracompute.com/cli/vora-0.1.2.tgz
vora login

# Només lectura per defecte; imprimeix només l’informe final per stdout
vora run "Where is the session cookie set? Cite file and line."
git diff | vora run "Review this diff for bugs."

Per defecte vora només pot llistar, llegir i cercar dins de la carpeta actual. Amb --write pot editar fitxers i amb --shell executar ordres en sandbox (a macOS, confinades a la carpeta i sense xarxa llevat que afegeixis --net). Els fitxers que solen contenir secrets (.env* excepte exemples, claus, .npmrc) es rebutgen sempre i les variables d’entorn amb aparença de credencials no passen a les ordres.

Agents propis i classificació lleugera

La mateixa URL base https://api.voracompute.com/v1 funciona amb els SDK d’OpenAI per a Python i Node, LangChain (langchain-openai), LlamaIndex (llama-index-llms-openai-like) i Vercel AI SDK (@ai-sdk/openai-compatible). Tens els exemples a Set up your agent.

Si el teu pipeline també fa comprovacions binàries, encaminament o puntuació sobre textos (per exemple, classificar tiquets o detectar incidències de facturació) on un model de xat amb raonament sobra, Vora serveix també GLiDE 9B a l’endpoint /v1/systemone, retornant probabilitats.

Maquinari local enfront d’una API privada a Europa

Molts desenvolupadors proven primer Qwen 3.8 27B en local amb Ollama o llama.cpp en format GGUF de 4 bits (~17,8 GB de pesos en una GPU de 24–32 GB). En local funciona bé per editar fitxers solts sense connexió, però topa aviat amb límits reals en fluxos d’agents: la quantització a 4 bits redueix precisió en contextos llargs, la memòria del KV cache retalla molt la finestra real per sota d’1M en una sola GPU d’escriptori, i compartir-ho en un equip afegeix càrrega d’operació.

Comparativa entre estació local GGUF 4 bits, APIs dels EUA per token i Vora Compute a Europa
FactorEstació local (GGUF 4 bits)APIs dels EUA per tokenVora Compute (Europa)
QuantitzacióHabitualment 4 bits (Q4_K_M)Depèn del proveïdorFP8 amb escales KV calibrades
Finestra de context útilLimitada per VRAM local (32K–128K habitual)Variable (128K–256K habitual)Fins a 1.000.000 de tokens
Ubicació de dadesLa teva màquinaSovint EUA o encaminament multiregióUnió Europea
Retenció de promptsCap (local)Depèn del pla i la configuracióZero retenció a l’API per defecte
Model de preuGPU + electricitat + mantenimentPagament per token (pics en bucles agèntics)19 €/mes o 192 €/any (16 €/mes) el primer any fins a l’1 de desembre de 2026 (després, 29 €/mes o 288 €/any, sense IVA); ús raonable: 2 peticions alhora

A l’API de Vora, els prompts, respostes, imatges, traces de raonament i crides a eines passen per memòria al model i tornen sense desar-se a disc. Els registres de contingut del motor, la memòria cau persistent de prompts i la memòria cau del processador d’imatges estan desactivats. Els detalls estan documentats a Privacitat de Vora.

Límits reals i quan triar un altre model

Cap model ni desplegament serveix per a tot. Abans d’integrar Qwen 3.8 27B a Vora, tingues en compte aquests límits:

  • Endpoints i paràmetres no suportats: /v1/responses i /v1/messages retornen 404. Tampoc no es donen suport a logprobs, top_logprobs, logit_bias, n > 1, àudio ni vídeo.
  • Ús raonable i concurrència: Cada compte inclou 2 peticions simultànies entre totes les seves claus API i el Xat, amb un màxim d’1 petició llarga que reservi més de 262.144 tokens. Superar aquests límits retorna 429 amb Retry-After; les peticions en espera comparteixen una cua FIFO (temps màxim en cua de 30 s, retornant un 503 reintentable si s’omple).
  • Límits d’imatge: Fins a 8 imatges inline en base64 (JPEG, PNG o WebP) i 10 MiB descodificats per petició en tot l’historial. Mai no es descarreguen URLs remotes.
  • Quan canviar de model: Per a articles científics densos, matemàtiques avançades o interpretació de gràfiques multipanell, convé fer servir nemotron-3.5-super-vl-120b — consulta la nostra guia per a científics.

Preguntes freqüents

És l’API de Qwen 3.8 27B a Vora compatible amb l’SDK d’OpenAI i agents de codi?
Sí. Apunta qualsevol client OpenAI Chat Completions a https://api.voracompute.com/v1 amb model: "qwen3.8-27b". Hi ha guies provades per a OpenCode, Cline, Continue, Aider, Cherry Studio, LangChain, LlamaIndex i Vercel AI SDK.
Qwen 3.8 27B ofereix realment 1 milió de tokens a Vora?
Sí, fins a 1.000.000 de tokens entre entrada, eines, historial i sortida reservada (estès des de 262.144 tokens natius amb YaRN factor 4), amb un límit de cos JSON de 15 MiB i sense truncament silenciós.
Desa o entrena Vora amb el meu codi font?
No. Les peticions de l’API mai no s’escriuen a disc, no es desen registres de contingut, la memòria cau de prefix resideix només en memòria volàtil de GPU aïllada per compte i la inferència corre en GPU dins de la Unió Europea.
Quant costa a Vora Compute?
29 €/mes o 288 €/any (24 €/mes) per persona, sense IVA — o 19 €/mes (i 192 €/any, 16 €/mes) el primer any si et subscrius fins a l’1 de desembre de 2026. Inclou el Xat i l’API sense comptar tokens, amb un ús raonable de 2 peticions simultànies. Cancel·la quan vulguis.

Prova Qwen 3.8 27B al teu agent de codi.

Tarifa plana en GPU europees i sense retenció a l’API: 19 €/mes o 192 €/any (16 €/mes) el primer any fins a l’1 de desembre de 2026 (després, 29 €/mes o 288 €/any, sense IVA). Ús raonable: 2 peticions alhora.

WhatsApp