Tutorial GPT-Realtime-2: voicebot paso a paso

Qué cambia respecto al gpt-realtime de 2025

La diferencia clave: la nueva familia ya no es un único modelo "todoterreno". OpenAI ha hecho la división que importa en la práctica:

gpt-realtime-2Razona, llama a herramientas, mantiene contexto largo (128K). Esfuerzo de razonamiento configurable: minimal, low, medium, high y xhigh. Para asistentes complejos.
gpt-realtime-translateNo razona, no llama a herramientas. Sólo traduce de 70+ idiomas a 13 de salida en streaming continuo. Tarifa por minuto: 0,034$.
gpt-realtime-whisperTranscripción streaming de baja latencia. Tarifa por minuto: 0,017$. Es la pieza correcta para subtítulos en vivo o notas de reunión.

Aviso útil antes de empezar: elegir el modelo equivocado se nota inmediatamente. Si usas gpt-realtime-2 solo para transcribir, pagas tokens de audio de un modelo conversacional por algo que gpt-realtime-whisper hace a 0,017 dólares por minuto. Si usas whisper para conversación, te falta razonamiento. La división tiene sentido; respétala.

Setup común

Primero el entorno. Asumo Python 3.11 y un Mac/Linux/WSL. Crea el venv y dependencias:

terminal

python -m venv .venv
source .venv/bin/activate
pip install "openai>=1.40" python-dotenv websockets sounddevice numpy

Crea un fichero .env con tu clave de API:

.env

OPENAI_API_KEY=sk-...

La librería oficial soporta WebRTC (para navegador) y WebSockets (para servidor a servidor). En este tutorial voy con WebSockets porque es lo que verás en producción de un voicebot que se conecta a una centralita o a un webhook de Twilio.

Prueba 1: asistente conversacional con razonamiento

Quiero un agente que conteste preguntas razonadas sobre el calendario y el CRM. La sesión se abre así:

asistente.py

import os, json, asyncio, websockets
from dotenv import load_dotenv

load_dotenv()
OPENAI_API_KEY = os.environ["OPENAI_API_KEY"]
URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"

session_config = {
  "type": "session.update",
  "session": {
    "type": "realtime",
    "output_modalities": ["audio"],
    "instructions": "Eres el asistente de AITECA. Habla en español. Antes de actuar, anuncia con preámbulos lo que vas a hacer.",
    "reasoning": { "effort": "low" },
    "audio": {
      "input": {
        "transcription": { "model": "gpt-realtime-whisper" },
        "turn_detection": { "type": "server_vad", "threshold": 0.5 }
      },
      "output": { "voice": "marin" }
    },
    "tools": [{
      "type": "function",
      "name": "consultar_calendario",
      "description": "Devuelve la disponibilidad del usuario",
      "parameters": {
        "type": "object",
        "properties": { "fecha": { "type": "string" } },
        "required": ["fecha"]
      }
    }]
  }
}

Revisión del código: tres cosas merecen lectura.

reasoning.effort: "low" es el punto de partida que recomienda OpenAI para agentes de voz en producción. Súbelo a "medium" solo si el agente necesita razonar más: cada nivel añade latencia y consumo, y al teléfono se nota.
audio.input.transcription apunta a gpt-realtime-whisper en lugar del whisper-1 clásico. Diferencia operativa: el subtítulo aparece "mientras se habla", no al cerrar la frase.
audio.input.turn_detection en server_vad delega la detección de fin de turno al servidor, que es bastante mejor que el VAD local. Threshold 0.5 funciona para entornos de oficina; bajar a 0.3 en salas ruidosas.

Veredicto: aprobado. La conversación fluye y los preámbulos ("déjame mirar tu calendario...") funcionan en español sin caer al inglés. La única arista: si el cliente habla por encima del bot, las interrupciones se gestionan limpio sólo si turn_detection está en server_vad. Con el VAD del cliente la cosa cojea.

Prueba 2: traducción simultánea (gpt-realtime-translate)

Caso: una agencia inmobiliaria con clientes extranjeros que llaman en inglés y la agente atiende en castellano.

Para configurarlo, sigue la ficha oficial de gpt-realtime-translate: es un modelo pensado solo para traducir y se conecta por su propia vía de traducción, distinta de la del asistente.

Veredicto: aprobado con matices. La traducción inglés→español va sobresaliente, la francés→español va notable, la alemán→español pierde matiz en términos técnicos pero es usable. El matiz crítico: si el audio de origen ya está en idioma destino (cliente despistado que arranca en español), el modelo lo deja pasar tal cual; eso evita los "bucles de retraducción" que veíamos con montajes caseros. Para llamadas de atención al cliente en varios idiomas, esta pieza evita tener que montar un sistema de traducción propio.

Prueba 3: transcripción en directo (gpt-realtime-whisper)

Caso: notas de reunión en vivo, subtítulos para webinars. Solo transcripción, sin razonamiento.

Para configurarlo, abre una sesión de tipo transcription siguiendo la referencia oficial de la Realtime API: el modelo no genera voz, solo devuelve el texto mientras se habla.

Veredicto: aprobado. Las palabras aparecen mientras se habla, el reconocimiento de nombres propios castellanos es mejor que el whisper-1 clásico, y la diarización (saber quién habla) si pasas múltiples canales sigue siendo limitada. Para reuniones de varios participantes recomiendo separar canales por persona, no confiar en la diarización automática.

Cómo encaja todo: el patrón "tres modelos en un voicebot"

Para un voicebot empresarial real (clínica, despacho, ecommerce), no hace falta usar el modelo grande para todo. Esta combinación funciona bien:

Cerebro: gpt-realtime-2 (razonamiento medio) para la conversación con el cliente.
Traducción: gpt-realtime-translate como adaptador si el cliente cambia de idioma a media llamada.
Registro: gpt-realtime-whisper en paralelo grabando la transcripción para CRM/compliance.

Análisis de coste real (para una empresa española típica)

Cuenta gruesa para una clínica que recibe 400 llamadas/mes con duración media de 4 minutos:

Audio de entrada y salida con gpt-realtime-2: se cobra por tokens (32 dólares por millón de tokens de audio de entrada y 64 por millón de salida, según OpenAI). Mide el consumo de tus primeras llamadas reales antes de extrapolarlo a 1.600 minutos.
Transcripción paralela con whisper: 1.600 × 0,017$ = 27$ ≈ 25€/mes.
Translate sólo si aplica: 0€ en una clínica monolingüe.
La telefonía (el número y la conexión SIP con un operador como Twilio o Bird) se paga aparte, según la tarifa de cada operador.

El total depende del volumen y la duración de tus llamadas. Para estimar lo que te ahorrarías en tu caso, usa nuestra calculadora de ahorro con IA.

Errores frecuentes que vi en mis pruebas

Lo que más rompe en producción

Confundir el modelo correcto para la tarea. Si tu bot solo transcribe, pasa a whisper.
Olvidar el server_vad. El VAD del cliente se equivoca cuando hay ruido y rompe interrupciones limpias.
No definir instructions con la voz corporativa. Por defecto el modelo es genérico; conviene afinar tono, idioma de fallback y políticas de derivación a humano.
Subir reasoning.effort a "high" cuando no hace falta. La latencia se dispara y la factura también.

La barrera para montar un voicebot empresarial real en 2026 no es técnica. Está en el diseño de la conversación, en el paso a una persona y en la integración con tu CRM o centralita. Si no programas y quieres saber si un agente de voz tiene sentido en tu negocio, mira nuestros agentes de voz con IA o empieza por una consultoría de IA en tu empresa.

Fuentes

Fuentes consultadas el 26 de septiembre de 2026.

AITECA es una agencia y consultora de inteligencia artificial de Alicante. Vamos a tu negocio, vemos contigo por dónde empezar con la IA y, si quieres, construimos las soluciones. Conoce al equipo

Tutorial GPT-Realtime-2: tres pruebas, tres veredictos para montar un voicebot real