MP04 · UD2 · Componentes de interaccion con el modelo
3 · Comunicacion con el modelo via API (III)
Streaming y gestion de limites de uso
Streaming — mostrar la respuesta mientras se genera:
with client.messages.stream(
model="claude-opus-4-5",
max_tokens=512,
messages=[{"role": "user", "content": pregunta}]
) as stream:
for texto in stream.text_stream:
print(texto, end="", flush=True)
Gestion de limites de uso:
- Monitorizar el uso acumulado de tokens por periodo (diario / mensual)
- Implementar cuotas por usuario o por servicio
- Registrar cada llamada: timestamp, modelo, tokens entrada/salida, coste estimado, latencia
log_entry = {
"timestamp": datetime.utcnow().isoformat(),
"modelo": respuesta.model,
"tokens_entrada": respuesta.usage.input_tokens,
"tokens_salida": respuesta.usage.output_tokens,
"coste_estimado_usd": calcular_coste(respuesta.usage, modelo=respuesta.model)
}