El punto de partida
Un producto que usa modelos de IA depende de proveedores que se caen o cortan el servicio cuando se acaba la cuota.
QuotaMax Router
Saber qué modelo de IA atendió cada pedido y cuánto presupuesto queda
Infraestructura de IAEn desarrollo
QuotaMax Router reparte los pedidos entre modelos de IA, pasa a otro cuando uno falla o se queda sin cuota y muestra cuánto se consumió.
Recorré el sistema.
1 pantallas reales de QuotaMax Router.
Sabés qué modelo atendió cada pedido y cuánta cuota te queda antes de que se corte.
Capturas del sistema funcionando con datos ficticios, tomadas el .
Cómo lo armamos.
Herramienta de código abierto que reparte los pedidos entre modelos de IA, cambia de modelo cuando uno falla y muestra cuánto presupuesto queda.
Lo que trababa el trabajo
Sin límites ni un modelo de reserva, la falla aparece tarde: cuando el cliente ya no recibe respuesta.
Lo que construimos
El router controla cuotas y presupuesto, pasa a otro modelo cuando uno falla, mide todo con Prometheus y trae alertas y una guía de operación.
- Módulos
- Cuotas
- Presupuesto
- Modelo de reserva
- Chequeos de salud
- Alertas
- Tecnología
- Python
- FastAPI
- Prometheus
- GitHub Actions
Contanos cómo trabajás hoy.
¿Tu producto usa modelos de IA?
Lo armamos sobre las herramientas que ya usás, para que el trabajo repetido salga solo y vos revises lo importante.
Escribís directo a nuestro WhatsApp; esta página no guarda tus datos. Leer el aviso de privacidad