Notas sobre inferencia de LLM asequible, cómputo distribuido en GPU, API compatibles con OpenAI y la ingeniería detrás de la plataforma. Lo más reciente primero.
No es un benchmark: es una semana de tráfico de producción sin editar: 17,757 trabajos, 11.9M de tokens en gpt-oss:20b, qwen3:32b y un modelo de visión. MicroDC.ai facturó $0.21; las tarifas publicadas por AWS Bedrock para los mismos tokens en los mismos modelos suman ~$2.35. Incluye los comprobantes, las salvedades y el cálculo de autoalojamiento en EC2.
Su prompt se cifra antes de salir de su máquina; su resultado solo puede descifrarlo usted. Cada clave, cada salto, cada borrado: cargas con AES-256-GCM, resultados envueltos con RSA-4096, restricción a workers gestionados, además de un mapa honesto de dónde la garantía es matemática y dónde es confianza operativa.
Hermes es el agente de IA personal de código abierto de NousResearch: memoria persistente, habilidades, herramientas, voz. También consume muchos tokens. Apunte su ruta provider: custom al endpoint compatible con OpenAI de MicroDC.ai y reduzca el costo por llamada en un orden de magnitud. Configuración paso a paso.
OpenClaw es "la IA que realmente hace cosas". También realiza muchas llamadas a modelos. Apunte su gateway al endpoint compatible con OpenAI de MicroDC.ai y reduzca el costo por llamada en un orden de magnitud. Configuración paso a paso.
Si su carga de trabajo es procesamiento nocturno de documentos, enriquecimiento de conjuntos de datos o generación de contenido, está pagando una prima de tiempo real a cambio de nada. Aquí está el cálculo de por qué el procesamiento por lotes cuesta una fracción del mismo trabajo en GPU dedicadas.
Apunte su cliente openai existente a otro base_url y conserve el resto de su código. Listas de contenido multimodal, LangChain, LlamaIndex: todo funciona. Dónde reemplaza a OpenAI y dónde no, con código.
El precio de las GPU en los hiperescaladores es función de la utilización, la amortización del CapEx y una prima de tiempo real que usted paga incluso cuando no la necesita. Un mercado distribuido invierte los tres factores. Cifras y compromisos.
Créditos gratis para empezar. Sin tarjeta de crédito. Cinco minutos desde el registro hasta el primer resultado.