El 'Airbnb' de la inferencia: startups que alquilan potencia de computación para IA

Las startups Far Labs y Evolving Edge están impulsando un innovador modelo de negocio que capitaliza la capacidad de procesamiento no utilizada de ordenadores de sobremesa en todo el mundo, ofreciendo esta potencia a empresas de Inteligencia Artificial (IA) para tareas de inferencia. Este enfoque se presenta como una alternativa distribuida a los tradicionales centros de datos, que enfrentan una creciente presión debido a la demanda de recursos computacionales.

Este nuevo modelo surge como respuesta a las necesidades de los centros de datos, que no solo se utilizan para entrenar modelos de IA, sino también para realizar inferencias, es decir, aplicar modelos entrenados para responder a consultas comunes en plataformas como ChatGPT y otros chatbots. Far Labs, con sede en Abu Dabi, y Evolving Edge, en Austin, Texas, buscan posicionarse como el 'Airbnb' de la inferencia, aliviando la carga de los centros de datos mediante una red global de computación distribuida, que además ofrece beneficios a los usuarios que alquilan sus dispositivos.

El auge de la IA ha llevado a la construcción de grandes centros de datos, que a menudo impactan negativamente a las comunidades locales, elevando los costos de electricidad, agotando recursos hídricos y generando ruido y contaminación. En este contexto, estas plataformas se enfocan en modelos más pequeños y de código abierto, limitándose a la inferencia, ya que el entrenamiento de modelos de IA requiere miles de unidades de procesamiento gráfico (GPU) sincronizadas y físicamente cercanas, lo que dificulta su implementación en una red distribuida.

Estas startups canalizan tareas de inferencia de clientes a través de dispositivos individuales, garantizando la seguridad del equipo anfitrión mediante la creación de entornos cerrados ('sandbox'), comunicación cifrada y estrictos límites de acceso a recursos computacionales.

El modelo de Far Labs, conocido como Far AI, aún no está operativo, pero se espera su lanzamiento en las próximas semanas. Este servicio promete una latencia de 100 ms o menos, generando ingresos estimados de 4.41 dólares al mes y un retorno de hasta el 233% sobre el costo de la electricidad.

Por su parte, Evolving Edge se encuentra en una etapa más avanzada, con una beta abierta en funcionamiento. Su plataforma utiliza Ray, un marco de trabajo de código abierto común en centros de datos tradicionales, con el objetivo de distribuir tareas de manera eficiente. La transparencia y el código abierto son pilares de su propuesta, presentándose como una alternativa 'social' a los centros de datos. Su director ejecutivo, John Federico, afirma que la red podría seguir operando incluso si pierde hasta 100 de sus 250,000 nodos, lo que la hace menos vulnerable a fallos totales en comparación con los centros de datos convencionales.

Sin embargo, es importante tener en cuenta que las promesas de costo y latencia de ambas startups son aún por confirmar.