Cuando los desarrolladores tienen un trabajo particular que la IA puede resolver, normalmente no es tan simple como simplemente apuntar un LLM a los datos. Hay otras consideraciones, como el costo, la velocidad y la precisión, y encontrar formas de equilibrarlos ha sido particularmente desafiante, especialmente con tantos modelos nuevos en línea todo el tiempo.
Ahí es donde Unificar Entra, una startup británica de un alumno del Imperial College, que ha creado una herramienta de enrutador que permite a los desarrolladores ingresar parámetros y encontrar el mejor LLM para sus requisitos únicos, cualesquiera que sean. El miércoles, la compañía anunció una inversión de 8 millones de dólares.
“El principal objetivo de Unify es descubrir qué modelos y qué proveedores son mejores para su tarea utilizando puntos de referencia objetivos y paneles que le permitan compararlos”, dijo a TechCrunch el fundador y director ejecutivo de la empresa, Daniel Lenton.
“El enrutador es efectivamente una especie de extensión natural de este proceso, particularmente a medida que las empresas comienzan a implementarlo a escala y la velocidad y el costo se vuelven más importantes. Entonces, lo que realmente estamos tratando de hacer es brindar a las personas mucho más control sobre la calidad, el costo y el perfil de velocidad de sus solicitudes de LLM”, dijo Lenton.
Como era de esperar, Unify utiliza IA para ejecutar la aplicación del enrutador central. “Nuestro enrutador en sí es una red neuronal aprendida. Así aprende qué modelos son mejores para realizar qué tareas”, dijo. La compañía hace esto ejecutando pruebas comparativas exhaustivas en cada nuevo modelo en todas estas tareas utilizando GPT Pro como juez. A partir de esto, el sistema aprende qué tan bien este modelo realizó ciertas tareas en sus conjuntos de entrenamiento.
“Así que, muy rápidamente, cualquier proveedor de nuevo modelo es compatible con el enrutador, básicamente uno o dos días después”, dijo.
Lenton dice que el enrutador, y cómo han construido un modelo único para entrenarlo, es en sí mismo una forma de defender lo que está haciendo su startup de la invasión de los jugadores más grandes, eso y el hecho de que son neutrales, y los hiperescaladores podrían No ser.
Dijo que normalmente los clientes simplemente experimentan con diferentes modelos y no tienen una herramienta para rastrear cuál es el mejor.
“Hay personas que tienen problemas difíciles y que están dispuestas a probar una solución existente. Así que creo que así es como logramos poner un pie en la puerta”, dijo.
Si bien existen competidores como Martian Router, OpenRouter y Portkey, Lenton dice que su empresa es la única que optimiza conjuntamente la calidad, el costo y la velocidad.
La empresa es pequeña en este momento con siete empleados y la mantiene intencionalmente eficiente mientras trabaja para conseguir un producto totalmente monetizado en el mercado. El plan es incorporar tres empleados más este año.
Informa alrededor de 3000 registros hasta el momento con unos cientos de usuarios habituales. Esperan ganar dinero cobrando a las empresas por crear sus propios puntos de referencia personalizados. Cada empresa puede comenzar a utilizar la herramienta con un crédito de $50.
La inversión de 8 millones de dólares provino de una gran cantidad de inversores, incluidos SignalFire, M12, J12, Essence VC, A. Capital. Lunar VC, Y Combinator y un grupo de ángeles destacados de la industria.