Cuando se creó el servicio de transmisión de código abierto Apache Kafka en 2011 en LinkedIn, era un mundo diferente. La mayoría de las empresas todavía estaban en sus instalaciones. La noción de computación en la nube apenas comenzaba a surgir. corriente de deformaciónuna startup en etapa inicial, ve el valor del streaming en un contexto nativo de la nube y creó una nueva solución desde cero basada en el protocolo Apache Kafka, pero diseñada para la era de la nube.
Hoy la empresa anunció una inversión de 20 millones de dólares.
El director ejecutivo de WarpStream, Richard Artoul, dice que él y su cofundador, el director de tecnología Ryan Worl, descubrieron en sus trabajos anteriores que trasladar datos a Kafka era complejo y costoso y querían cambiar eso. “Si estuvieras construyendo algo hoy que se pareciera a Apache Kafka como lo hicimos con WarpStream, adoptarías un enfoque realmente diferente al que se adoptó en 2011, cuando se diseñó Kafka por primera vez, y por eso creemos que ahora es un muy buen momento para nosotros. construir algo nuevo que realmente pueda reducir significativamente los costos y la carga operativa para las personas”, dijo Artoul a TechCrunch.
La forma en que lo hacen es aprovechando el entorno de nube actual para separar la computación del almacenamiento mediante un servicio de almacenamiento de objetos como Amazon S3. Al adoptar este enfoque, han podido eliminar los costos de redes entre zonas, que a menudo representan el 80% o más del costo total de ejecutar cargas de trabajo Kafka a gran escala, según la compañía.
“Cuando interactúas y almacenas datos en el almacenamiento de objetos en la nube, puedes eludir todas estas tarifas de red que afectan a estos sistemas de big data cuando se elevan y se trasladan a la nube”, dijo. “Y muchos de los problemas realmente difíciles relacionados con la durabilidad y la replicación de los datos que Kafka tuvo que resolver por sí solo copiando los datos tres veces, replicando y asegurándose de que los datos nunca se perdieran, podemos descargar esos problemas al capa de almacenamiento de objetos en sí, y eso termina haciendo que el sistema sea mucho más fácil y barato de operar”.
Artoul y Worl trabajaban juntos en Datadog cuando ayudaron a desarrollar un sistema de almacenamiento llamado Husky. Hoy en día, si un cliente de DataDog busca en los registros de su aplicación, en realidad está usando Husky. Datadog también era un gran usuario de Kafka. “Basándonos en nuestra experiencia en la construcción del tipo de sistema de almacenamiento además del almacenamiento de objetos que habíamos creado en DataDog, sentimos que los sistemas de transmisión deberían funcionar de la misma manera. Y por eso el año pasado dejamos Datadog para empezar a trabajar en ello”, dijo.
Están adoptando dos enfoques, uno en el que los clientes pueden esencialmente traer su propia nube e instalar WarpStream, y otro en el que ofrecen una opción sin servidor totalmente administrada. La versión BYOC está disponible a partir de hoy. La compañía también incluyó una calculadora directamente en la página de precios para calcular cuánto costará ejecutar WarpStream.
Los fundadores trajeron a algunas de las personas que ayudaron a construir Husky para construir el nuevo sistema y hoy tienen 9 empleados. La buena noticia es que están contratando y esperan duplicar el número de empleados para fin de año.
La inversión de 20 millones de dólares fue liderada por Greylock y Amplify Partners, y algunas luminarias de la industria de datos también contribuyeron con inversiones ángeles.