Tema de la semana

El fin de la "espera" en la IA ha llegado

A veces esperar a que la IA te responda te corta el rollo, esa concentración de trabajo que te ha costado mantener y que escapa esperando la respuesta que necesitas para continuar.

Pues una startup llamada Taalas ha decidido que ya basta de esperar y ha fabricado algo que me parece una barbaridad.

Esto es lo que ha pasado.

Hasta ahora, la IA es "software" que corre sobre "hardware" genérico (las famosas GPUs de Nvidia).

Las GPUs son increíbles porque son flexibles: hoy sirven para entrenar un modelo de vídeo y mañana para procesar texto.

Pero esa flexibilidad tiene un precio: lentitud y un consumo de energía brutal.

Taalas ha dicho: "Vamos a dejar de ser flexibles para ser ridículamente rápidos".

Han creado el chip HC1, donde no "cargan" el modelo, sino que lo "imprimen" directamente en el silicio.

➡️ Primera lección: La especialización siempre gana a la generalización cuando buscas rendimiento extremo.

Es como la diferencia entre un reproductor de música (que lee cualquier archivo) y una caja de música mecánica. La caja solo toca una canción, pero la toca al instante y sin gastar apenas batería.

Chat Jimmy: ⚡️

El resultado es Chat Jimmy, un modelo que corre a 17,000 tokens por segundo.

Para que te hagas una idea: una Nvidia H200 (que cuesta una pasta) se queda en los 2,000 tokens/seg.

Con Chat Jimmy, no hay "streaming" de texto. Le das al Enter y la respuesta aparece completa. Al momento.

➡️ Segunda lección: En el mundo de la IA, la velocidad no es solo una métrica, es una nueva categoría de producto.

Cuando eliminas la latencia, el caso de uso cambia. Ya no es "escribir un mail". Es tener un agente de voz que te interrumpe en tiempo real porque su cerebro va más rápido que el tuyo.

Pero lo más interesante no es solo la velocidad. Es el coste.

Al meter la IA directamente en el chip, eliminan la necesidad de memorias carísimas. El coste de ejecución cae un 20x.

➡️ Tercera lección: Quien consiga bajar el coste de la inteligencia a niveles de "commodity", se queda con el mercado.

Esto es lo que debes quedarte: La mayoría de founders están peleando por ver quién usa el modelo más grande en la nube. Taalas está demostrando que el futuro podría estar en modelos más pequeños, pero integrados directamente en el hardware de nuestro bolsillo, de nuestra casa o de nuestra oficina.

Fíjate en este movimiento que me parece brillante: han lanzado una demo sencilla para que la gente "sienta" la velocidad antes de vender el chip.

Si quieres sentir lo que es trabajar sin esperar a que la IA piense, puedes probar la demo aquí:

Es solo un modelo 8B (no le pidas que resuelva física cuántica avanzada), pero la sensación de inmediatez te va a volar la cabeza.

Si estás construyendo el próximo unicornio de IA, quizás tu ventaja competitiva no sea el código, sino entender dónde va a vivir ese código.

Últimas 24h 👉🏻El camino de la IA

Probar Chat Jimmy es adictivo porque la velocidad enamora.

Y hablando de enamorar (o de no romperte el corazón)...

Tengo una noticia…

Mi curso para El camino de la IA está a punto de subir.

Ahora mismo tiene un precio de lanzamiento muy competitivo para suscriptores, hay otros masters que solo por esto te cobran 2000€.

Pero en 24 horas, exactamente este domingo a esta misma hora, el precio va a subir.

Y no va a subir un poquito. Va a subir lo suficiente como para que el "yo del futuro" te odie por no haber hecho clic hoy.

Si quieres tomarte en serio esto de la IA y aprender las reglas del juego:

Hazlo por ti, por tu bolsillo y porque me caería fatal que pagues más por lo mismo dentro de dos días.

Nos vemos dentro,
Jairo

AI Founders Club 💛

Keep Reading