Un veterano de la industria, Jim Keeler mostró su hoja de ruta y cuál es la estrategia y los productos de su empresa actual, TensTorrent. Entre otras cosas, habló sobre los futuros chips de la pequeña empresa de inteligencia artificial y cómo pretende lidiar con el gigante NVIDIA y su omnipresente CUDA.
TensTorrent, una startup fundada en 2016, se volvió popular cuando el veterano de la industria Jim Keller se unió a sus filas en 2020. Keller tiene experiencia previa de AMD y de Apple a Intel, y es uno de los arquitectos principales de varios procesadores históricos. Sin embargo, StartUp es una empresa muy joven en comparación con las aventuras anteriores del ingeniero y completamente especializada en hardware para acelerar la IA; Un mercado que actualmente se encuentra en crecimiento y donde diferentes situaciones aún no son seguras.
CPU de IA especializadas basadas en RISC-V de Jim Keller
Una de las partes más importantes del conjunto de instrucciones RISC-V es que es completamente gratuito y personalizable según las necesidades de cada segmento. A diferencia de ARM o x86, que son de propósito general, en el caso de ISA libre, al diseñar un chip se pueden agregar y quitar elementos a voluntad. ¿La idea? Cree chips especialmente diseñados que, si bien son programables como una CPU, no gastan recursos en elementos que no contribuyen en nada a su tarea principal. Bueno, este es el punto desde el que Jim Keller de TensTorrent comenzó a desarrollar sus chips.
Además, uno de sus puntos fuertes es que si bien existen una serie de chips ya desarrollados para clientes habituales, el hecho de apostar por RISC-V les permite ofrecer permutaciones en su arquitectura, así como distintos tipos de CPU en función de las necesidades. fuerza. Y es que la idea no es solo introducir el acelerador, sino combinar CPU e IA en un solo chip y evolucionar la arquitectura hacia el uso de tablones para diseños donde la complejidad del diseño no permite renderizar. en una ficha
Entonces, su principal ventaja sobre NVIDIA es el hecho de que no tienen un chip universal como el A100 y H100 de Apple para servidores o RTX para PC y servidores de gama alta. Por lo tanto, las empresas interesadas en sus tecnologías pueden optar por soluciones más económicas y económicamente eficientes que las de NVIDIA.
BUDA, la contraparte CUDA de TensTorrent para sus segmentos
Una de las razones por las que NVIDIA domina el mercado de tarjetas gráficas orientadas a la IA es su dominio en sus bibliotecas CUDA, que se utilizan ampliamente en la industria. Sin embargo, en palabras de Keller, no importa cuántos arreglos escalares o tensores se agreguen a la GPU, trae consigo una serie de problemas, principalmente en la eficiencia energética y la latencia.
NVIDIA ha respondido al creciente auge de la inteligencia artificial con sus GPU. Sin embargo, las tarjetas gráficas no están optimizadas para el procesamiento de IA. Necesitamos demostrar que nuestro acelerador de IA sobresale en eficiencia. La representación de GPU AI puede embotellar el acceso a la CPU y la memoria. En la próxima generación, con la integración de RISC-V en Blackhole, como CPU, podemos superar estos cuellos de botella y lograr una computadora de IA más económica y con mayor eficiencia energética.
Sin embargo, es imposible competir contra NVIDIA si no tienes un buen paquete de software detrás, la apuesta de TensTorrent en este caso es BUDA, que viene en dos aspectos diferentes:
- El punto de referencia de BUDA es para optimizar plantillas ya existentes para la arquitectura TensTorrent.
- BUDAM para desarrollar modelos desde cero, totalmente optimizados para los dispositivos de la empresa.
No contento con jugar en uno de los muchos clubes de su compañía actual, Keeler no solo es el director técnico, sino también el gerente general. Por lo tanto, sus chips están diseñados para pasar de la generación de imágenes al procesamiento general del lenguaje. Las dos ramas de la inteligencia artificial que en la actualidad gozan de mayor éxito comercial.