Por José Luis Fernández, Gerente de Tecnología de Kingston para Latam
Y sí, es el tema del momento. Todo parece girar en torno a la inteligencia artificial. Ya jugaste un poco con ChatGPT: hiciste preguntas divertidas, tradujiste un documento e incluso creaste algunas imágenes. ¿Y ahora qué? El desafío que se plantea a la hora de empezar a usar la IA en serio, más allá de estudiar y aprender a usarla adecuadamente, es doble.
Primero está el tema de la privacidad. Si uno quiere sacarle realmente provecho en lo personal o a nivel de negocios, la confidencialidad de los datos es absolutamente crítica y trabajar con toda esa información en servicios basados en la nube da un poquito de miedo, sobre todo porque es más o menos vox populi que todas las IA se han entrenado con información de muchísimas fuentes a las cuales en general no se pidió permiso.
Segundo está el tema de costos. Cuando uno empieza a usar IA dentro de un proceso productivo “en serio” y a consumir tiempo de cómputo, hay que pagarlo. Todas esas enormes granjas de servidores con tarjetas GPU de USD$40,000 de las que alardean los gigantes de la industria hay que amortizarlas. Y, en muchos casos, los montos se pueden comenzar a acumular hasta dejar de ser triviales.
De aquí entonces nace la idea de poder correr IA de forma local en la privacidad del hogar o empresa. Una de las tendencias que varios expertos están anticipando es el advenimiento de un nuevo tipo de equipo, una workstation dedicada a alojar modelos de IA open source de forma local, donde se pueda montar un tipo de ChatGPT propio, privado y personalizado, y alimentarlo con tu información, tus datos, tus documentos, para sacarle mucho más provecho a la interacción diaria. Tendrá a disposición todo el historial de trabajo y mucho más contexto para poder entregar resultados basados en tus conocimientos y tu forma de trabajar.
En este momento, los mayores consumidores de este tipo de equipos son del ámbito académico. Las universidades están equipándose rápidamente con este tipo de workstation para hacer investigación y desarrollo y para que los estudiantes aprendan a sacarle jugo a esta nueva tecnología. También hay muchas empresas que están avanzando por esta vía en muchas disciplinas como medicina, ventas, administración de negocios, marketing y más.
¿Qué características tienen estas workstations?
En general, se trata de equipos bastante pesados con procesadores de al menos 16 núcleos como Intel Xeon o AMD Threadripper PRO, así como una cantidad de memoria que oscila entre 128 y 256 GB como las Kingston FURY Renegade PRO, que están diseñadas específicamente para este uso y entregan el mayor performance posible en estas plataformas.
La cantidad de memoria se dimensiona en función de cuántos usuarios van a estar compartiendo y trabajando sobre modelos de IA. Obviamente el punto neurálgico de esta configuración es el GPU (Unidades de Procesamiento Gráfico), donde lo más importante es cuánta memoria de video tiene, siendo las más buscadas las que poseen 24 GB o más. Esto es lo que permite cargar el modelo de IA completo en memoria y procesar de manera fluida y sin demoras.
Otro punto a destacar es que no solamente posean almacenamiento de la capacidad adecuada, sino que también sean de alta velocidad de respuesta, ya que se está trabajando con archivos realmente pesados y uno no quiere quedarse esperando a que carguen, por eso se recomiendan unidades NVMe de última generación.
Y sí, son equipos cuyo costo puede superar fácilmente los USD$10,000, pero el potencial de que sean usados por muchos usuarios ayuda a justificar la inversión.
¿Y se puede optar por una versión de menor presupuesto? Seguro. Para dar los primeros pasos, se puede comenzar con un equipo ensamblado con un procesador “gamer” de 8 núcleos, 32GB o 64GB de memoria, un SSD rápido y sí, la parte que no es muy negociable es la tarjeta gráfica con mucha memoria, se suelen usar modelos gamer de AMD o NVIDIA con al menos 16 o 24 GB de VRAM. Con una configuración como esa, se pueden hacer cosas muy interesantes a nivel productivo.
Pero, ¿y qué pasa con las nuevas computadoras que se anuncian como “IA PC”?
En verdad todo este desarrollo tecnológico está ocurriendo con una velocidad inusitada y los modelos que actualmente se encuentran en el mercado que incorporan núcleos dedicados quizás aún no tienen la potencia necesaria para correr modelos completos, sino más bien para apoyar el uso basado en la nube.
Ya los modelos nuevos que debutarán en 2025 incorporan mucha más potencia de procesamiento y esto se podría lograr en una laptop, solo hay que ver si la cantidad de memoria será suficiente. A futuro es totalmente probable que puedas tener un agente local de alto rendimiento corriendo en tu laptop y acompañándote adonde vayas. Pero eso es tema para la próxima.
Para más noticias de tecnología y negocios, Síguenos en Twitter @PrintProjectmx
