El problema no es gastar muchos tokens, es que la mayoría se están desperdiciando
Hace un año, Sam Altman hacía una predicción llamativa: a medida que la producción de centros de datos se automatice, el coste de la inteligencia [IA] debería converger en algún momento con el coste de la electricidad".
Resumen
Hace un año, Sam Altman hacía una predicción llamativa: a medida que la producción de centros de datos se automatice, el coste de la inteligencia [IA] debería converger en algún momento con el coste de la electricidad".
Hace un año, Sam Altman hacía una predicción llamativa: a medida que la producción de centros de datos se automatice, el coste de la inteligencia [IA] debería converger en algún momento con el coste de la electricidad". O lo que es lo mismo: el acceso a la IA sería muy, muy barato.
Eso no ha ocurrido ni mucho menos, pero es que además de gastar muchos tokens, los estamos desperdiciando.
Tanta IA para qué. El fenómeno del tokenmaxxing —el consumo desenfrenado de tokens más como moda que como algo útil— ha comenzado a disparar las alarmas, porque las empresas se han dado cuenta de que están gastando pequeñas fortunas para que sus empleados intenten sacar todo el partido posible a la IA.
En Xataka Hay trabajadores de Amazon gastando tokens de IA solo para inflar las métricas de tokens gastados en IA
Despedicio de IA. Un estudio de la startup EntelligenceAI afirma que por cada dólar invertido en IA, solo 18 centavos acaban llegando a producción.
EL 82% restante se acaba invirtiendo en corregir errores, reescribir código y ejecutar procesos de revisión que no generan valor directo. Es lo que llaman "gasto improductivo", y es una señal de alerta porque el éxito de esta tecnología no depende de que usemos la IA sin parar, sino de que la usemos para mejorar la productividad.
Uber avisa. Andrew Macdonald, COO de Uber, cuestionaba abiertamente si ese gasto masivo de empresas como la suya en IA está realmente justificado cuando no está ligado a mejoras en la productividad.
La empresa ha sido una de las que ha decidido cortar el gasto en los modelos de Anthropic porque ya se había "ventilado" el presupuesto anual disponible para usarlos.
La inversión en tokens acaba siendo poco rentable: la "parte útil" es menos de un quinto de lo que se invierte, según EIntelligence AI.
La incertidumbre está ahí. Otros expertos advierten justo de lo contrario: esto es solo el principio de lo que está por venir, así que tomar medidas contra el consumo de IA puede ser contraproducente.
El problema no está tanto en que se esté usando la IA, sino en que se esté desperdiciando: esa obsesión por consumir tokens hizo que en Amazon por ejemplo el CFO les dijese a sus empleados "No uséis la IA solo por el mero hecho de usarla". La empresa premiaba a aquellos que usaban más la IA, así que muchos acabaron usándola para tareas triviales, redundantes o inútiles.
Usar la IA de forma adecuada. Matan Gringberg, CEO de la startup de IA Factory, contaba en WSJ cómo un directivo de una importante institución financiera le había contado que sus empleados estaban gastando cientos de miles de dólares al mes en tokens.
El problema estaba en que algunos estaban usando los modelos más potentes para contestar preguntas sencillas o simplemente para charlar. El mensaje aquí es claro: hay que usar estos modelos de forma adecuada para no malgastarlos: "Si tu hija necesita clases particulares de álgebra, probablemente puedas encontrar a alguien más barato que Albert Einstein para dárselas", concluía.
Estamos consumiendo tokens por encima de nuestras posibilidades. En el evento Google I/O Sundar Pichai, CEO de Alphabet, explicó que la empresa procesa en la actualidad más de 3.200 billones de tokens al mes, siete veces más que hace un año.
Ante esa demanda, tanto ella como otras empresas están "castigando" el uso trivial de los modelos de IA. Los agentes de IA consumen tokens como si no hubiera mañana.
Lo que también ha ocurrido es que la llegada y popularización de las herramientas agénticas de programación, como Claude Code, Codex o Antigravity, hace que se consuman muchísimos más tokens porque con ellas es posible automatizar la ejecución de tareas de programación (o de otros ámbitos) de forma continua. El modelo de IA prepara un plan, lo ejecuta y a cada paso piensa y evalúa sus respuestas antes de continuar con el plan.
Ese proceso es intensivo en consumo de tokens, y es el principal motivo de que los consumos de tokens se hayan disparado.
De tarifas planas, nada. Los planes mensuales como ChatGPT Plus o Claude Pro ofrecían margen de maniobra para los desarrolladores a la hora de consumir enormes cantidades de tokens sin apenas limitaciones.
Sin embargo, tanto OpenAI como Anthropic y otras empresas han comenzado a cambiar sus estrategias, limitando los casos en los que se pueden usar esas tarifas plana para que los usuarios no puedan abusar de ellas. Si quieren consumir más pueden, pero siempre mediante una filosofía de pago por uso: cuanto más usas, más pagas algo que al menos ayuda a que los usuarios sean conscientes que no pueden usar modelos súperpotentes para conversaciones inútiles con sus chatbots.
Comentarios
Deja tu comentario
No hay comentarios todavía. ¡Sé el primero en comentar!