Esta semana estuve en Cruce de cables (RNE), el programa de radio que acerca la tecnología a las personas, hablando de la relevancia de los tokens, esas pequeñas unidades básicas del mundo de la inteligencia artificial. Se puede escuchar en RTVE Play en streaming; y aprovecho para recordar que en directo se emite de madrugada de sábado a domingo a las 3:00am, por si te pilla despierto a esas horas.
El caso es que, desde hace algún tiempo, da la impresión de que los tokens están pasando de ser la unidad de medida del consumo de inteligencia artificial a ser «el nuevo maná digital». Son útiles, todo el mundo los desea y unos pocos elegidos, quienes más tienen, cuentan con una ventaja competitiva.
Tokens y tipos de tokens
Un token de IA es la unidad básica con la que una inteligencia artificial procesa el lenguaje. Son como los bits de las consultas y de los textos de salida. Suelen ser algo más que una letra y menos que una palabra larga o con signos de puntuación. «Hola, ¿qué tal?» puede ocupar unos siete tokens, dependiendo del modelo de lenguaje utilizado. En inglés, 1.000 tokens equivalen aproximadamente a 750 palabras (unos 3.500 ó 4.000 caracteres); en español suelen representar menos.
Además de ser un tanto imprecisos en cuanto a su capacidad para procesar el lenguaje natural, aunque útiles, existen diferentes tipos de tokens.
- Los tokens de entrada salen del texto que se envía a la IA: preguntas, instrucciones, documentos, etc.
- Los tokens de salida son en cambio el texto que genera la IA para responder.
- Los tokens de entrada en caché (memoria intermedia) corresponden a información enviada anteriormente que el sistema puede reutilizar sin volver a procesarla por completo.
- Los tokens de razonamiento los generan algunos modelos internamente para resolver problemas antes de contestar. Es como si también contabilizaran tokens cuando «piensan» para sí mismos: «voy a comprobar la hoja de cálculo y compararla con el resto de datos…»; son parecidos a los tokens de salida.
- Los tokens multimodales representan imágenes, audio, vídeo u otros contenidos.
Cada uno de estos tipos de tokens tiene un consumo de recursos de IA y un precio. Los más comunes suelen ser los tokens de salida, y luego los de entrada (si se trabaja con documentos grandes) y razonamiento, según sean las consultas. Los de imágenes o vídeo son muy voluminosos, por el tipo de información que manejan. Los de caché suelen ser más baratos y los de salida, junto con los de razonamiento avanzado, los más caros. Es importante saber que los tokens no tienen un precio universal, y cada empresa los tarifica como quiere. Generalmente tienen tarifas por cada millón de tokens usados, según tipos, pero los usuarios no llegan ni a verla.
¿Cómo valoran los tokens las empresas como OpenAI o Anthropic en sus aplicaciones (ChatGPT o Claude, por ejemplo)?
Podría decirse que para simplificar y llegar a la gente han optado por suscripciones en modalidad de «tarifa plana», al estilo de Netflix o Disney+: se pagan por ejemplo 20 euros al mes y ya se puede usar el modelo… Eso sí, con limitaciones. No es un bufé libre: las sesiones suelen limitarse a periodos de horas, semanas o consultas (ej. 5 horas al día). Si se usan imágenes o vídeos, el consumo aumenta y el «uso», que es como suelen indicarlo en forma de porcentaje o «barrita», también aumenta.
Cuando el uso llega al límite, hay que esperar a que se restablezca a cero… O «meter más monedas», comprando créditos o pasando a una suscripción de pago superior. Muchas IAs populares tienen versiones gratuitas, poco potentes pero que permiten hacerse una idea de cómo funcionan, una versión barata alrededor de esos 20-30 euros al mes y luego versiones profesionales.
En general podría pensarse que las tarifas planas están fuertemente subvencionadas por las empresas de IA para captar nuevos clientes. Ofrecer IA gratis o muy barata no concuerda con el hecho de que se necesita una gran capacidad de computación para procesar las consultas y dar buenas respuestas. Pero si el cliente acaba pagando… es harina de otro costal. Y así empiezan muchos negocios.
IA para profesionales
Los tokens se valoran casi como si fueran efectivo; hay empresas como Nvidia que propusieron dedicar a ellos el 50% del sueldo anual de sus ingenieros como presupuesto para gastar en tokens. Y la comparación de los tokens con el oro ya aparece en las noticias: la Bolsa de Futuros de Shanghái estudia crear productos financieros ligados a los tokens.
Las empresas también han descubierto que si pueden pagar tokens para resolver ciertas tareas, el negocio puede ser más rentable. El mítico «programador ×10» que es capaz de hacer diez veces más trabajo que sus compañeros puede hacerse realidad si a alguien se le facilitan herramientas como una IA superpotente con suficientes tokens como para poner a trabajar a agentes automáticos a sus órdenes.
Hay empresas que hicieron la prueba, abriendo cuentas corporativas enormes, casi ilimitadas, en una idea llamada tokenmaxxing. Databricks premió a un empleado que gastó 7.000 dólares en dos semanas por su alta productividad. En Meta dijeron que «no había límites» hasta que empezaron a llegar algunas facturas millonarias y lo limitaron. En Rippling vieron que el 10-15% de los ingenieros gastaban el 60% del presupuesto para IA; uno de ellos gastó 50.000 dólares en un mes. Luego lo limitaron (consumían 600.000 millones de tokens al mes). Accenture ha hecho lo mismo: al ver empleados gastando 1.000 dólares al mes lo han limitado a 29. Apple también ha limitado a algunos ingenieros a un gasto máximo de 100 dólares diarios. Haciendo un paralelismo, la IA es como subvencionar la máquina de café para que los empleados se mantengan más activos, pero a lo bestia.
Un futuro incierto, lleno de paradojas
Visto todo esto, algunas curiosidades:
- ¿Cuesta dinero decirle «por favor» y «gracias» a una IA? Sí, porque se gastan más tokens. Pero el coste es prácticamente insignificante. Ser educado sale casi gratis.
- ¿Es más caro hablar con la IA en español que en inglés? Generalmente sí. Una misma frase suele necesitar más tokens en español que en inglés.
- ¿La IA gasta tokens cuando está callada o «pensando»? Cuando está esperando no gasta nada. Cuando razona, puede generar miles de tokens internos aunque todavía no haya mostrado ninguna respuesta (los usa en tokens de razonamiento).
- ¿Se puede ahorrar tokens haciendo preguntas más cortas? Sí, pero con cuidado. Una pregunta demasiado breve o ambigua puede provocar una respuesta equivocada y obligarnos a repetirla. Lo mejor es ser claro y conciso.
- ¿Puede una IA gastar dinero contratando a otras IA? Sí, si se le da permiso. Un agente de IA con acceso autorizado a ciertos servicios de pago puede encargar tareas a otros modelos y consumir su propio presupuesto. Incluso puede gastar más de lo previsto si no tiene límites.
Aunque el consumo anual sigue creciendo y podría multiplicarse por 24 de aquí a 2030 según Goldman Sachs, se da otro hecho extraño y un poco paradójico: el precio de cada token puede bajar, mientras que el gasto total no deja de aumentar. Son todo previsiones ante un futuro incierto, pero apunta a una economía en la que disponer de más capacidad para procesar más IA puede dar ventaja.
Relacionados:
