Reducir el consumo energético de la IA, gran negocio para las tecnológicas

Las grandes tecnológicas compiten entre ellas por encontrar la fórmula que aminore el alto consumo energético de la IA, uno de los grandes retos de esta tecnología. Los centros de datos donde se alojan los sistemas de IA son grandes consumidores de energía. Se estima que para el año 2027, el consumo energético dedicado a IA supere los 150 TW/h al año de energía, una cifra superior a la de Bitcoin, cuya red consume unos 127 TW/h al año de energía.

Consumo energético IA

Debido a la cada vez mayor especialización de las IAs, la inmensidad de sus modelos y al desarrollo de nuevos paradigmas de desarrollo, esta cifra podría crecer mucho más en un futuro próximo. Los paradigmas a los que nos referimos van desde la aplicación de la IA en el sector industrial, comercio, salud, desarrollo de software o defensa, entre otros. Todo esto hará que el consumo de energía crezca de forma muy rápida.

NorthPole, el chip de IBM que viene para revolucionar la IA

A estas cuestiones debemos agregar el consumo energético y de recursos necesarios para obtener los bloques de construcción de la IA. Empresas como Intel, TSMC, ASML, Nvidia, AMD, están apresurando sus desarrollos para preparar la nueva línea de productos que permitan crear tarjetas gráficas, procesadores,  memoria, procesadores neuronales y, en definitiva, todo dispositivo de silicio necesario para mantener la evolución de esta industria. Por supuesto, sin olvidarse de la IA.

Por ejemplo, AMD ha renunciado a producir gráficas de alto rendimiento para el sector de videojuegos y enfocar sus esfuerzos en  productos destinados a la industria de la IA. La decisión de AMD está en consonancia con la de su competidor y líder indiscutible en el mundo IA: Nvidia. Esta compañía está dejando de lado el sector gaming y aumentando los precios de sus productos, debido al monopolio que ejerce en ambos sectores.  Un asunto que Elon Musk ha comentado en su cuenta de X.

True. Also, many other NN accelerator chips are also under development.

Nvidia will not have a monopoly on large-scale training & inference forever.

— Elon Musk (@elonmusk) June 7, 2023

Para abordar el desafío energético desde la orilla de la IA, es necesario adoptar un enfoque integral que combine la eficiencia energética, la sostenibilidad y la optimización del uso de la IA.

Soluciones y recomendaciones para reducir la huella ambiental de la IA:

1. Eficiencia energética: mejorar la eficiencia energética de los sistemas de IA es fundamental para reducir su consumo energético. Esto implica desarrollar algoritmos y técnicas de aprendizaje automático más eficientes, así como utilizar hardware de bajo consumo energético y técnicas de refrigeración más eficientes.
2. Fuentes de energía renovable y nuclear: transicionar hacia mix de energía renovable y nuclear es esencial para reducir la huella ambiental de la IA. Para ello, es necesario el uso de energía solar, eólica u otras fuentes limpias (energía nuclear) para alimentar los sistemas de IA. Además, es importante fomentar la inversión en infraestructura de energía renovable para garantizar un suministro sostenible.
3. Computación distribuida: la distribución de la carga de trabajo de la IA en múltiples dispositivos o centros de datos puede ayudar a reducir el consumo energético. Al distribuir las tareas de procesamiento en diferentes ubicaciones se puede aprovechar la capacidad ociosa de los dispositivos y reducir la necesidad de una gran cantidad de recursos energéticos concentrados en un solo lugar.

Algoritmos

1. Optimización de algoritmos: mejorar los algoritmos de IA para que sean más eficientes en términos de consumo energético puede marcar una gran diferencia. Esto implica desarrollar algoritmos que requieran menos recursos computacionales y menos datos para lograr resultados similares o mejores.
2. Educación y conciencia: es fundamental educar a los usuarios, desarrolladores y responsables de la toma de decisiones sobre la importancia de reducir el consumo energético de la IA y fomentar prácticas más sostenibles. Promover la conciencia ambiental y la responsabilidad social puede ayudar a impulsar cambios positivos en la industria de la IA.

Kolokium certifica con blockchain procesos industriales generados con IA

Es importante destacar que aunque IA tiene un impacto energético significativo, también puede ofrecer beneficios en términos de eficiencia y sostenibilidad. Por ejemplo, puede utilizarse para optimizar el uso de energía en edificios, redes eléctricas y sistemas de transporte, lo que puede llevar a una mayor eficiencia y ahorro energético. Además, la IA también se emplea en la investigación y el desarrollo de tecnologías limpias, como energía renovable y almacenamiento de energía.

Hacia una IA de consumo energético consciente

En este sentido, la industria de la IA ha ido dando pasos para mejorar la eficiencia energética de los modelos de IA. Quizá, uno de los mayores ejemplos sea Llama2, de Facebook. Este modelo, lanzado de la mano de Microsoft, es uno de los más recientes y potentes modelos de lenguaje (LLM) entrenados en conjuntos de datos masivos de texto y código.

Dichos modelos pueden generar texto, traducir idiomas, escribir diferentes tipos de contenido creativo y responder a preguntas de forma informativa. En su desarrollo, Facebook y Microsoft han anunciado el consumo de un total de 2,6 TW/h en todo el proceso, incluyendo la fase de análisis de datos, generación de datasets, fine-tuning y entrenamiento de los cuatro modelos (7b, 13b, 34b, 70b, donde b es billones de parámetros)

Esto significa que, en términos de consumo energético, Llama2 es significativamente más eficiente que ChatGPT. En un estudio publicado en 2022, se encontró que Llama2 consumía un 70% menos de energía que ChatGPT para generar el mismo texto.

La mejora se debe a varios factores:

1. Una arquitectura más eficiente: Llama2 utiliza una arquitectura de transformador, que es más eficiente que la arquitectura de transformador de ChatGPT.
2. Un conjunto de datos más pequeño: la IA de Facebook y Microsoft se entrenó en un conjunto de datos de texto y código de 1,56 billones de tokens, mientras que ChatGPT se entrenó en un conjunto de datos de 1,56 billones de tokens.
3. Una implementación más eficiente: Llama2 se implementa en JAX, un framework de aprendizaje automático que es más eficiente que PyTorch, el framework empleado para implementar ChatGPT.

Teniendo en cuenta estos datos, puede entenderse la decisión de Microsoft de apoyar al desarrollo de Llama2. Representa una  oportunidad para aprender y aplicar lo aprendido en el desarrollo de sus propios productos IA. Dichos productos van desde Bing Chat, GitHub Copilot, Windows Copilot y Office 365, optimizándoles, no solo para ser más veloces, también para hacerlos más eficientes a nivel energético. Por tanto, requiriendo de menos gastos operativos y ofreciendo mayores ganancias a la empresa.

Avances futuros

De cara al futuro, quizá una de las medidas más importantes esté en el desarrollo de la computación neuromorfica, un desarrollo donde IBM está avanzando a pasos agigantados. La computación neuromórfica está enfocada en abordar los desafíos de la IA de próxima generación, proporcionando un paradigma de computación energéticamente eficiente inspirado en el cerebro.

Servicio Empleo de Navarra publica ebook sobre usos de la IA

Recientemente, en Observatorio Blockchain hablamos de uno de los desarrollos de hardware más prometedores de IBM en ese sentido. Se trata de IBM NorthPole, un chip de inteligencia artificial que ofrece  mejoras significativas en eficiencia energética, espacio y tiempo de ejecución. Sin duda, IBM NorthPole representa uno de los primeros pasos que conducen a la computación neuromórfica. El objetivo de IBM es acelerar los procesos de desarrollo y uso de IA y abrir nuevas puertas y posibilidades tecnológicas, a la vez que reduce hasta 1000 veces el consumo energético de sus soluciones.

Smartphones o computadoras

Gigantes como Qualcomm también están intentando hacer lo mismo, al incluir un acelerador de IA dentro de sus procesadores para móviles. De esta forma, dicha tecnología llega con mayor facilidad a smartphones o computadoras, bajo arquitectura ARM, donde la industria informática ve un enorme futuro.

Sin duda, la IA y la industria que se desarrolla a su alrededor tienen infinitos retos a superar. Algunos ya están en proceso, otros,  apenas son proyectos en investigación. Todos tienen algo en común: hacer de la IA una tecnología mucho más eficiente para que llegue a todos.