La inteligencia artificial (IA) se está volviendo cada vez más inteligente, especialmente los grandes modelos de lenguaje (LLM), cuya capacidad para procesar el lenguaje natural es asombrosa. Pero, ¿sabías que estos cerebros de IA tan inteligentes necesitan una enorme capacidad de computación y almacenamiento para funcionar?
Un modelo multilingüe como Bloom, con 176 mil millones de parámetros, requiere al menos 350 GB solo para almacenar los pesos del modelo, y su ejecución necesita varias GPU de alta gama. Esto no solo es costoso, sino que también dificulta su popularización.
Para solucionar este problema, los investigadores han propuesto una técnica llamada "cuantificación". La cuantificación es como una "dieta" para el cerebro de la IA: al mapear los pesos y activaciones del modelo a un formato de datos de menor precisión, se reduce el tamaño del modelo y se acelera su velocidad de ejecución. Sin embargo, este proceso conlleva el riesgo de perder algo de precisión.
Para afrontar este desafío, investigadores de la Universidad de Aeronáutica y Astronáutica de Beijing y SenseTime han desarrollado conjuntamente el kit de herramientas LLMC. LLMC es como un entrenador personal de IA que ayuda a investigadores y desarrolladores a encontrar el "plan de dieta" más adecuado, permitiendo que los modelos de IA sean más ligeros sin afectar su "inteligencia".
El kit de herramientas LLMC tiene tres características principales:
Diversidad: LLMC ofrece 16 métodos de cuantificación diferentes, como si ofreciera 16 dietas diferentes para la IA. Tanto si tu IA necesita una dieta general como una localizada, LLMC puede satisfacer tus necesidades.
Bajo coste: LLMC es muy eficiente en el uso de recursos; incluso para modelos extremadamente grandes, solo necesita un soporte de hardware mínimo. Por ejemplo, solo se necesita una GPU A100 de 40 GB para ajustar y evaluar el modelo OPT-175B con 175 mil millones de parámetros. ¡Es como entrenar a un campeón olímpico con una cinta de correr doméstica!
Alta compatibilidad: LLMC admite varias configuraciones de cuantificación y formatos de modelo, y es compatible con varias plataformas de backend y hardware. Es como un entrenador universal que puede ayudarte a crear un plan de entrenamiento adecuado independientemente del equipo que utilices.
Aplicaciones prácticas de LLMC: IA más inteligente y eficiente energéticamente
El kit de herramientas LLMC proporciona una prueba de referencia completa e imparcial para la cuantificación de grandes modelos de lenguaje. Considera tres factores clave: los datos de entrenamiento, el algoritmo y el formato de datos, ayudando a los usuarios a encontrar la mejor opción de optimización del rendimiento.
En la práctica, LLMC ayuda a los investigadores y desarrolladores a integrar algoritmos y formatos de baja precisión de forma más eficiente, impulsando la compresión y la popularización de los grandes modelos de lenguaje. Esto significa que en el futuro podríamos ver más aplicaciones de IA ligeras pero igualmente potentes.
Los autores del artículo también comparten algunos hallazgos y sugerencias interesantes:
Al seleccionar los datos de entrenamiento, se deben elegir conjuntos de datos con una distribución léxica más similar a la de los datos de prueba, al igual que las personas deben elegir una dieta adecuada según sus propias circunstancias.
En cuanto a los algoritmos de cuantificación, se analizó la influencia de tres técnicas principales: conversión, recorte y reconstrucción, como comparar diferentes formas de ejercicio para perder peso.
Al elegir entre cuantificación de enteros o de punto flotante, se descubrió que la cuantificación de punto flotante es más ventajosa para situaciones complejas, mientras que la cuantificación de enteros puede ser mejor en algunos casos especiales. Es como usar diferentes intensidades de ejercicio en diferentes etapas de la pérdida de peso.
El lanzamiento del kit de herramientas LLMC ha traído una nueva brisa al campo de la IA. No solo proporciona una poderosa herramienta para investigadores y desarrolladores, sino que también señala la dirección del futuro desarrollo de la IA. Con LLMC, podemos esperar ver más aplicaciones de IA ligeras y eficientes, permitiendo que la IA se integre verdaderamente en nuestra vida diaria.
Dirección del proyecto: https://github.com/ModelTC/llmc
Dirección del artículo: https://arxiv.org/pdf/2405.06001
