OpenAI y DeepMind tienen diferentes perspectivas y métodos en la investigación de las Leyes de Escalado. Las Leyes de Escalado predicen cómo cambia la pérdida de un modelo grande cuando varían la cantidad de parámetros, la cantidad de datos y la cantidad de cómputo. Su competencia impulsará el desarrollo de la inteligencia artificial y afectará el futuro de la coexistencia entre humanos y máquinas. En el preentrenamiento de los grandes modelos de lenguaje, existe una negociación entre el tamaño del modelo, la cantidad de datos y el coste de entrenamiento. Las Leyes de Escalado pueden ayudar a optimizar las decisiones de diseño. DeepMind propone que el tamaño del modelo y la cantidad de datos deben escalarse proporcionalmente, mientras que OpenAI se inclina por modelos más grandes. DeepMind desarrolló AlphaGo y AlphaFold, demostrando el potencial del aprendizaje por refuerzo profundo y las redes neuronales, mientras que OpenAI desarrolló la serie de modelos GPT, mostrando una capacidad excepcional en modelos generativos. Las conclusiones de la investigación indican que los tres factores que influyen en el rendimiento del modelo se afectan mutuamente, y el modelo Chinchilla de DeepMind muestra un rendimiento excelente. Empresas chinas como Baichuan Intelligent y Mind Model también han contribuido a la investigación de las Leyes de Escalado. DeepMind propuso una metodología de clasificación de niveles de AGI (Inteligencia Artificial General), revelando las diferentes etapas de desarrollo de la inteligencia artificial.
La disputa sobre las leyes de escalamiento entre OpenAI y DeepMind

神州问学
80
© Todos los derechos reservados AIbase 2024, haz clic para ver la fuente original - https://www.aibase.com/es/news/6413