A OpenAI e a DeepMind possuem diferentes perspectivas e métodos na pesquisa de Leis de Escalonamento. As Leis de Escalonamento podem prever a mudança na perda de grandes modelos com variações na quantidade de parâmetros, dados e cálculos. A competição entre elas impulsionará o desenvolvimento da inteligência artificial e influenciará o futuro da coexistência entre humanos e máquinas. No processo de pré-treinamento de grandes modelos de linguagem, há um jogo de equilíbrio entre o tamanho do modelo, a quantidade de dados e o custo de treinamento. As Leis de Escalonamento podem ajudar a otimizar as decisões de design. A DeepMind propõe que o tamanho do modelo e a quantidade de dados devem ser expandidos em proporções iguais, enquanto a OpenAI tende a optar por modelos maiores. A DeepMind desenvolveu o AlphaGo e o AlphaFold, demonstrando o potencial do aprendizado por reforço profundo e das redes neurais, enquanto a OpenAI desenvolveu a série de modelos GPT, mostrando capacidades extraordinárias em modelos generativos. Os resultados da pesquisa indicam que os três elementos que influenciam o desempenho do modelo interagem entre si, e o modelo Chinchilla da DeepMind apresenta um desempenho excelente. A Baichuan Intelligence e o modelo Mingde na China também contribuíram para a pesquisa de Leis de Escalonamento. A DeepMind propôs um método de classificação de Níveis de IAG (Inteligência Artificial Geral), revelando diferentes estágios de desenvolvimento da inteligência artificial.
A Disputa sobre Leis de Escalonamento entre OpenAI e DeepMind

神州问学
80
© Todos os direitos reservados AIbase Base 2024, clique para ver a fonte - https://www.aibase.com/pt/news/6413