Noam Brown, chefe de pesquisa de raciocínio de IA da OpenAI, disse recentemente em um painel na conferência GTC da Nvidia que certos modelos de IA de "raciocínio" poderiam ter surgido 20 anos antes, se os pesquisadores tivessem "conhecido o método e os algoritmos corretos" na época. Ele apontou várias razões pelas quais essa linha de pesquisa foi negligenciada.
Brown relembrou sua experiência em pesquisa de IA de jogos na Carnegie Mellon University, incluindo o Pluribus, que derrotou jogadores profissionais de pôquer humanos de alto nível. Ele disse que a singularidade da IA que ele ajudou a criar foi sua capacidade de "raciocinar" para resolver problemas, em vez de depender de pura força bruta computacional. Brown mencionou que os humanos gastam muito tempo pensando em situações difíceis, o que pode ser muito benéfico para a inteligência artificial.
Brown também é um dos arquitetos do modelo de IA o1 da OpenAI. O modelo emprega uma técnica chamada "raciocínio em tempo de teste", que o faz "pensar" antes de responder a consultas. O raciocínio em tempo de teste impulsiona uma forma de "raciocínio" aplicando cálculos adicionais ao modelo em execução. Em geral, os chamados modelos de raciocínio são mais precisos e confiáveis do que os modelos tradicionais, especialmente em campos como matemática e ciências.
No painel, quando questionado sobre se o mundo acadêmico ainda poderia conduzir experimentos em escala OpenAI, dada a escassez generalizada de recursos computacionais nas universidades, Brown admitiu que isso se tornou mais difícil nos últimos anos, à medida que os modelos se tornaram mais exigentes em termos de recursos computacionais. Mas ele também apontou que o mundo acadêmico pode desempenhar um papel importante explorando áreas com menor demanda computacional, como o design de arquitetura de modelos.
Brown enfatizou as oportunidades de colaboração entre laboratórios de ponta e o mundo acadêmico. Ele disse que os laboratórios de ponta examinam publicações acadêmicas e avaliam cuidadosamente se os argumentos apresentados são convincentes o suficiente, ou seja, se a pesquisa seria altamente eficaz se ampliada. Se um artigo apresentar argumentos convincentes, esses laboratórios investigarão mais a fundo.
Além disso, Brown mencionou especificamente o campo de benchmarks de IA, onde o mundo acadêmico pode desempenhar um papel significativo. Ele criticou o estado atual dos benchmarks de IA como "muito ruim", apontando que esses benchmarks tendem a testar conhecimentos obscuros, cuja pontuação tem pouca correlação com a proficiência em tarefas que a maioria das pessoas se preocupa, levando a uma ampla compreensão errônea das capacidades e melhorias do modelo. Brown acredita que melhorar os benchmarks de IA não requer muitos recursos computacionais.
Vale ressaltar que, na discussão, os comentários iniciais de Brown referiam-se ao seu trabalho anterior em IA de jogos, como o Pluribus, antes de ingressar na OpenAI, e não a modelos de raciocínio como o o1.
Pontos importantes:
- 🤔 Noam Brown, da OpenAI, acredita que a IA de "raciocínio" poderia ter surgido 20 anos antes se o método correto tivesse sido descoberto mais cedo, e que a direção de pesquisa anterior foi negligenciada.
- 🤝 Brown enfatiza as oportunidades de colaboração entre o mundo acadêmico e os laboratórios de IA de ponta, onde o mundo acadêmico pode desempenhar um papel importante em áreas com baixa demanda computacional, como design de arquitetura de modelos e benchmarks de IA.
- 📈 Os modelos de raciocínio, usando técnicas como "raciocínio em tempo de teste", são mais precisos e confiáveis do que os modelos tradicionais, especialmente em matemática e ciências.
