ChipNeMo est un projet lancé par NVIDIA explorant l'application des modèles linguistiques de grande envergure (LLM) à la conception de puces industrielles. Contrairement à l'utilisation directe de LLM commerciaux ou open source existants, nous avons adopté des techniques d'adaptation de domaine telles qu'un tokeniseur personnalisé, un pré-entraînement continu adapté au domaine, un réglage fin supervisé (SFT) avec des instructions spécifiques au domaine et un modèle de recherche adapté au domaine.