ChipNeMo ist ein von Nvidia initiiertes Projekt, das die Anwendung großer Sprachmodelle (LLMs) im industriellen Chipdesign erforscht. Im Gegensatz zur direkten Verwendung kommerziell erhältlicher oder Open-Source-LLMs setzen wir auf domänenspezifische Techniken wie einen angepassten Tokenizer, domänenadaptives kontinuierliches Pretraining, überwachtes Feintuning (SFT) mit domänenspezifischen Anweisungen sowie ein domänenadaptiertes Retrieval-Modell.