Qwen1.5 ist eine Serie von Decoder-Sprachmodellen, die auf der Transformer-Architektur basieren und verschiedene Modellgrößen umfasst. Es zeichnet sich durch SwiGLU-Aktivierung, QKV-Bias in der Aufmerksamkeit und gruppierte Query-Aufmerksamkeit aus. Es unterstützt mehrere natürliche Sprachen und Code. Eine Weiterentwicklung durch Feinabstimmung (z.B. SFT, RLHF) wird empfohlen. Die Nutzung ist kostenlos.