contrastors是一个对比学习工具包,使研究人员和工程师能够高效地训练和评估对比模型。它建立在Flash Attention之上,支持多GPU训练,具有GradCache支持,可以在受限内存环境下进行大批量训练。它还支持Huggingface,可以轻松加载常见模型。同时支持遮蔽语言建模预训练和Matryoshka表示学习。