MathCoder是一款基于开源语言模型的数学推理工具，通过fine-tune模型和生成高质量的数据集，实现了自然语言、代码和执行结果的交替，提高了数学推理能力。MathCoder模型在MATH和GSM8K数据集上取得了最新的最高分数，远远超过其他开源替代品。MathCoder模型不仅在GSM8K和MATH上超过了ChatGPT-3.5和PaLM-2，还在竞赛级别的MATH数据集上超过了GPT-4。