在全部的三项基准测试(代码生成、数据科学编程、代码编辑)中,SelfCodeAlign都战胜了之前最先进的指令微调方法OctoPack。
另外还有OctoPack,用于指令调优大型代码模型的工件;The Stack,最大的可用预训练数据集,具有外围代码;SantaCoder,一个1.1B参数的代码模型。 12.
另外还有OctoPack,用于指令调优大型代码模型的工件;The Stack,最大的可用预训练数据集,具有外围代码;SantaCoder,一个1.1B参数的代码模型。 12.
受到了 OctoPack 和 GitHub 上主题标签的启发,研究者手动设计了 10 个与编码相关的特定类别。
受到了 OctoPack 和 GitHub 上主题标签的启发,研究者手动设计了 10 个与编码相关的特定类别。