英伟达、Hugging Face和ServiceNow发布用于代码生成的新StarCoder2 LLM

这些模型目前有三种不同的大小，已经在600多种编程语言(包括低资源语言)上进行了培训，以帮助企业在其开发工作流中加速各种与代码相关的任务，它们是在开放的BigCode项目下开发的，该项目是ServiceNow和Huging Face联合发起的，以确保负责任地开发和使用大型代码语言模型，在开放负责任的AI许可证下，它们是免费提供的。

StarCoder2证明了开放的科学合作和负责任的AI实践与道德数据供应链的结合力量。ServiceNow的StarCoder2开发团队负责人、BigCode的联合负责人Harm de Vries在一份声明中表示，最先进的开放访问模式改进了以前的GenAI性能，以提高开发人员的生产力，并为开发人员提供平等的机会获得代码生成AI的好处，这反过来又使任何规模的企业能够更容易地满足其全部业务潜力。

StarCoder2：满足三种不同需求的三种模型

虽然BigCode最初推出的StarCoder LLM只有15B参数，并接受了大约80种编程语言的培训，但最新一代产品超越了它，推出了三种不同大小的模型-3B、7B和15B – 并接受了619种编程语言的培训。根据BigCode的说法，被称为Stack的新模型的训练数据比上次使用的数据大了七倍多。

更重要的是，BigCode社区使用了针对最新一代的新培训技术，以确保模型能够理解并生成低资源编程语言，如COBOL、数学和程序源代码讨论。

最小的30亿参数模型是使用ServiceNow的Fast LLM框架进行训练的，而7B模型是使用Huging Face的Nantron框架开发的，两者都旨在提供高性能的文本到代码和文本到工作流生成，同时需要较少的计算。

同时，使用端到端的英伟达 Nemo云本地框架和英伟达 TensorRT-LLM软件对最大的150亿参数模型进行了训练和优化。

虽然这些机型在不同编码场景中的表现如何仍有待观察，但两家公司确实注意到，最小的3B模型的性能与最初的15B StarCoder LLM相当。

根据他们的需求，企业团队可以使用这些模型中的任何一个，并根据不同用例的企业数据对其进行进一步的微调，这可以是任何特殊任务，从应用程序源代码生成、工作流生成和文本摘要到代码完成、高级代码摘要和代码片段检索。

两家公司强调，这些模型经过更广泛和更深入的培训，提供了存储库上下文，从而实现了准确和上下文感知的预测。最终，所有这些都为加速开发铺平了道路，同时节省了工程师和开发人员专注于更关键任务的时间。

英伟达应用研究副总裁Jonathan Cohen在新闻声明中表示：“由于每个软件生态系统都有专有的编程语言，代码LLM可以推动每个行业在效率和创新方面的突破。”

“英伟达与ServiceNow和Huging Face的合作引入了安全、负责任的开发模式，并支持更广泛地接触负责任的GenAI，我们希望这将使全球社会受益”，他补充道。

如何开始使用StarCoder2?

如前所述，StarCoder2系列中的所有模型都是在Open Rail-M许可证下提供的，可以免版税访问和使用。支持代码可以在BigCode项目的GitHub库中找到。作为另一种选择，团队也可以下载并使用拥抱脸的所有三个模型。

也就是说，由英伟达培训的15B模型也将出现在英伟达 AI Foundation上，使开发人员能够直接从他们的浏览器或通过API端点进行试验。

虽然StarCoder不是AI驱动的代码生成领域的第一个进入者，但该项目的最新一代带来的广泛选择肯定允许企业在应用程序开发中利用LLMS，同时还可以节省计算。

该领域的其他知名参与者包括OpenAI和亚马逊，前者提供Codex，为GitHub联合试点服务提供支持，而后者提供CodeWhisper工具，还有来自Replit和Codenium的激烈竞争，Replit在Hugging Face上有几个小型AI编码模型，Codenium最近以5亿美元的估值获得了6500万美元的B轮融资。