Meta推出性能更强大的编程AI Code Llama 70B版 支持100K上下文

话说 Meta/Facebook 以前名声是真不怎么样，其实现在也没好到哪去，不过最近一年 Meta 的 AI 研究员发布并开源多款 AI 模型，这对开发者们来说倒是有些意外，不过也扭转了开发者们对 Meta 的一些负面印象，现在 Meta 正在继续推出开放许可证 (并非常见开源许可证) 下的新 AI 模型。

2023 年 8 月 Meta 基于 Llama 2 模型推出编程 AI 模型 Code Llama，这是一种专门为编程开发而训练的大型语言模型。

今天 Meta 推出了一个新的、功能更加强大的版本：Code Llama 70B 版，该版本接受了 5000 亿个 token 和相关数据的训练，支持 100K 上下文窗口，可以用来生成和处理更长的代码内容。

Meta 表示 Code Llama 70B 版使用一种被称为自注意力的技术来理解代码结构，还可以通过 Python、C++、JavaScript 和 Java 等多种编程语言的文本或片段来实现算法、排序和搜索等。

同时 Meta 还准备了几个微调版本，包括可以理解自然语言指令的 CodeLlama-70B-Instruct 版、用来专注于 Python 的 CodeLlama-70B-Python 版，其中后者接受了 1000 亿个 Python 代码标记和额外训练，Meta 称其可以生成具有无与伦比的流畅性和准确性的 Python 代码。

许可证方面 Code Llama 70B 与此前版本的使用的开放许可证相同，可以免费下载该模型，该许可证允许学术和商业用户修改模型使用，虽然不是常见的开源许可证，不过对大多数开发者来说使用是没问题的。

下载地址：https://ai.meta.com/resources/models-and-libraries/llama-downloads/