通过API运行Code Llama 70B

原创

用户11764306

发布于 2026-06-07 15:16:25

250

通过API运行Code Llama 70B

Code Llama 是一个基于 Llama 2 构建的代码生成模型。它可以生成多种编程语言的代码以及与代码相关的自然语言描述，包括 Python、JavaScript、TypeScript、C++、Java、PHP、C#、Bash 等。

某机构宣布了一款更强大的新版 Code Llama，参数量达到 700 亿。这是性能最高的开放模型之一。某机构报告其在 HumanEval 测试中的得分为 67.8，超过了零样本（zero-shot）的 GPT-4。

通过某平台，可以用一行代码在云端运行 Code Llama 70B。

Code Llama 70B 的变体

Code Llama 70B 包含三个变体。本文中的代码示例使用 codellama-70b-instruct，但所有三个变体均可在某平台上获取：

Code Llama 70B Base：基础模型。
Code Llama 70B Python：在 Python 代码上训练。
Code Llama 70B Instruct：针对理解自然语言指令进行微调。

使用 JavaScript 运行 Code Llama 70B

可通过官方 JavaScript 客户端运行 Code Llama 70B：

npm install replicate

设置环境变量 REPLICATE_API_TOKEN：

export REPLICATE_API_TOKEN=<your-api-token>

导入并配置客户端：

import Replicate from "replicate";

const replicate = new Replicate({
  auth: process.env.REPLICATE_API_TOKEN,
});

通过某平台的 API 运行模型：

const output = await replicate.run(
  "meta/codellama-70b-instruct:a279116fe47a0f65701a8817188601e2fe8f4b9e04a518789655ea7b995851bf",
  {
    input: {
      prompt: "在 Bash 中，如何列出当前目录下（不包括子目录）在过去一个月内修改过的所有文本文件？",
    }
  }
);
console.log(output);

如需了解更多，可参考 Node.js 入门指南。

使用 Python 运行 Code Llama 70B

可通过官方 Python 客户端运行 Code Llama 70B：

pip install replicate

设置环境变量 REPLICATE_API_TOKEN：

export REPLICATE_API_TOKEN=<your-api-token>

通过某平台的 API 运行模型：

import replicate

output = replicate.run(
    "meta/codellama-70b-instruct:a279116fe47a0f65701a8817188601e2fe8f4b9e04a518789655ea7b995851bf",
    input={
        "prompt": "在 Bash 中，如何列出当前目录下（不包括子目录）在过去一个月内修改过的所有文本文件？",
    }
)
print("".join(output))

如需了解更多，可参考 Python 入门指南。

使用 cURL 运行 Code Llama 70B

可以直接使用 cURL 等工具调用 HTTP API：

设置环境变量 REPLICATE_API_TOKEN：

export REPLICATE_API_TOKEN=<your-api-token>

通过某平台的 API 运行模型：

curl -s -X POST \
  -H "Authorization: Bearer $REPLICATE_API_TOKEN" \
  -H "Content-Type: application/json" \
  -H "Prefer: wait" \
  -d $'{
    "version": "a279116fe47a0f65701a8817188601e2fe8f4b9e04a518789655ea7b995851bf",
    "input": {
      "top_k": 10,
      "top_p": 0.95,
      "prompt": "在 Bash 中，如何列出当前目录下（不包括子目录）在过去一个月内修改过的所有文本文件？",
      "max_tokens": 500,
      "temperature": 0.8,
      "system_prompt": "",
      "repeat_penalty": 1.1,
      "presence_penalty": 0,
      "frequency_penalty": 0
    }
  }' \
  https://api.replicate.com/v1/predictions

如需了解更多，可参考某平台的 HTTP API 参考文档。此外，还可以通过其他客户端库（Go、Swift 等）运行 Code Llama 70B。