使用指南

基本概念

大语言模型

INF的大语言模型是经过大量数据训练，用于理解自然语言和书面语言，并且可以根据输入生成文本输出的语言模型。对模型的输入也被称为“prompt”，您可以提供明确的指令以及给出一些范例，来让模型能够完成既定的任务，设计 prompt 本质上就是学会如何“训练”模型。inf-chat模型可以用于包括内容或代码生成、摘要、对话、创意写作等各种任务。

Token

大语言模型以 Token 为基本单位来处理文本。Token 代表常见的字符序列。例如，单个汉字"龖"可能会被分解为若干 Token 的组合，而像"你好"这样短且常见的短语则可能会使用单个 Token。大致来说，对于一段通常的中文文本，1 个 Token 大约相当于 1.5-2 个汉字。需要注意的是，对于我们的模型，输入和输出的总和长度不能超过模型的最大上下文长度。

API密钥

用于身份验证的密钥，是您与INF OpenAPI交互的唯一凭证，可在我们的控制台创建。

快速开始

前置条件

请注册INF大模型开放平台账号，并完成身份信息认证
前往控制台创建或查看API Key

发送请求

HTTP接口调用

curl --location 'https://api.infly.cn/v1/chat/completions' \
--header 'Authorization: Bearer $API_KEY' \
--header 'Content-Type: application/json' \
--data '{
    "messages": [
        {
            "role": "user",
            "content": "hi"
        }
    ],
    "model": "inf-chat-v1"
}'

SDK调用

我们的API在协议上完全兼容OpenAI的Python SDK，只需要稍作配置即可使用。

安装 OpenAI SDK

pip install openai

调用代码实例

from openai import OpenAI
API_BASE = "https://api.infly.cn/v1"
API_KEY = "your key"
client = OpenAI(
    api_key=API_KEY,
    base_url=API_BASE
)
completion = client.chat.completions.create(
    model="inf-chat-v1",
    messages=[{"role": "user", "content": "hi"}]
)
print(completion)

基本概念​

大语言模型​

Token​

API密钥​

快速开始​

前置条件​

发送请求​

HTTP接口调用​

SDK调用​