GPT-OSS 20B
Invoque GPT-OSS 20B, um modelo de linguagem grande com comprimento de contexto de 131k tokens, e envie uma requisição com chamada de ferramentas.
GPT-OSS 20B é um modelo de linguagem grande open-source com 20 bilhões de parâmetros, construído para geração de texto, conversação e outras tarefas de processamento de linguagem natural. Ele lê texto, retorna texto e aceita definições de ferramentas na requisição. AI Inference executa o modelo sob o id gpt-oss-20b.
Detalhes do modelo
O id do modelo é a string que seleciona este modelo, e é o primeiro argumento que Azion.AI.run recebe. O repositório no HuggingFace contém o model card.
| Detalhe | Valor |
|---|---|
| Nome do modelo | GPT-OSS 20B |
| Versão | 20B |
| Categoria do modelo | Large Language Model (LLM) |
| Id do modelo | gpt-oss-20b |
| Tamanho | 20B parâmetros |
| Modelo no HuggingFace | openai/gpt-oss-20b |
| Endpoint compatível com OpenAI | OpenAI Chat API |
| Licença | Apache 2.0 |
Capacidades
Estes valores pertencem ao modelo e não fazem parte do corpo da requisição. Para os campos que toda requisição de chat aceita, com seus tipos, padrões e limites, consulte Invocação de modelos.
| Capacidade | Valor |
|---|---|
| Dados de entrada | Texto |
| Comprimento de contexto | 131k tokens |
| Chamada de ferramentas | Sim |
| Suporta LoRA | Não |
Uso
Uma função invoca o modelo com Azion.AI.run, passando o id como primeiro argumento e um corpo de requisição compatível com OpenAI como segundo. Os exemplos abaixo usam esse binding. Para enviar o mesmo corpo ao endpoint HTTP compatível com OpenAI, consulte Invocação de modelos.
Chat completion
Esta requisição carrega uma mensagem de sistema, uma mensagem de usuário e os campos de amostragem que moldam a saída:
O modelo responde com uma entrada em choices, e o texto gerado fica em choices[0].message.content:
Chamada de ferramentas
Uma requisição com chamada de ferramentas adiciona um array tools ao corpo. Cada entrada define type como function e carrega um objeto function com o nome que o modelo chama, uma descrição do que ele faz e seus parameters em formato JSON Schema:
Quando o modelo seleciona uma ferramenta, ele retorna content como null, nomeia a chamada em tool_calls com os argumentos que escolheu e define finish_reason como tool_calls: