Mistral 3 Small (24B AWQ)
Invoque o Mistral 3 Small, um large language model de 24B parâmetros com contexto de 32k tokens, e envie a ele uma requisição de chamada de ferramentas.
Mistral 3 Small é um large language model com 24 bilhões de parâmetros, construído para agentes conversacionais, geração de texto e chamada de ferramentas. Ele lê texto, retorna texto e aceita definições de ferramentas na requisição. AI Inference executa o modelo sob o id casperhansen-mistral-small-24b-instruct-2501-awq.
Detalhes do modelo
O id do modelo é a string que seleciona este modelo, e é o primeiro argumento que Azion.AI.run recebe. O repositório no HuggingFace guarda o model card.
| Detalhe | Valor |
|---|---|
| Nome do modelo | Mistral 3 Small |
| Versão | 24B AWQ |
| Categoria do modelo | Large Language Model (LLM) |
| Id do modelo | casperhansen-mistral-small-24b-instruct-2501-awq |
| Tamanho | 24B parâmetros |
| Modelo no HuggingFace | casperhansen/mistral-small-24b-instruct-2501-awq |
| Endpoint compatível com OpenAI | OpenAI Chat API |
| Licença | Apache 2.0 |
Capacidades
Estes valores pertencem ao modelo e não fazem parte do corpo da requisição. Para conhecer os campos que toda requisição de chat aceita, com seus tipos, padrões e limites, consulte Invocação de modelos.
| Capacidade | Valor |
|---|---|
| Dados de entrada | Texto |
| Comprimento de contexto | 32k tokens |
| Chamada de ferramentas | Sim |
| Suporta LoRA | Não |
Uso
Uma função invoca o modelo com Azion.AI.run, passando o id como primeiro argumento e um corpo de requisição compatível com OpenAI como segundo. Os exemplos abaixo usam esse binding. Para enviar o mesmo corpo ao endpoint HTTP compatível com OpenAI, consulte Invocação de modelos.
Chat completion
Esta requisição carrega uma mensagem de sistema e uma mensagem de usuário, e limita o tamanho da resposta com max_tokens:
O modelo responde com uma entrada em choices, e o texto gerado fica em choices[0].message.content:
Chamada de ferramentas
Uma requisição de chamada de ferramentas adiciona um array tools ao corpo. Cada entrada define type como function e carrega um objeto function com o nome que o modelo chama, uma descrição do que ele faz e seus parameters no formato JSON Schema:
Quando o modelo seleciona uma ferramenta, ele retorna content como null, nomeia a chamada em tool_calls com os argumentos que escolheu e define finish_reason como tool_calls: