Configurações do stream

Um stream é o objeto do Data Stream que coleta os logs de uma fonte de dados, formata cada linha de log com um template e envia as linhas para um endpoint. Azion Console e Azion API gravam o mesmo objeto, por isso cada tabela desta página mostra o rótulo do Console ao lado do campo da API. Os campos da API são escritos como caminhos dentro do corpo da requisição, como inputs[0].attributes.data_source.

Objeto do stream

O corpo JSON abaixo é um stream completo. Ele envia todos os eventos do Activity History, formatados pelo template Activity History Collector, para um bucket pelo protocolo S3:

Os três arrays carregam as partes do stream:

• inputs contém uma fonte de dados.
• transform contém um item render_template e exatamente um entre sampling e filter_workloads. Cada item tem um type e attributes, então transform[sampling].attributes.rate indica a chave attributes.rate do item cujo type é sampling.
• outputs contém um endpoint. A API mantém a primeira entrada e descarta qualquer outra entrada sem retornar erro.

O caminho da API é /v4/workspace/stream/streams, e um stream específico é /v4/workspace/stream/streams/<stream-id>. Toda requisição leva o header Authorization: Token [TOKEN VALUE], com um personal token da conta. Um POST responde 201 com "state": "executed" e o objeto armazenado, que acrescenta os campos somente leitura id, last_editor, created, last_modified e product_version. Um PATCH altera apenas as chaves que você envia: {"active": true} ativa um stream e o retorna com a fonte de dados, os transforms e o endpoint inalterados. Um PUT exige as mesmas chaves obrigatórias de uma criação. Para cada operação, consulte a referência da Azion API. Para o token e a primeira requisição, consulte Azion API.

Um stream salvo não tem etapa de implantação. Uma mudança do estado ativo entra em vigor depois de um a dois minutos, e durante esse intervalo o stream que estava ativo continua enviando. Uma conta com 3.000 workloads ou mais gerencia seus streams apenas pela API, porque o Console bloqueia os formulários de criação e edição a partir desse número.

General

A seção General dá nome ao stream. A API exige name, inputs, transform e outputs em toda criação.

Input

A seção Input escolhe a fonte de dados da qual o stream coleta. Cada fonte de dados tem suas próprias variáveis, listadas em Fontes de dados e variáveis.

O Console nomeia cada fonte de dados de forma diferente do seu slug na API:

Activity History carrega o Activity History da conta. Functions requer Functions na conta, e WAF Events requer Firewall com WAF.

Transform

A seção Transform define de quais workloads o stream coleta e qual parcela dos eventos deles ele envia.

O botão de opção Option escolhe o escopo. Cada escolha envia um item diferente:

Um stream carrega exatamente um dos dois itens. Sem nenhum deles, a API o recusa com 32002, qualquer que seja a fonte de dados. Com os dois, a API o recusa com 32007. A API não define padrão para os campos abaixo; os padrões são os do Console.

Os eventos do Activity History pertencem à conta, e não a um workload, por isso um stream de Activity History usa sampling. Em algumas contas, o Console mostra All Current and Future Domains e Filter Domains no lugar dessas opções.

Salvar um stream ativo com um item sampling desativa todos os outros streams da conta, e a API não retorna erro. Uma taxa de 100 conta como sampling. Antes de salvar, o Console mostra After activating and saving these settings, all other Data Streams will be disabled. e acrescenta When multiple Data Streams have different sampling rates, the system uses the lowest percentage. Para manter vários streams ativos ao mesmo tempo, dê a cada um deles um item filter_workloads em vez de sampling.

Render Template

A seção Render Template escolhe o template que transforma cada evento em uma linha de log. O Console agrupa as opções de Template em Azion’s Templates e Custom Templates, e mostra as variáveis do template selecionado no campo somente leitura Data Set.

A Azion oferece cinco templates predefinidos:

Create Custom Template abre um drawer que cria um template personalizado na conta, listado em Custom Templates. Para as variáveis de cada template predefinido e o formato de um template personalizado, consulte Templates e payload.

Output

A seção Output define o endpoint que recebe as linhas de log. O Console chama o campo de Connector, e a API carrega a escolha em outputs[0].type.

Status

A seção Status liga ou desliga o stream. A lista de streams mostra cada um como Active ou Inactive.

Uma mudança do estado ativo entra em vigor depois de um a dois minutos. Ativar um stream que tem um item sampling desativa todos os outros streams da conta.

Permissões

As permissões da conta decidem quem pode alterar um stream. Para saber como as permissões são concedidas, consulte Teams and permissions. View Data Stream mostra os streams da conta, mas não permite criá-los, editá-los nem excluí-los. Criar, editar e excluir exigem Edit Data Stream.

Apenas com View Data Stream, o Console desativa + Stream e todos os campos do formulário, e a página de edição não mostra Save. Seis campos de chave são mascarados, com um ícone que revela o valor: Access Key, Secret Key e Object Key Prefix do S3; Access Key e Secret Key do AWS Kinesis Data Firehose; e Shared Key do Azure Monitor. Sem a permissão de edição, um ícone de cadeado substitui o ícone de revelar.

Erros

A API recusa cada requisição abaixo com HTTP 400, exceto 10002, com 401, e não cria nada. O array errors carrega o código, o título e um source.pointer para o campo; o número em um pointer é a posição do item no seu array.

Dois comportamentos não retornam erro. Uma segunda entrada em outputs é descartada, e o stream mantém a primeira. Salvar um stream ativo com um item sampling desativa todos os outros streams da conta.

Recursos relacionados