Configure sampling em um stream

Envie uma parte dos eventos de um stream com o sampling do Data Stream, no Azion Console ou com a Azion API, e verifique quais streams ficam ativos.

Última atualização

Ver como Markdown Configurar agente

Você pode configurar o sampling em um stream do Data Stream pelo Azion Console ou com a Azion API. Para limitar um stream aos workloads que você escolher, o que mantém os outros streams ativos, consulte Associe workloads a um stream.

O sampling envia uma porcentagem dos eventos que um stream coleta, escolhidos aleatoriamente. Uma taxa menor reduz o volume, e o custo, dos dados que você coleta e analisa. Um stream com sampling cobre todos os workloads da conta, incluindo os workloads criados depois. Para os limites de cada campo, consulte Configurações do stream.

Selecione sua interface uma vez. Os pré-requisitos e cada tarefa abaixo mostram apenas esse caminho.

Pré-requisitos

  • Acesso ao Azion Console. Para entrar, consulte Como acessar o Azion Console.
  • Uma conta com menos de 3.000 workloads. Com 3.000 workloads ou mais, o Console bloqueia os formulários de stream e você gerencia os streams apenas pela API.
  • Um personal token e curl.
  • O ID do stream e o ID do template dele. A resposta da listagem de GET /v4/workspace/stream/streams?fields=id,name,active,transform traz os dois: o id do stream e o template no item render_template do transform dele.

Defina a taxa de sampling

A taxa é um número inteiro de 1 a 100: a porcentagem de eventos que o stream envia. Uma taxa de 100 envia todos os eventos e continua contando como sampling.

Para definir a taxa com a API, envie uma requisição PATCH com o array transform do stream. Defina rate no item sampling e mantenha o item render_template com o ID do template do seu stream. Este exemplo mantém o template 2, Applications Event Collector. Substitua <stream-id> pelo ID do seu stream:

Shell
01curl -X PATCH 'https://api.azion.com/v4/workspace/stream/streams/<stream-id>' \
02 -H 'Content-Type: application/json' \
03 -H 'Authorization: Token [TOKEN VALUE]' \
04 -d {
05 "transform": [
06 { "type": "sampling", "attributes": { "rate": 50 } },
07 { "type": "render_template", "attributes": { "template": 2 } }
08 ]
09}

A API responde 200 com o stream, que agora traz a nova taxa:

JSON
01{
02 "state": "executed",
03 "data": {
04 "id": 12361,
05 "name": "sampled-stream",
06 …
07 "transform": [
08 { "type": "sampling", "attributes": { "rate": 50 } },
09 { "type": "render_template", "attributes": { "template": 2 } }
10 ],
11 …
12 }
13}

O transform que você envia substitui o armazenado, então envie todos os itens que o stream mantém. Uma taxa fora do intervalo de 1 a 100 é recusada com 400: 0 com 10050 Min Value, e 101 com 10068 Max Value. Uma taxa válida não retorna nenhum aviso de que os outros streams foram desativados.

Para definir a taxa de sampling no Azion Console:

Abra a página Data Stream

Acesse Azion Console > Data Stream.

Abra o stream

Na lista, selecione a linha do stream. O formulário de criação, aberto com + Stream, tem a mesma seção Transform.

Selecione todos os workloads

Na seção Transform, defina Option como All Current and Future Workloads. A chave Sampling aparece apenas com essa opção.

Ative o Sampling

Se Sampling estiver desligado, ligue-o. Sampling Rate (%) aparece.

Insira a taxa

Em Sampling Rate (%), insira a porcentagem de eventos a enviar. Por exemplo: 60.

Selecione Save
Confirme o aviso de sampling

O diálogo Attention mostra After activating and saving these settings, all other Data Streams will be disabled. Selecione Confirm.

O Console mostra Your data stream has been updated.

Data Stream escolhe os eventos amostrados aleatoriamente. O diálogo Attention também informa Sampling percentage is statistical and not absolutely precise. When multiple Data Streams have different sampling rates, the system uses the lowest percentage.

Uma troca de stream ativo entra em vigor após um a dois minutos, e outras edições levam alguns minutos para se propagar. Durante esse intervalo, um stream que o salvamento desativou pode continuar enviando.

Verifique quais streams estão ativos

Depois de salvar, o stream com sampling é o único stream ativo da conta. Aguarde dois minutos e verifique o status de cada stream.

Para verificar os streams com a API, liste-os com o estado active e o transform de cada um:

Shell
01curl -X GET 'https://api.azion.com/v4/workspace/stream/streams?fields=id,name,active,transform' \
02 -H 'Authorization: Token [TOKEN VALUE]'

A API responde 200 com uma entrada para cada stream:

JSON
01{
02 "count": 4,
03 "total_pages": 1,
04 "page": 1,
05 "page_size": 10,
06 "next": null,
07 "previous": null,
08 "results": [
09 {
10 "id": 12345,
11 "name": "activity-to-bucket",
12 "active": false,
13 "transform": [
14 { "type": "sampling", "attributes": { "rate": 100 } },
15 { "type": "render_template", "attributes": { "template": 251 } }
16 ]
17 },
18 …
19 {
20 "id": 12346,
21 "name": "sampled-stream",
22 "active": true,
23 "transform": [
24 { "type": "sampling", "attributes": { "rate": 100 } },
25 { "type": "render_template", "attributes": { "template": 251 } }
26 ]
27 },
28 …
29 ]
30}

O stream salvo por último com sampling é o único com "active": true, como o 12346 no exemplo acima. O item sampling dele traz a taxa que ele usa.

Para verificar os streams no Azion Console:

Abra a página Data Stream

Acesse Azion Console > Data Stream.

Leia a coluna Status

O stream que você salvou mostra Active. Todos os outros streams mostram Inactive.

Abra o stream

Selecione a linha do stream. Sampling Rate (%) mostra a taxa armazenada.

Apenas o stream com sampling está Active, na taxa que você definiu.

Para ver o que o stream envia, consulte os envios dele no Real-Time Events. Cada envio é registrado com o status code do endpoint e o número de linhas de log que ele levou.

Próximos passos

Configurações do streamConsulte os limites da taxa de sampling e do filtro de workloads e os erros deles.Associe workloads a um streamLimite um stream aos workloads escolhidos, para que vários streams possam funcionar ao mesmo tempo.Como o Data Stream funcionaCompare o que o sampling e um filtro de workloads coletam, e quanto cada um custa.Solucionar problemas de Data StreamRestaure um stream que parou de enviar depois que um stream com sampling foi salvo.