Como configurar sampling no Data Stream

Ao configurar um stream e escolher associar todos os seus domínios, você pode configurar a opção de Sampling para filtrar a porcentagem de dados que será transmitida. Essa é uma opção viável para reduzir os custos da coleta e análise de dados.

Acesse o Azion Console > Data Stream.
Para configurar o stream, siga as etapas em Como configurar as main settings do Data Stream.
Em Domains > Options, escolha All Current and Future Domains. Isso associará todos os domínios atuais e futuros da conta a este stream.
Em Sampling (%), adicione o valor da porcentagem de dados que deseja transmitir, de 0 a 100. Exemplo: 60.
- O Data Stream coletará dados aleatoriamente de acordo com a porcentagem escolhida.
Finalize a configuração da seção Destination.
Clique no botão Save.

Acesse o Real-Time Manager > Data Stream.
Para configurar o stream, siga as etapas em Como configurar as main settings do Data Stream.
Em Options, escolha All Domains. Isso associará todos os domínios atuais e futuros da conta a este stream.
Em Sampling (%), adicione o valor da porcentagem de dados que deseja transmitir, de 0 a 100. Exemplo: 60.
- O Data Stream coletará dados aleatoriamente de acordo com a porcentagem escolhida.
Finalize a configuração da seção Destination.
Clique no botão Save.

Para esta seção, você estará criando um stream com um conector Apache Kafka via API. Veja outras opções de conectores na tabela Data Stream Endpoints.

Execute a seguinte requisição GET em seu terminal, substituindo [VALOR DO TOKEN] pelo seu token pessoal:

curl --location 'https://api.azionapi.net/data_streaming/streamings' \
--header 'Accept: application/json; version=3' \
--header 'Authorization: Token [TOKEN VALUE]' \
--header 'Content-Type: application/json' \
--data '{
    "name": "Kafka Connector",
    "template_id": 2,
    "domain_ids": [1656613172],
    "data_source": "http",
    "endpoint": {
        "endpoint_type": "kafka",
        "kafka_topic": "mykafka.dts.topic",
        "bootstrap_servers": "infra.my.net:9094,infra.my.net:9094"
    },
    "all_domains": true,
    "sampling_percentage": 60
}'

Você receberá uma resposta semelhante a esta:

{
  "results": {
    "id": 1594,
    "name": "Kafka Connector",
    "template_id": 2,
    "data_source": "http",
    "active": true,
    "endpoint": {
      "endpoint_type": "kafka",
      "use_tls": false,
      "kafka_topic": "mykafka.dts.topic",
      "bootstrap_servers": "infra.my.net:9094,infra.my.net:9094"
    },
    "all_domains": true,
    "sampling_percentage": 60
  },
  "schema_version": 3
}

Aguarde alguns minutos para que as alterações se propaguem e seu stream será atualizado.

Contribuidores