Primeiros passos do Data Stream

Envie o Activity History da conta para um bucket do Object Storage com Data Stream, pelo Azion Console ou pela API, e confirme a chegada das primeiras linhas.

Última atualização

Ver como Markdown Configurar agente

Este guia mostra como enviar seus primeiros logs com Data Stream. Ao final, você terá:

  • Seu primeiro stream, que envia o Activity History da sua conta para um bucket do Object Storage.
  • Um evento do Activity History produzido por você.
  • As primeiras linhas de log armazenadas como um objeto no bucket, o que confirma a entrega.

O guia usa o Activity History porque qualquer alteração que você faz na conta produz um evento. Você mesmo dispara a entrega e não precisa de nenhuma conta fora da Azion.

O resultado depende de quatro objetos, nesta ordem:

  1. Um bucket do Object Storage recebe os logs, e uma credencial do Object Storage permite que o Data Stream escreva nele. Você cria os dois antes de começar.
  2. O stream coleta os logs de uma fonte de dados, Activity History. Ele envia todos os eventos, com sampling em 100%. O template Activity History Collector transforma cada evento em uma linha de log. O endpoint é Simple Storage Service (S3), apontado para o bucket. O Console chama o campo do endpoint de Connector.
  3. Um evento: uma alteração que você faz na conta e que o Activity History registra.
  4. Um objeto no bucket que contém as linhas de log desse evento.

Cada configuração do stream está descrita em Configurações do stream.

Selecione a interface que você vai usar. Os pré-requisitos e todas as etapas abaixo seguem essa escolha.

Pré-requisitos

  • Uma conta Azion. Para criar uma, consulte Criar uma conta.
  • A permissão Edit Data Stream na conta, que permite criar, editar e excluir streams. Para mais informações, consulte Permissões de equipes.
  • Um bucket do Object Storage. Para criar um, consulte Primeiros passos com Object Storage.
  • Uma credencial do Object Storage que alcance o bucket, com quatro capabilities: List Files, Write Files, List All Bucket Names e List Buckets. Na API, elas são listFiles, writeFiles, listAllBucketNames e listBuckets. Sem as duas capabilities de listagem de buckets, todo envio falha com status 503 e nenhum objeto chega ao bucket. A secret key aparece só uma vez, quando a credencial é criada. Para criar a credencial, consulte Credenciais da compatibilidade com o protocolo S3.

Crie o stream

O stream lê a fonte de dados Activity History, envia todos os eventos e escreve as linhas de log no bucket. Um stream precisa de sampling ou de um filtro de workloads; este mantém o sampling ligado em 100%. Para coletar os logs de workloads escolhidos, consulte Configurações do stream.

Para criar o stream com a Azion API, envie uma requisição POST para o endpoint de streams. Substitua [TOKEN VALUE] pelo seu personal token, <your-bucket> pelo nome do seu bucket e as duas chaves pelas chaves da sua credencial:

Shell
01curl --request POST \
02 --url https://api.azion.com/v4/workspace/stream/streams \
03 --header 'Accept: application/json' \
04 --header 'Authorization: Token [TOKEN VALUE]' \
05 --header 'Content-Type: application/json' \
06 --data {
07 "name": "activity-to-bucket",
08 "active": true,
09 "inputs": [
10 { "type": "raw_logs", "attributes": { "data_source": "activity_history" } }
11 ],
12 "transform": [
13 { "type": "sampling", "attributes": { "rate": 100 } },
14 { "type": "render_template", "attributes": { "template": 251 } }
15 ],
16 "outputs": [
17 {
18 "type": "s3",
19 "attributes": {
20 "host_url": "https://s3.us-east-005.azionstorage.net",
21 "bucket_name": "<your-bucket>",
22 "region": "us-east-005",
23 "access_key": "[ACCESS KEY]",
24 "secret_key": "[SECRET KEY]",
25 "object_key_prefix": "activity",
26 "content_type": "plain/text"
27 }
28 }
29 ]
30}

O template 251 é o Activity History Collector. Uma resposta 201 traz o stream:

JSON
01{
02 "state": "executed",
03 "data": {
04 "id": 12345,
05 "name": "activity-to-bucket",
06 "last_editor": "user@example.com",
07 "created": "2026-01-01T11:30:47.000000Z",
08 "last_modified": "2026-01-01T11:30:47.000000Z",
09 "product_version": "1.0",
10 "active": true,
11 "inputs": [
12 { "type": "raw_logs", "attributes": { "data_source": "activity_history" } }
13 ],
14 "transform": [
15 { "type": "sampling", "attributes": { "rate": 100 } },
16 { "type": "render_template", "attributes": { "template": 251 } }
17 ],
18 "outputs": [
19 {
20 "type": "s3",
21 "attributes": {
22 "access_key": "[ACCESS KEY]",
23 "secret_key": "[SECRET KEY]",
24 "region": "us-east-005",
25 "object_key_prefix": "activity",
26 "bucket_name": "<your-bucket>",
27 "content_type": "plain/text",
28 "host_url": "https://s3.us-east-005.azionstorage.net"
29 }
30 }
31 ]
32 }
33}

O stream existe e está ativo. Guarde o valor de id, que identifica o stream na próxima etapa. Uma requisição sem o item sampling falha com 400 e o código 32002, Workloads Must Be Provided.

Para criar o stream no Azion Console:

Abra a página do Data Stream

Acesse Azion Console > Data Stream.

Selecione + Stream
Dê um nome ao stream

Na seção General, em Name, insira activity-to-bucket.

Selecione a fonte de dados

Na seção Input, defina Data Source como Activity History.

Mantenha todos os eventos

Na seção Transform, mantenha Option como All Current and Future Workloads. Mantenha Sampling ligado e Sampling Rate (%) em 100, os valores padrão.

Selecione o template

Na seção Render Template, defina Template como Activity History Collector.

Selecione o endpoint

Na seção Output, defina Connector como Simple Storage Service (S3).

Aponte o endpoint para o bucket

Insira os valores do seu bucket e da sua credencial:

  • URL: https://s3.us-east-005.azionstorage.net
  • Bucket Name: o nome do seu bucket
  • Region: us-east-005
  • Access Key e Secret Key: as chaves da sua credencial
  • Object Key Prefix: activity
  • Content Type: plain/text
Mantenha o stream ativo

Na seção Status, mantenha Active ligado.

Selecione Save
Confirme o aviso de sampling

A caixa de diálogo Attention avisa que salvar desativa todos os outros streams da conta. Selecione Confirm.

O Console mostra Your data stream has been created, e a lista do Data Stream mostra o stream com o status Active.

Salvar o stream verifica o formato de cada campo. Isso não contata o bucket, então uma chave errada aparece só como um envio com falha.

Gere um evento

Um stream começa a enviar de um a dois minutos depois que você o salva como ativo. Aguarde dois minutos e faça uma alteração na conta. Cada vez que você salva o stream, o Activity History registra um evento, então renomear o stream é suficiente.

Para renomear o stream com a Azion API, envie uma requisição PATCH para o stream. Substitua <stream-id> pelo id do stream que você criou:

Shell
01curl --request PATCH \
02 --url https://api.azion.com/v4/workspace/stream/streams/<stream-id> \
03 --header 'Accept: application/json' \
04 --header 'Authorization: Token [TOKEN VALUE]' \
05 --header 'Content-Type: application/json' \
06 --data {
07 "name": "activity-to-bucket-2"
08}

Uma resposta 200 traz o stream com o nome alterado e um last_modified posterior:

JSON
01{
02 "state": "executed",
03 "data": {
04 "id": 12345,
05 "name": "activity-to-bucket-2",
06 "last_editor": "user@example.com",
07 "created": "2026-01-01T11:30:47.000000Z",
08 "last_modified": "2026-01-01T12:01:39.000000Z",
09 "product_version": "1.0",
10 "active": true,
11 …
12 }
13}

O Activity History registra a edição como um evento.

Para renomear o stream no Azion Console:

Abra o stream

Na lista do Data Stream, selecione activity-to-bucket.

Altere o nome

Em Name, insira activity-to-bucket-2.

Selecione Save
Confirme o aviso de sampling

Se a caixa de diálogo Attention abrir, selecione Confirm.

O Console mostra Your data stream has been updated. O Activity History registra a edição como um evento.

Em cerca de um minuto após o evento, o Data Stream envia a linha de log correspondente para o bucket.

Confirme a chegada dos logs

O Data Stream escreve cada envio como um objeto. O nome do objeto é o prefixo activity, uma /, a data e a hora do envio no formato YYYY/MM/DD/hh/mm/ e um UUID.

Para listar os objetos do bucket com a Azion API, envie uma requisição GET para o bucket. Substitua <your-bucket> pelo nome do seu bucket:

Shell
01curl --request GET \
02 --url https://api.azion.com/v4/workspace/storage/buckets/<your-bucket>/objects \
03 --header 'Accept: application/json' \
04 --header 'Authorization: Token [TOKEN VALUE]'

A resposta lista o objeto que o stream escreveu, com a chave, o horário e o tamanho em bytes:

JSON
01{
02 "continuation_token": null,
03 "results": [
04 {
05 "key": "activity/2026/01/01/12/02/11111111-1111-1111-1111-111111111111",
06 "last_modified": "2026-01-01T12:02:03.000000Z",
07 "size": 2797,
08 "is_folder": false
09 },
10 …
11 ]
12}

O objeto está no bucket, o que confirma que o stream entregou o evento.

Para encontrar o objeto no Azion Console:

Abra a lista de buckets

Acesse Azion Console > Object Storage > Buckets.

Selecione o bucket

Selecione o bucket para o qual o stream envia.

Encontre o objeto sob o prefixo

O objeto aparece sob uma chave que começa com activity/. Cada / na chave agrupa o objeto sob um prefixo, não uma pasta.

O objeto está no bucket, o que confirma que o stream entregou o evento.

Com Content Type plain/text, o objeto contém um registro do Activity History por linha, como um objeto JSON. As chaves são as que o template Activity History Collector define. Uma linha, resumida:

{"comment": "-", "user_ip": "203.0.113.10", "request_data": "…", "resource_name": "activity-to-bucket-2", …, "title": "Stream activity-to-bucket-2 was edited", "author_email": "user@example.com", …, "resource_id": "12345", …, "time": "2026-01-01T12:01:39Z", "type": "edited", …, "resource_type": "Stream"}

Seu primeiro stream entrega o Activity History da sua conta ao bucket. Cada envio, entregue ou rejeitado, também deixa um registro com o status HTTP em Real-Time Events.

Próximos passos

EndpointsEnvie os logs para sua plataforma de SIEM, big data ou processamento de streams.Fontes de dados e variáveisColete os logs de aplicações, functions ou WAF e veja o que cada variável contém.Crie um template personalizadoEscolha as variáveis que cada linha de log carrega.Como o Data Stream funcionaComo um stream filtra, agrupa em lotes e entrega cada linha de log.