Envie dados do Data Stream para o Object Storage

Aponte um stream do Data Stream para um bucket do Object Storage pelo endpoint S3, no Azion Console ou com a Azion API, e confirme a entrega.

Última atualização

Ver como Markdown Configurar agente

Você pode enviar os logs de um stream a um bucket do Object Storage pelo Azion Console ou com a Azion API. Para criar um stream que grava em um bucket desde o início, consulte Primeiros passos do Data Stream. Para enviar os logs a um bucket do Amazon S3, consulte Envie logs para o Amazon S3.

O Data Stream alcança o bucket pelo endpoint S3 e grava cada lote de linhas de log como um objeto. No formulário do stream, o endpoint é definido no campo Connector, e a opção dele é Simple Storage Service (S3). Para cada campo e seus limites, consulte Endpoints.

Selecione sua interface uma vez. Os pré-requisitos e cada tarefa abaixo mostram apenas esse caminho.

Pré-requisitos

  • A permissão Edit Data Stream. Para as permissões, consulte Configurações do stream.
  • Um stream na conta. Para criar um, consulte Primeiros passos do Data Stream.
  • Um bucket do Object Storage. Para criar um, consulte Primeiros passos com Object Storage.
  • Uma credencial do Object Storage que alcance o bucket, com quatro capabilities: List Files, Write Files, List All Bucket Names e List Buckets. Na API, elas são listFiles, writeFiles, listAllBucketNames e listBuckets. Sem as duas capabilities de listagem de buckets, cada envio falha com o status 503 e nenhum objeto chega ao bucket. A secret key é exibida apenas uma vez, quando a credencial é criada. Para criar a credencial, consulte Credenciais de compatibilidade com o protocolo S3.
  • Um personal token. Para criar um, consulte Como criar um personal token.
  • curl.
  • O ID do stream. A resposta de listagem de GET /v4/workspace/stream/streams o traz no campo id de cada stream.

Aponte o stream para o bucket

O stream mantém a fonte de dados, os filtros e o template dele. Apenas o endpoint muda, com o endereço S3 do bucket, a região dele e o par de chaves da credencial.

Para apontar o stream para o bucket com a API, envie uma requisição PATCH apenas com a chave outputs. Substitua <stream-id> pelo ID do seu stream, <your-bucket> pelo nome do seu bucket e as duas chaves pelas chaves da sua credencial:

Shell
01curl -X PATCH 'https://api.azion.com/v4/workspace/stream/streams/<stream-id>' \
02 -H 'Content-Type: application/json' \
03 -H 'Authorization: Token [TOKEN VALUE]' \
04 -d {
05 "outputs": [
06 {
07 "type": "s3",
08 "attributes": {
09 "host_url": "https://s3.us-east-005.azionstorage.net",
10 "bucket_name": "<your-bucket>",
11 "region": "us-east-005",
12 "access_key": "[ACCESS KEY]",
13 "secret_key": "[SECRET KEY]",
14 "object_key_prefix": "activity",
15 "content_type": "plain/text"
16 }
17 }
18 ]
19 }

A API responde 200 com o stream armazenado:

JSON
01{
02 "state": "executed",
03 "data": {
04 "id": 12345,
05 "name": "activity-to-bucket",
06 "last_editor": "user@example.com",
07 "created": "2026-01-01T11:30:47.000000Z",
08 "last_modified": "2026-01-01T11:58:54.000000Z",
09 "product_version": "1.0",
10 …
11 "outputs": [
12 {
13 "type": "s3",
14 "attributes": {
15 "access_key": "[ACCESS KEY]",
16 "secret_key": "[SECRET KEY]",
17 "region": "us-east-005",
18 "object_key_prefix": "activity",
19 "bucket_name": "<your-bucket>",
20 "content_type": "plain/text",
21 "host_url": "https://s3.us-east-005.azionstorage.net"
22 }
23 }
24 ]
25 }
26}

A entrada de outputs contém o bucket, e last_modified avança. A fonte de dados e os transforms permanecem como estavam. Para cada chave do corpo, consulte Configurações do stream.

Para apontar o stream para o bucket no Azion Console:

Abra a página Data Stream

Acesse Azion Console > Data Stream.

Abra o stream

Na lista, selecione a linha do stream.

Selecione o endpoint S3

Na seção Output, selecione Simple Storage Service (S3) em Connector.

Insira a localização do bucket

Insira os valores do seu bucket:

  • URL: https://s3.us-east-005.azionstorage.net
  • Bucket Name: o nome do seu bucket
  • Region: us-east-005
Insira a credencial

Insira a access key em Access Key e a secret key em Secret Key. O Console mascara os dois campos. Em uma conta apenas com View Data Stream, um ícone de cadeado substitui o ícone de revelar.

Em uma edição, o Console não exige Secret Key.

(Opcional) Insira o prefixo do objeto

Em Object Key Prefix, insira o início do nome de cada objeto. Por exemplo: activity. Sem um prefixo, os objetos vão para a raiz do bucket.

Selecione o tipo de conteúdo

Em Content Type, selecione plain/text ou application/gzip. Com plain/text, cada objeto contém uma linha de log por linha.

Mantenha o stream ativo

Na seção Status, mantenha Active ativado.

Selecione Save
Confirme o aviso de sampling

Se a caixa de diálogo Attention abrir, selecione Confirm.

O Console mostra Your data stream has been updated. Na lista Data Stream, a coluna Connector mostra Amazon S3 para o stream.

Salvar verifica o formato de cada campo e não contata o bucket. Uma chave errada ou uma capability ausente aparece apenas como um envio que falhou. Uma ativação entra em vigor depois de um a dois minutos. Se o stream usa sampling, salvá-lo como ativo desativa todos os outros streams da conta; um filtro de workloads os mantém ativos.

Confirme a entrega

Um stream envia um lote a cada 60 segundos, ou antes, quando chega a 2.000 linhas de log. Duas verificações confirmam a entrega: o objeto no bucket e o envio que o Real-Time Events registra.

Encontre o objeto no bucket

O nome de cada objeto é o Object Key Prefix, uma /, a data e a hora do envio no formato YYYY/MM/DD/hh/mm/ e um UUID. O Data Stream adiciona a / depois do prefixo.

Para listar os objetos do bucket com a API, envie uma requisição GET ao bucket. Substitua <your-bucket> pelo nome do seu bucket:

Shell
01curl -X GET 'https://api.azion.com/v4/workspace/storage/buckets/<your-bucket>/objects' \
02 -H 'Accept: application/json' \
03 -H 'Authorization: Token [TOKEN VALUE]'

A API responde 200 com uma entrada por objeto, cada uma com a chave, o horário e o tamanho em bytes dele:

JSON
01{
02 "continuation_token": null,
03 "results": [
04 {
05 "key": "activity/2026/01/01/12/02/11111111-1111-1111-1111-111111111111",
06 "last_modified": "2026-01-01T12:02:03.000000Z",
07 "size": 2797,
08 "is_folder": false
09 },
10 …
11 ]
12}

A chave começa com o prefixo activity, seguido da data e da hora do envio, o que confirma que o stream entregou um lote.

Para encontrar o objeto no Azion Console:

Abra a lista de buckets

Acesse Azion Console > Object Storage > Buckets.

Selecione o bucket

Selecione o bucket para o qual o stream envia.

Encontre o objeto sob o prefixo

Com o prefixo activity, o objeto aparece listado sob uma chave que começa com activity/.

O objeto está no bucket, o que confirma que o stream entregou um lote.

Leia o envio no Real-Time Events

O Real-Time Events registra cada envio de um stream, entregue ou não, com o código de status que o endpoint retornou.

Para ler os envios com a API, consulte o dataset dataStreamedEvents da API GraphQL do Real-Time Events. Substitua as datas por um intervalo que cubra a alteração do stream:

Shell
01curl -X POST 'https://api.azion.com/v4/events/graphql' \
02 -H 'Content-Type: application/json' \
03 -H 'Authorization: Token [TOKEN VALUE]' \
04 -d '{"query":"query { dataStreamedEvents(limit: 20, filter: {tsRange: {begin: \"2026-01-01T12:00:00\", end: \"2026-01-01T12:45:00\"}}, orderBy: [ts_DESC]) { ts endpointType statusCode streamedLines dataStreamed } }"}'

A API responde 200 com um registro para cada envio, o mais recente primeiro:

JSON
01{
02 "data": {
03 "dataStreamedEvents": [
04 {
05 "ts": "2026-01-01T12:02:04Z",
06 "endpointType": "S3",
07 "statusCode": 200,
08 "streamedLines": 2,
09 "dataStreamed": 2797
10 }
11 ]
12 }
13}

Um statusCode 200 significa que o bucket aceitou o lote, e streamedLines e dataStreamed dão o tamanho dele em linhas de log e em bytes. Uma lista dataStreamedEvents vazia significa que o stream não enviou no intervalo. Para cada campo, consulte Campos da API GraphQL do Real-Time Events.

Para encontrar os envios no Azion Console:

Abra o Real-Time Events

Acesse Azion Console > Real-Time Events.

Selecione a fonte de dados Data Stream
Leia os envios mais recentes

Cada linha é um envio. Encontre as linhas com S3 em Endpoint Type e leia o Status Code delas.

Um Status Code 200 significa que o bucket aceitou o lote. Streamed Lines informa o número de linhas de log do lote.

Um objeto sob o prefixo e um envio com o status 200 juntos confirmam a entrega. Um status 503 significa que o Data Stream encontrou o endpoint indisponível. Com o Object Storage, verifique primeiro se a credencial traz listAllBucketNames e listBuckets. Para as causas, consulte Solucionar problemas de Data Stream.

Próximos passos

Primeiros passos do Data StreamCrie um stream que grava em um bucket e confirme os primeiros logs dele.EndpointsCada campo do endpoint S3, com o tipo, os limites e o nome na API.Object StorageGerencie o bucket, os objetos dele e as credenciais que o alcançam.Solucionar problemas de Data StreamDescubra o que mudar quando um envio retorna um status diferente de 200.