Envie logs para o AWS Kinesis Data Firehose

Crie um stream que envia os logs das suas aplicações para um delivery stream do Amazon Kinesis Data Firehose, pelo Azion Console ou pela Azion API.

Última atualização

Ver como Markdown Configurar agente

Você pode enviar os logs de um stream para um delivery stream do Amazon Kinesis Data Firehose pelo Azion Console ou com a Azion API. Para gravar os logs diretamente em um bucket do Amazon S3, sem um delivery stream no caminho, consulte Envie logs para o Amazon S3.

O Data Stream envia as linhas de log ao delivery stream em lotes. No formulário do stream, o endpoint é definido no campo Connector, e a opção do Kinesis nesse campo é AWS Kinesis Data Firehose. Para cada campo e os respectivos limites, consulte Endpoints.

O exemplo coleta as requisições de um workload com a fonte de dados Applications.

Selecione sua interface uma vez. Os pré-requisitos e todas as tarefas abaixo mostram só esse caminho.

Pré-requisitos

  • Uma conta Azion com a permissão Edit Data Stream. Para conhecer as permissões, consulte Configurações do stream.
  • Um workload na conta que receba requisições.
  • Uma conta AWS com um delivery stream do Amazon Kinesis Data Firehose. O delivery stream precisa usar Direct PUT como origem e precisa de um destino, como um bucket do Amazon S3.
  • O nome do delivery stream, com até 64 caracteres.
  • O código da região onde o delivery stream roda, como us-east-1.
  • Uma access key da AWS: um access key ID e a secret access key correspondente, criados no AWS Identity and Access Management (IAM).

Crie o stream

Um filtro de workloads limita o stream ao workload que você escolher. O sampling desativaria os seus outros streams, e um filtro de workloads os mantém ativos.

Para criar o stream com a API, envie uma requisição POST para https://api.azion.com/v4/workspace/stream/streams. Substitua [TOKEN VALUE] pelo seu personal token, <workload-id> pelo ID do seu workload e os valores do delivery stream pelos seus:

Shell
01curl -X POST 'https://api.azion.com/v4/workspace/stream/streams' \
02 -H 'Content-Type: application/json' \
03 -H 'Authorization: Token [TOKEN VALUE]' \
04 -d {
05 "name": "logs-to-kinesis",
06 "active": true,
07 "inputs": [
08 { "type": "raw_logs", "attributes": { "data_source": "workloads" } }
09 ],
10 "transform": [
11 { "type": "filter_workloads", "attributes": { "workloads": [<workload-id>] } },
12 { "type": "render_template", "attributes": { "template": 2 } }
13 ],
14 "outputs": [
15 {
16 "type": "aws_kinesis_firehose",
17 "attributes": {
18 "stream_name": "azion-logs",
19 "region": "us-east-1",
20 "access_key": "[ACCESS KEY]",
21 "secret_key": "[SECRET KEY]"
22 }
23 }
24 ]
25 }

A fonte de dados workloads é Applications no Console, e o template 2 é Applications Event Collector. A API responde 201 com o stream armazenado:

JSON
01{
02 "state": "executed",
03 "data": {
04 "id": 12353,
05 "name": "logs-to-kinesis",
06 "last_editor": "user@example.com",
07 "created": "2026-01-01T12:10:35.000000Z",
08 "last_modified": "2026-01-01T12:10:35.000000Z",
09 "product_version": "1.0",
10 …
11 "outputs": [
12 {
13 "type": "aws_kinesis_firehose",
14 "attributes": {
15 "access_key": "[ACCESS KEY]",
16 "stream_name": "azion-logs",
17 "region": "us-east-1",
18 "secret_key": "[SECRET KEY]"
19 }
20 }
21 ]
22 }
23}

Guarde o id. Ele identifica o stream em todas as requisições seguintes, como /v4/workspace/stream/streams/12353. Para cada chave do corpo, consulte Configurações do stream.

Para criar o stream no Azion Console:

Abra o Data Stream

Acesse Azion Console > Data Stream.

Selecione + Stream
Dê um nome ao stream

Na seção General, insira um Name. Por exemplo: logs-to-kinesis.

Selecione a fonte de dados

Na seção Input, selecione Applications em Data Source.

Desligue Sampling

Na seção Transform, desligue Sampling enquanto Option ainda está em All Current and Future Workloads, o valor inicial. Um stream não pode ter sampling e filtro de workloads ao mesmo tempo.

Escolha o workload

Na seção Transform, defina Option como Filter Workloads. Selecione seu workload em Available Workload e mova-o para Chosen Workload com a seta.

Selecione o template

Na seção Render Template, selecione Applications Event Collector em Template.

Selecione o endpoint do Kinesis

Na seção Output, selecione AWS Kinesis Data Firehose em Connector.

Insira o delivery stream

Insira o nome do delivery stream em Stream Name. Insira o código da região dele em Region, como us-east-1.

Insira a access key

Insira o access key ID em Access Key e a secret access key em Secret Key. O Console mascara os dois campos.

Mantenha o stream ativo

Na seção Status, mantenha Active ligado.

Selecione Save

O Console mostra Your data stream has been created. A lista do Data Stream mostra o stream com AWS Kinesis Firehose na coluna Connector e o status Active.

A API e o Console salvam o stream sem contatar a AWS. Um nome de delivery stream, uma região ou uma access key errados só aparecem quando o stream faz um envio. Uma ativação entra em vigor depois de um a dois minutos.

Confirme a entrega

O Real-Time Events registra cada envio de um stream, entregue ou não, com o status code que o endpoint retornou. Envie algumas requisições ao workload e aguarde cerca de um minuto. Um stream envia um lote ao Kinesis a cada 60 segundos, ou antes, quando chega a 500 linhas de log.

Para ler os envios com a API, consulte o dataset dataStreamedEvents da API GraphQL do Real-Time Events. Substitua as datas por um intervalo que cubra a ativação do stream:

Shell
01curl -X POST 'https://api.azion.com/v4/events/graphql' \
02 -H 'Content-Type: application/json' \
03 -H 'Authorization: Token [TOKEN VALUE]' \
04 -d '{"query":"query { dataStreamedEvents(limit: 20, filter: {tsRange: {begin: \"2026-01-01T12:00:00\", end: \"2026-01-01T12:45:00\"}}, orderBy: [ts_DESC]) { ts endpointType statusCode streamedLines dataStreamed } }"}'

A API responde 200 com um registro para cada envio, do mais recente para o mais antigo:

JSON
01{
02 "data": {
03 "dataStreamedEvents": [
04 {
05 "ts": "2026-01-01T12:02:04Z",
06 "endpointType": "AWS_KINESIS_FIREHOSE",
07 "statusCode": 200,
08 "streamedLines": 2,
09 "dataStreamed": 2797
10 }
11 ]
12 }
13}

Um envio ao Kinesis traz AWS_KINESIS_FIREHOSE em endpointType. Um statusCode 200 significa que o endpoint aceitou o lote, e streamedLines e dataStreamed dão o tamanho dele em linhas de log e em bytes. Uma lista dataStreamedEvents vazia significa que o stream não fez envios no intervalo. Para cada campo, consulte Campos GraphQL do Real-Time Events.

Para encontrar os envios no Azion Console:

Abra o Real-Time Events

Acesse Azion Console > Real-Time Events.

Selecione a fonte de dados Data Stream
Leia os envios mais recentes

Cada linha é um envio. Encontre as linhas com AWS_KINESIS_FIREHOSE em Endpoint Type e leia o Status Code delas.

Um Status Code 200 significa que o delivery stream aceitou o lote. Streamed Lines informa o número de linhas de log do lote.

Um status diferente de 200 é a resposta do endpoint, e 503 significa que o Data Stream encontrou o endpoint indisponível. Para conhecer as causas, consulte Solucionar problemas de Data Stream.

Próximos passos

EndpointsTodos os campos do endpoint do Kinesis, com tipo, limites e nome na API.Limites de Data StreamO tamanho e o intervalo de lote de cada endpoint, e os outros limites de um stream.Edite, pare ou exclua um streamAltere o delivery stream ou a access key, pause o stream ou remova-o.Solucionar problemas de Data StreamDescubra o que mudar quando um envio retorna um status diferente de 200.