Envie logs para o Google BigQuery

Crie um stream que grava os logs das suas aplicações como linhas de uma tabela do Google BigQuery, no Azion Console ou com a Azion API, e confirme a entrega.

Última atualização

Ver como Markdown Configurar agente

Você pode enviar os logs de um stream para uma tabela do Google BigQuery pelo Azion Console ou com a Azion API.

Data Stream envia as linhas de log como linhas de uma tabela de um dataset do BigQuery. No formulário do stream, o endpoint é definido no campo Connector, e o BigQuery é a opção Google BigQuery desse campo. Para ver todos os campos e os limites deles, consulte Endpoints.

O stream se autentica no Google com uma chave de service account que você fornece. Data Stream faz a autenticação OAuth 2.0 do Google e gera os JSON Web Tokens, então a chave é a única credencial que você define. O exemplo coleta as requisições de um workload com a fonte de dados Applications.

Selecione a interface uma vez. Os pré-requisitos e todas as tarefas abaixo mostram só esse caminho.

Pré-requisitos

  • Uma conta Azion com a permissão Edit Data Stream. Para ver as permissões, consulte Configurações do stream.
  • Um workload na conta que recebe requisições.
  • Um projeto do Google Cloud com a BigQuery API ativada e o ID do projeto.
  • Faturamento ativado no projeto. O free tier não aceita linhas inseridas por streaming em uma tabela. O Google Cloud lista as tarifas dessas inserções em Streaming Inserts na tabela de preços do BigQuery.
  • Um dataset no projeto e o ID dele. O ID do dataset diferencia maiúsculas de minúsculas.
  • Uma tabela no dataset, com um schema para os dados que o stream envia, e o ID dela. O ID da tabela é o nome que você dá à tabela.
  • Uma service account do Google Cloud com o papel BigQuery Admin e uma chave da service account no formato JSON. O Google Cloud baixa a chave como um arquivo JSON quando você a cria.

O arquivo da chave traz as chaves JSON abaixo. Data Stream usa todo o conteúdo do arquivo:

JSON
01{
02 "type": "service_account",
03 "project_id": "<project-id>",
04 "private_key_id": "<private-key-id>",
05 "private_key": "<private-key>",
06 "client_email": "<client-email>",
07 "client_id": "<client-id>",
08 "auth_uri": "<auth-uri>",
09 "token_uri": "<token-uri>",
10 "auth_provider_x509_cert_url": "<auth-provider-cert-url>",
11 "client_x509_cert_url": "<client-cert-url>"
12}

Crie o stream

O stream coleta do workload que você escolher, por meio de um filtro de workloads. Ao contrário do sampling, um filtro de workloads mantém seus outros streams ativos.

Para criar o stream com a API, envie uma requisição POST para https://api.azion.com/v4/workspace/stream/streams. Substitua [TOKEN VALUE] pelo seu personal token, <workload-id> pelo ID do seu workload e os valores da tabela pelos seus. Substitua [SERVICE ACCOUNT KEY] pelo conteúdo do arquivo da chave como uma única string JSON, com cada aspa e cada barra invertida do arquivo escapada com uma \:

Shell
01curl -X POST 'https://api.azion.com/v4/workspace/stream/streams' \
02 -H 'Content-Type: application/json' \
03 -H 'Authorization: Token [TOKEN VALUE]' \
04 -d {
05 "name": "logs-to-bigquery",
06 "active": true,
07 "inputs": [
08 { "type": "raw_logs", "attributes": { "data_source": "workloads" } }
09 ],
10 "transform": [
11 { "type": "filter_workloads", "attributes": { "workloads": [<workload-id>] } },
12 { "type": "render_template", "attributes": { "template": 2 } }
13 ],
14 "outputs": [
15 {
16 "type": "big_query",
17 "attributes": {
18 "project_id": "my-project",
19 "dataset_id": "azion_logs",
20 "table_id": "requests",
21 "service_account_key": "[SERVICE ACCOUNT KEY]"
22 }
23 }
24 ]
25 }

A fonte de dados workloads é Applications no Console, e o template 2 é Applications Event Collector. A API responde 201 com o stream armazenado:

JSON
01{
02 "state": "executed",
03 "data": {
04 "id": 12350,
05 "name": "logs-to-bigquery",
06 "last_editor": "user@example.com",
07 "created": "2026-01-01T12:10:29.000000Z",
08 "last_modified": "2026-01-01T12:10:29.000000Z",
09 "product_version": "1.0",
10 …
11 "outputs": [
12 {
13 "type": "big_query",
14 "attributes": {
15 "dataset_id": "azion_logs",
16 "project_id": "my-project",
17 "table_id": "requests",
18 "service_account_key": "[SERVICE ACCOUNT KEY]"
19 }
20 }
21 ]
22 }
23}

Guarde o id: ele identifica o stream em todas as requisições seguintes, como /v4/workspace/stream/streams/12350. Para ver todas as chaves do corpo, consulte Configurações do stream.

Para criar o stream no Azion Console:

Abra o Data Stream

Acesse Azion Console > Data Stream.

Selecione + Stream
Dê um nome ao stream

Na seção General, informe um Name. Por exemplo: logs-to-bigquery.

Selecione a fonte de dados

Na seção Input, selecione Applications em Data Source.

Desative o Sampling

Na seção Transform, desative Sampling enquanto Option ainda estiver em All Current and Future Workloads, o valor inicial. Um stream não pode ter sampling e filtro de workloads ao mesmo tempo.

Escolha o workload

Na seção Transform, defina Option como Filter Workloads. Em Available Workload, selecione seu workload e mova-o para Chosen Workload com a seta.

Selecione o template

Na seção Render Template, selecione Applications Event Collector em Template.

Selecione o endpoint BigQuery

Na seção Output, selecione Google BigQuery em Connector.

Informe a localização da tabela

Informe o ID do seu projeto do Google Cloud em Project ID, o ID do dataset em Dataset ID e o ID da tabela em Table ID. Por exemplo: my-project, azion_logs e requests.

Cole a chave da service account

Em Service Account Key, cole todo o conteúdo do arquivo JSON da chave. O campo é um editor de JSON.

Mantenha o stream ativo

Na seção Status, mantenha Active ativado.

Selecione Save

O Console mostra Your data stream has been created. O stream aparece na lista do Data Stream com BigQuery na coluna Connector e o status Active.

A API e o Console salvam o stream sem contatar o Google Cloud. Um projeto, um dataset, uma tabela ou uma chave errada só aparece quando o stream envia. Uma ativação entra em vigor depois de um a dois minutos.

Confirme a entrega

Real-Time Events registra todos os envios de um stream, entregues ou não, com o status code que o endpoint retornou. Envie algumas requisições ao workload e espere cerca de um minuto: um stream envia um lote a cada 60 segundos, ou antes, quando chega a 2.000 linhas de log.

Para ler os envios com a API, consulte o dataset dataStreamedEvents da API GraphQL do Real-Time Events. Substitua as datas por um intervalo que cubra a ativação do stream:

Shell
01curl -X POST 'https://api.azion.com/v4/events/graphql' \
02 -H 'Content-Type: application/json' \
03 -H 'Authorization: Token [TOKEN VALUE]' \
04 -d '{"query":"query { dataStreamedEvents(limit: 20, filter: {tsRange: {begin: \"2026-01-01T12:00:00\", end: \"2026-01-01T12:45:00\"}}, orderBy: [ts_DESC]) { ts endpointType statusCode streamedLines dataStreamed } }"}'

A API responde 200 com um registro para cada envio, do mais recente para o mais antigo:

JSON
01{
02 "data": {
03 "dataStreamedEvents": [
04 {
05 "ts": "2026-01-01T12:02:04Z",
06 "endpointType": "BIG_QUERY",
07 "statusCode": 200,
08 "streamedLines": 2,
09 "dataStreamed": 2797
10 }
11 ]
12 }
13}

Um envio para o BigQuery traz BIG_QUERY em endpointType. Um statusCode 200 significa que o endpoint aceitou o lote, e uma lista dataStreamedEvents vazia significa que o stream não enviou nada no intervalo. Para ver todos os campos, consulte Campos da API GraphQL do Real-Time Events.

Para encontrar os envios no Azion Console:

Abra o Real-Time Events

Acesse Azion Console > Real-Time Events.

Selecione a fonte de dados Data Stream
Leia os envios mais recentes

Cada linha é um envio. Encontre as linhas com BIG_QUERY em Endpoint Type e leia o Status Code delas.

Um Status Code 200 significa que o BigQuery aceitou o lote. Streamed Lines mostra o número de linhas de log do lote.

Um status diferente de 200 é a resposta do endpoint, e 503 significa que Data Stream encontrou o endpoint indisponível. Para ver as causas, consulte Solucionar problemas de Data Stream.

Próximos passos

EndpointsTodos os campos do endpoint BigQuery, com tipo, limites e nome na API.Crie um template personalizadoEscolha as variáveis de cada linha de log e, com isso, os dados que a tabela recebe.Edite, pare ou exclua um streamAltere a tabela ou a chave, pause o stream ou exclua-o.Solucionar problemas de Data StreamDescubra o que alterar quando um envio retorna um status diferente de 200.