--- name: azion-envie-logs-para-o-google-bigquery description: >- Crie um stream que grava os logs das suas aplicações como linhas de uma tabela do Google BigQuery, no Azion Console ou com a Azion API, e confirme a entrega. --- # Envie logs para o Google BigQuery Você pode enviar os logs de um stream para uma tabela do [Google BigQuery](https://cloud.google.com/bigquery/) pelo Azion Console ou com a Azion API. [Data Stream](/pt-br/documentacao/plataforma/data-stream/) envia as linhas de log como linhas de uma tabela de um dataset do BigQuery. No formulário do stream, o endpoint é definido no campo **Connector**, e o BigQuery é a opção *Google BigQuery* desse campo. Para ver todos os campos e os limites deles, consulte [Endpoints](/pt-br/documentacao/plataforma/data-stream/endpoints/#google-bigquery). O stream se autentica no Google com uma chave de service account que você fornece. Data Stream faz a autenticação OAuth 2.0 do Google e gera os JSON Web Tokens, então a chave é a única credencial que você define. O exemplo coleta as requisições de um workload com a fonte de dados *Applications*. --- Selecione a interface uma vez. Os pré-requisitos e todas as tarefas abaixo mostram só esse caminho. ## Pré-requisitos - Uma conta Azion com a permissão **Edit Data Stream**. Para ver as permissões, consulte [Configurações do stream](/pt-br/documentacao/plataforma/data-stream/configuracoes-do-stream/#permissoes). - Um [workload](/pt-br/documentacao/plataforma/workloads/) na conta que recebe requisições. - Um projeto do Google Cloud com a BigQuery API ativada e o ID do projeto. - Faturamento ativado no projeto. O free tier não aceita linhas inseridas por streaming em uma tabela. O Google Cloud lista as tarifas dessas inserções em **Streaming Inserts** na tabela de preços do BigQuery. - Um dataset no projeto e o ID dele. O ID do dataset diferencia maiúsculas de minúsculas. - Uma tabela no dataset, com um schema para os dados que o stream envia, e o ID dela. O ID da tabela é o nome que você dá à tabela. - Uma service account do Google Cloud com o papel **BigQuery Admin** e uma chave da service account no formato JSON. O Google Cloud baixa a chave como um arquivo JSON quando você a cria. O arquivo da chave traz as chaves JSON abaixo. Data Stream usa todo o conteúdo do arquivo: ```json { "type": "service_account", "project_id": "", "private_key_id": "", "private_key": "", "client_email": "", "client_id": "", "auth_uri": "", "token_uri": "", "auth_provider_x509_cert_url": "", "client_x509_cert_url": "" } ``` **Console** - Acesso ao Azion Console. Para entrar, consulte [Acessar Azion Console](/pt-br/documentacao/guias/plataforma/conta-e-billing/como-acessar-o-azion-console/). **API** - Um personal token. Para criar um, consulte [Gerenciar um personal token](/pt-br/documentacao/guias/plataforma/conta-e-billing/personal-tokens/). - O ID do workload. - `curl`. --- ## Crie o stream O stream coleta do workload que você escolher, por meio de um filtro de workloads. Ao contrário do sampling, um filtro de workloads mantém seus outros streams ativos. **Console** Para criar o stream no Azion Console: 1. **Abra o Data Stream** Acesse [Azion Console](https://console.azion.com/) > **Data Stream**. 2. **Selecione + Stream** 3. **Dê um nome ao stream** Na seção **General**, informe um **Name**. Por exemplo: `logs-to-bigquery`. 4. **Selecione a fonte de dados** Na seção **Input**, selecione *Applications* em **Data Source**. 5. **Desative o Sampling** Na seção **Transform**, desative **Sampling** enquanto **Option** ainda estiver em *All Current and Future Workloads*, o valor inicial. Um stream não pode ter sampling e filtro de workloads ao mesmo tempo. 6. **Escolha o workload** Na seção **Transform**, defina **Option** como *Filter Workloads*. Em **Available Workload**, selecione seu workload e mova-o para **Chosen Workload** com a seta. 7. **Selecione o template** Na seção **Render Template**, selecione *Applications Event Collector* em **Template**. 8. **Selecione o endpoint BigQuery** Na seção **Output**, selecione *Google BigQuery* em **Connector**. 9. **Informe a localização da tabela** Informe o ID do seu projeto do Google Cloud em **Project ID**, o ID do dataset em **Dataset ID** e o ID da tabela em **Table ID**. Por exemplo: `my-project`, `azion_logs` e `requests`. 10. **Cole a chave da service account** Em **Service Account Key**, cole todo o conteúdo do arquivo JSON da chave. O campo é um editor de JSON. 11. **Mantenha o stream ativo** Na seção **Status**, mantenha **Active** ativado. 12. **Selecione Save** O Console mostra `Your data stream has been created`. O stream aparece na lista do **Data Stream** com `BigQuery` na coluna **Connector** e o status **Active**. **API** Para criar o stream com a API, envie uma requisição `POST` para `https://api.azion.com/v4/workspace/stream/streams`. Substitua `[TOKEN VALUE]` pelo seu personal token, `` pelo ID do seu workload e os valores da tabela pelos seus. Substitua `[SERVICE ACCOUNT KEY]` pelo conteúdo do arquivo da chave como uma única string JSON, com cada aspa e cada barra invertida do arquivo escapada com uma `\`: ```bash curl -X POST 'https://api.azion.com/v4/workspace/stream/streams' \ -H 'Content-Type: application/json' \ -H 'Authorization: Token [TOKEN VALUE]' \ -d '{ "name": "logs-to-bigquery", "active": true, "inputs": [ { "type": "raw_logs", "attributes": { "data_source": "workloads" } } ], "transform": [ { "type": "filter_workloads", "attributes": { "workloads": [] } }, { "type": "render_template", "attributes": { "template": 2 } } ], "outputs": [ { "type": "big_query", "attributes": { "project_id": "my-project", "dataset_id": "azion_logs", "table_id": "requests", "service_account_key": "[SERVICE ACCOUNT KEY]" } } ] }' ``` A fonte de dados `workloads` é *Applications* no Console, e o template `2` é *Applications Event Collector*. A API responde `201` com o stream armazenado: ```json { "state": "executed", "data": { "id": 12350, "name": "logs-to-bigquery", "last_editor": "user@example.com", "created": "2026-01-01T12:10:29.000000Z", "last_modified": "2026-01-01T12:10:29.000000Z", "product_version": "1.0", … "outputs": [ { "type": "big_query", "attributes": { "dataset_id": "azion_logs", "project_id": "my-project", "table_id": "requests", "service_account_key": "[SERVICE ACCOUNT KEY]" } } ] } } ``` Guarde o `id`: ele identifica o stream em todas as requisições seguintes, como `/v4/workspace/stream/streams/12350`. Para ver todas as chaves do corpo, consulte [Configurações do stream](/pt-br/documentacao/plataforma/data-stream/configuracoes-do-stream/#objeto-do-stream). A API e o Console salvam o stream sem contatar o Google Cloud. Um projeto, um dataset, uma tabela ou uma chave errada só aparece quando o stream envia. Uma ativação entra em vigor depois de um a dois minutos. --- ## Confirme a entrega [Real-Time Events](/pt-br/documentacao/plataforma/real-time-events/fontes-de-dados/#data-stream) registra todos os envios de um stream, entregues ou não, com o status code que o endpoint retornou. Envie algumas requisições ao workload e espere cerca de um minuto: um stream envia um lote a cada 60 segundos, ou antes, quando chega a 2.000 linhas de log. **Console** Para encontrar os envios no Azion Console: 1. **Abra o Real-Time Events** Acesse [Azion Console](https://console.azion.com/) > **Real-Time Events**. 2. **Selecione a fonte de dados Data Stream** 3. **Leia os envios mais recentes** Cada linha é um envio. Encontre as linhas com `BIG_QUERY` em **Endpoint Type** e leia o **Status Code** delas. Um **Status Code** `200` significa que o BigQuery aceitou o lote. **Streamed Lines** mostra o número de linhas de log do lote. **API** Para ler os envios com a API, consulte o dataset `dataStreamedEvents` da API GraphQL do Real-Time Events. Substitua as datas por um intervalo que cubra a ativação do stream: ```bash curl -X POST 'https://api.azion.com/v4/events/graphql' \ -H 'Content-Type: application/json' \ -H 'Authorization: Token [TOKEN VALUE]' \ -d '{"query":"query { dataStreamedEvents(limit: 20, filter: {tsRange: {begin: \"2026-01-01T12:00:00\", end: \"2026-01-01T12:45:00\"}}, orderBy: [ts_DESC]) { ts endpointType statusCode streamedLines dataStreamed } }"}' ``` A API responde `200` com um registro para cada envio, do mais recente para o mais antigo: ```json { "data": { "dataStreamedEvents": [ { "ts": "2026-01-01T12:02:04Z", "endpointType": "BIG_QUERY", "statusCode": 200, "streamedLines": 2, "dataStreamed": 2797 } ] } } ``` Um envio para o BigQuery traz `BIG_QUERY` em `endpointType`. Um `statusCode` `200` significa que o endpoint aceitou o lote, e uma lista `dataStreamedEvents` vazia significa que o stream não enviou nada no intervalo. Para ver todos os campos, consulte [Campos da API GraphQL do Real-Time Events](/pt-br/documentacao/devtools/graphql/campos-gql-real-time-events/#datastreamedevents-data-stream). Um status diferente de `200` é a resposta do endpoint, e `503` significa que Data Stream encontrou o endpoint indisponível. Para ver as causas, consulte [Solucionar problemas de Data Stream](/pt-br/documentacao/plataforma/data-stream/solucao-de-problemas/). --- ## Próximos passos - [Endpoints](/pt-br/documentacao/plataforma/data-stream/endpoints.md#google-bigquery): Todos os campos do endpoint BigQuery, com tipo, limites e nome na API. - [Crie um template personalizado](/pt-br/documentacao/guias/desenvolvimento-de-aplicacoes/frameworks/data-stream-template-personalizado.md): Escolha as variáveis de cada linha de log e, com isso, os dados que a tabela recebe. - [Edite, pare ou exclua um stream](/pt-br/documentacao/guias/plataforma/observabilidade/deletar-data-stream.md): Altere a tabela ou a chave, pause o stream ou exclua-o. - [Solucionar problemas de Data Stream](/pt-br/documentacao/plataforma/data-stream/solucao-de-problemas.md): Descubra o que alterar quando um envio retorna um status diferente de 200.