1 of 20
2 of 20
3 of 20
4 of 20
5 of 20
6 of 20
7 of 20
8 of 20
9 of 20
10 of 20
11 of 20
12 of 20
13 of 20
14 of 20
15 of 20
16 of 20
17 of 20
18 of 20
19 of 20
20 of 20

doc

Como utilizar o Google BigQuery para receber dados do Data Streaming

Data Streaming é um dos produtos de Observe da Azion que tem como objetivo ajudá-lo a acessar seus conteúdos e aplicações em tempo real. Para utilizar o Data Streaming com conectores de endpoint, você precisa configurá-los.

Após completar a configuração inicial, você pode utilizar o Google BigQuery para receber dados do Data Streaming da Azion. Ao conectar o endpoint, você consegue aprimorar suas práticas de monitoramento e utilizar outros produtos da Azion para continuar explorando os seus dados.

Continue lendo esse guia para obter o passo a passo sobre como conectar o endpoint Google BigQuery com o Data Streaming.

  1. Pré-requisitos
  2. Como configurar o novo endpoint no Azion Data Streaming

1. Pré-requisitos

Para começar a usar o Google BigQuery, siga os seguintes passos:

  1. Crie uma conta na Google Cloud Platform.
  2. Crie um projeto na Google Cloud Platform.
  3. Crie uma service account na plataforma do Google e preencha os campos indicados como obrigatórios.

Para autenticar aplicações de terceiros, o BigQuery utiliza contas de serviço.

  1. A service account deve possuir as permissões de BigQuery Admin. Selecione essa opção na lista suspensa do campo Role.

Para mais detalhes sobre as permissões padrão atribuídas à função de Editor de dados BigQuery, acesse o BigQuery Roles.

Como criar uma private key

  1. Depois que a service account for criada, faça login e acesse-a.
  2. No menu Keys, crie uma chave de acesso nova. Escolha a opção Key Type JSON.
  3. Após a confirmação, será feito o download do arquivo .JSON com as credenciais.

Veja a seguir um exemplo do conteúdo do arquivo:

{
  "type": "service_account",
  "project_id": "azion-data",
  "private_key_id": "13e018d99d6ay9e3c9f3e21a7a7e0226a1ae082",
  "private_key": "-----BEGIN PRIVATE KEY-----\\nxxx\\n-----END PRIVATE KEY-----\\n",
  "client_email": "myemail@azion.com",
   ...
}

Como habilitar a API do BigQuery

O próximo passo é habilitar a API do BigQuery no API Manager.

A API do BigQuery tem suporte a um endpoint para fazer stream de linhas em uma tabela. No entanto, esse endpoint não é suportado na versão Free Tier. Para utilizá-lo, é necessário habilitar a versão completa da plataforma com a configuração de Billing.

Mais detalhes sobre esse passo podem ser encontrados na documentação de gerenciamento de Billing nos projetos. As taxas de utilização da API também podem ser consultadas na tabela de preços na seção Streaming Inserts.

Como criar um dataset

Após habilitar a API, você precisará criar um dataset. Para tanto, você precisa criar um projeto no Google Cloud Console. Por padrão, o BigQuery já vem habilitado em novos projetos.

Após criar o projeto, siga os seguintes passos:

  1. Selecione seu projeto e crie um dataset para o projeto selecionado.
  2. Crie uma tabela para o seu dataset com a estrutura dos dados que serão inseridos.
  3. Abra a tabela que você criou > selecione Edit schema.
  4. Adicione a estrutura dos dados que serão inseridos.

Uma vez que a tabela é criada, já é possível fazer a ingestão de dados através da API do BigQuery.


2. Como configurar o novo endpoint no Azion Data Streaming

Agora, você deve seguir os próximos passos para configurar o novo endpoint criado no Google BigQuery no seu Azion Data Streaming:

  1. Se você é um novo usuário do Data Streaming, acesse o Account Menu > Billing & Subscriptions no Real-Time Manager (RTM) e habilite o produto na aba Subscriptions.
  2. No Products Menu, selecione o produto Data Streaming no canto superior esquerdo.
  3. Clique no botão Add Streaming.
  4. Escolha um nome para seu Data Streaming.
  5. Na lista suspensa Data Source, selecione Edge Applications.

    Para mais informações sobre criar Edge Applications, visite a página de documentação.

  6. O DataSet deve estar de acordo com a tabela criada anteriormente no BigQuery. Para isso, em Template, selecione “Custom Template” e monte o dataset conforme o exemplo abaixo.

Dica: copie e cole o template padrão e apague os campos que você não criou ou renomeou. Para maiores detalhes sobre as variáveis existentes no Data Streaming, consulte a documentação do produto.

{
	"host": "$host",
	"status": "$status",
	"request_uri": "$request_uri",
	"remote_addr": "$remote_addr"
}

O dataset acima equivale à tabela criada no Google BigQuery.

  1. Em Options, você pode:
  • Selecionar Filter Domains e adicionar os domínios dos quais você deseja receber os logs ao selecioná-los na caixa Available Domains.
  • Selecionar All Domains para receber os logs de todos os domínios.
  1. Nas configurações de Destination, selecione Google BigQuery na lista suspensa Endpoint Type.
  2. Complete os campos:
  • Project ID: A ID do seu projeto no Google Cloud.
  • Dataset ID: A ID do seu dataset criado no Google BigQuery.
  • Table ID: A ID da tabela que receberá os dados.
  1. Em Service Account Key, cole o conteúdo do arquivo .JSON que contém sua chave privada de acesso.

A sua chave de acesso deve se parecer com algo assim:

{
	"type": "service_account",
	"project_id": "[name]",
	"private_key_id": "13c73d892hf6e8s04hjkloi6759f1e6df39f9038",
	"private_key": "-----BEGIN PRIVATE KEY-----\nMIIEvAIpDEryaqLPEuiG9w0BAQEFAASCBKYwggSiAgEAAoIBAQCzL+bgfcynhWOx\nAKQ6wfsnwl/jEYsu5KxlPTtr11hmHLVtDAC68FVjAL029zfTjCRIG9d2ttm6fySY\nJm7Y1MwpahekDmFhMbISxA5UfN0KAF5Bs/uGU6hm17tq+ZDSA1L9f3UIvAJ5/cqu\n9CKhU1Dm1TChL8nxIfAb90G7ga6QJVve3ko/0KHpq7pdm3tp6VsVQ+fgwKNi7L+A\n4CvHFT0jX4jRDIFUKePRuxyleZV5p1Y3BHSLCIC1X+oe36a0RMLBCrWVdhHwAqBb\nbec3NYTen4Re+BidL0cfJ8IsVhjdWuibQTaT2/V+OzA+JgzXvpYSI0jWUvUiYtRK\njxz7AGaXAgMBAAECggEASA0bua76ElAjTg9ixKFg7u0/4P4cWfAM1cf64+e9zPJ6/\nH5NaW8cpWf+7C/MxlOdH/zojHKScMyWhXu0wvpKalGXWr+F5/mVCsu2wqfoIhPh\nzeAq72KB5MtBLI4ecPkbCnyGKbt9909TfRrrLBEl58EHNaUwEvRDzsmBpn1JDe75\nJ2ODNf714DsDtghG5Jy5nZ75Bk6ny5mYp67q6IdCUFJeLgJUwfNdtUJmcQ5x7lw3\nujR0vEyEWXpiSAsIhIi0XgMr5NSbBdH+e+P9gVUZwqtRbshdH6aPalIxh1rhdEtY\nJguGzK9nbYQtzm0Mdka3VZtUZIEQAqlg8OZe8xLpa+p392TU64sQlrJxQMZxPNtU\ntPuDwtDAgmwGZNGFxgBFIMuzN88QpL5zPFSBbJoHt5xJ3sGNmeuDF9SrBXNrFz\n9hmqUtoUa0iNheVNG+Y7smEnJNjuSYldAlBQ5qjqSr1IAJTwoUE0fF1P3SbFK9b2\nW6TJ73gqF78EQIJf6t3kOczm/QKB0pRMSuGK2ga45ig2CtMSklUHVjL3A+zcEP9NH\nosFRYkxZZShPqKj2j0PAdB2TcUgrl1a+I+6oA1oU/j0fuJiux9pxrz9I8QfTVwJQS\n/oCcHsKMrDngi0+DkETHDe9peDPTfO4MAh+G285MDPa3LegEG2iVGsqhp+5v8Jdm0Vl\nCyZQJ526IwKBgESw1npFyakE0sMGjlwBRjworH5HjajNPsJjZtspaU7TkCXsS7bt\nwFmLmm7205SKM+1N9C4owSn25uxIWbsb/wB6iuK+EyP+K3qnjPI/GsVRpDjXb1Ma\niBe4tZCUUP/lJGj8HvBk+kD/lQoFuFndD6cvwDze+PpUeN2oe7IiiZQBlAoGAcQUp\nHT3lCVmxXC049FKa8DyWTJIQJhkJmDADeqlYaCFaUe9YC490Y+BtYZHX0UNDXCnFZ\nLIBTtRTPfFU02kUBAcGn0ALc74QwUnJlImvuOeYOlgGwy6QzcRQ6dtfsDWROwKk\nNCAAjYBylKF2QcuZC3rwe0qN5EIe/0DoFmWUD7ELCgYBIKy2ojKY2d+IByJakBOXt\nojwlCj+I5GpDtDeVhzw9u+74j7KoLsKE057DnMGgouGdVH2xCKih7E71iDKPx1Li\nar9Dz3LsPzHGYXt0LBa+0RBm8mRVb68AlFuN3XJ7g9H8tXPZl38hwLKM\EkDJruapG84nuOcgrp2zGHwYtp9S7DfUg==\n-----END PRIVATE KEY-----\n",
	"client_email": "email@myemailaccount.com",
	"client_id": "1835090363570189530221",
	"auth_uri": "https://accounts.google.com/o/oauth2/auth",
	"token_uri": "https://oauth2.googleapis.com/token",
	"auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
	"client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/mytest.com"
}
  1. Confira se o botão Active está ativado.
  2. Clique no botão Save.

Toda autenticação com o Google Oauth2 e geração de JWTokens será realizada pelos sistemas de backend do Data Streaming.

Você também pode consultar os dados direto no Google BigQuery.

Após salvar as configurações, você pode acompanhar as chamadas feitas pelo Data Streaming ao BigQuery no produto Real-Time Events, disponível no Products Menu do RTM. Para isso, selecione Data Source > Data Streaming e escolha as opções de filtro que você deseja utilizar.


Trademarks

Google BigQuery e Google Cloud Platform são marcas registradas de Google LLC nos Estados Unidos e/ou outros países.


Não encontrou o que procurava? Abra um ticket.