Primeiros passos do Data Stream
Envie o Activity History da conta para um bucket do Object Storage com Data Stream, pelo Azion Console ou pela API, e confirme a chegada das primeiras linhas.
Este guia mostra como enviar seus primeiros logs com Data Stream. Ao final, você terá:
- Seu primeiro stream, que envia o Activity History da sua conta para um bucket do Object Storage.
- Um evento do Activity History produzido por você.
- As primeiras linhas de log armazenadas como um objeto no bucket, o que confirma a entrega.
O guia usa o Activity History porque qualquer alteração que você faz na conta produz um evento. Você mesmo dispara a entrega e não precisa de nenhuma conta fora da Azion.
O resultado depende de quatro objetos, nesta ordem:
- Um bucket do Object Storage recebe os logs, e uma credencial do Object Storage permite que o Data Stream escreva nele. Você cria os dois antes de começar.
- O stream coleta os logs de uma fonte de dados, Activity History. Ele envia todos os eventos, com sampling em 100%. O template Activity History Collector transforma cada evento em uma linha de log. O endpoint é Simple Storage Service (S3), apontado para o bucket. O Console chama o campo do endpoint de Connector.
- Um evento: uma alteração que você faz na conta e que o Activity History registra.
- Um objeto no bucket que contém as linhas de log desse evento.
Cada configuração do stream está descrita em Configurações do stream.
Pré-requisitos
Console
- Uma conta Azion. Para criar uma, consulte Criar uma conta.
- A permissão Edit Data Stream na conta, que permite criar, editar e excluir streams. Para mais informações, consulte Permissões de equipes.
- Um bucket do Object Storage. Para criar um, consulte Primeiros passos com Object Storage.
- Uma credencial do Object Storage que alcance o bucket, com quatro capabilities: List Files, Write Files, List All Bucket Names e List Buckets. Na API, elas são
listFiles,writeFiles,listAllBucketNameselistBuckets. Sem as duas capabilities de listagem de buckets, todo envio falha com status503e nenhum objeto chega ao bucket. A secret key aparece só uma vez, quando a credencial é criada. Para criar a credencial, consulte Credenciais da compatibilidade com o protocolo S3. - Acesso ao Azion Console. Para entrar, consulte Acessar Azion Console.
Crie o stream
O stream lê a fonte de dados Activity History, envia todos os eventos e escreve as linhas de log no bucket. Um stream precisa de sampling ou de um filtro de workloads; este mantém o sampling ligado em 100%. Para coletar os logs de workloads escolhidos, consulte Configurações do stream.
Console
Para criar o stream no Azion Console:
Acesse Azion Console > Data Stream.
Na seção General, em Name, insira activity-to-bucket.
Na seção Input, defina Data Source como Activity History.
Na seção Transform, mantenha Option como All Current and Future Workloads. Mantenha Sampling ligado e Sampling Rate (%) em 100, os valores padrão.
Na seção Render Template, defina Template como Activity History Collector.
Na seção Output, defina Connector como Simple Storage Service (S3).
Insira os valores do seu bucket e da sua credencial:
- URL:
https://s3.us-east-005.azionstorage.net - Bucket Name: o nome do seu bucket
- Region:
us-east-005 - Access Key e Secret Key: as chaves da sua credencial
- Object Key Prefix:
activity - Content Type: plain/text
Na seção Status, mantenha Active ligado.
A caixa de diálogo Attention avisa que salvar desativa todos os outros streams da conta. Selecione Confirm.
O Console mostra Your data stream has been created, e a lista do Data Stream mostra o stream com o status Active.
Salvar o stream verifica o formato de cada campo. Isso não contata o bucket, então uma chave errada aparece só como um envio com falha.
Gere um evento
Um stream começa a enviar de um a dois minutos depois que você o salva como ativo. Aguarde dois minutos e faça uma alteração na conta. Cada vez que você salva o stream, o Activity History registra um evento, então renomear o stream é suficiente.
Console
Para renomear o stream no Azion Console:
Na lista do Data Stream, selecione activity-to-bucket.
Em Name, insira activity-to-bucket-2.
Se a caixa de diálogo Attention abrir, selecione Confirm.
O Console mostra Your data stream has been updated. O Activity History registra a edição como um evento.
Em cerca de um minuto após o evento, o Data Stream envia a linha de log correspondente para o bucket.
Confirme a chegada dos logs
O Data Stream escreve cada envio como um objeto. O nome do objeto é o prefixo activity, uma /, a data e a hora do envio no formato YYYY/MM/DD/hh/mm/ e um UUID.
Console
Para encontrar o objeto no Azion Console:
Acesse Azion Console > Object Storage > Buckets.
Selecione o bucket para o qual o stream envia.
O objeto aparece sob uma chave que começa com activity/. Cada / na chave agrupa o objeto sob um prefixo, não uma pasta.
O objeto está no bucket, o que confirma que o stream entregou o evento.
Com Content Type plain/text, o objeto contém um registro do Activity History por linha, como um objeto JSON. As chaves são as que o template Activity History Collector define. Uma linha, resumida:
Seu primeiro stream entrega o Activity History da sua conta ao bucket. Cada envio, entregue ou rejeitado, também deixa um registro com o status HTTP em Real-Time Events.