Envie dados do Data Stream para o Object Storage
Aponte um stream do Data Stream para um bucket do Object Storage pelo endpoint S3, no Azion Console ou com a Azion API, e confirme a entrega.
Você pode enviar os logs de um stream a um bucket do Object Storage pelo Azion Console ou com a Azion API. Para criar um stream que grava em um bucket desde o início, consulte Primeiros passos do Data Stream. Para enviar os logs a um bucket do Amazon S3, consulte Envie logs para o Amazon S3.
O Data Stream alcança o bucket pelo endpoint S3 e grava cada lote de linhas de log como um objeto. No formulário do stream, o endpoint é definido no campo Connector, e a opção dele é Simple Storage Service (S3). Para cada campo e seus limites, consulte Endpoints.
Pré-requisitos
Console
- A permissão Edit Data Stream. Para as permissões, consulte Configurações do stream.
- Um stream na conta. Para criar um, consulte Primeiros passos do Data Stream.
- Um bucket do Object Storage. Para criar um, consulte Primeiros passos com Object Storage.
- Uma credencial do Object Storage que alcance o bucket, com quatro capabilities: List Files, Write Files, List All Bucket Names e List Buckets. Na API, elas são
listFiles,writeFiles,listAllBucketNameselistBuckets. Sem as duas capabilities de listagem de buckets, cada envio falha com o status503e nenhum objeto chega ao bucket. A secret key é exibida apenas uma vez, quando a credencial é criada. Para criar a credencial, consulte Credenciais de compatibilidade com o protocolo S3. - Acesso ao Azion Console. Para entrar, consulte Como acessar o Azion Console.
Aponte o stream para o bucket
O stream mantém a fonte de dados, os filtros e o template dele. Apenas o endpoint muda, com o endereço S3 do bucket, a região dele e o par de chaves da credencial.
Console
Para apontar o stream para o bucket no Azion Console:
Acesse Azion Console > Data Stream.
Na lista, selecione a linha do stream.
Na seção Output, selecione Simple Storage Service (S3) em Connector.
Insira os valores do seu bucket:
- URL:
https://s3.us-east-005.azionstorage.net - Bucket Name: o nome do seu bucket
- Region:
us-east-005
Insira a access key em Access Key e a secret key em Secret Key. O Console mascara os dois campos. Em uma conta apenas com View Data Stream, um ícone de cadeado substitui o ícone de revelar.
Em uma edição, o Console não exige Secret Key.
Em Object Key Prefix, insira o início do nome de cada objeto. Por exemplo: activity. Sem um prefixo, os objetos vão para a raiz do bucket.
Em Content Type, selecione plain/text ou application/gzip. Com plain/text, cada objeto contém uma linha de log por linha.
Na seção Status, mantenha Active ativado.
Se a caixa de diálogo Attention abrir, selecione Confirm.
O Console mostra Your data stream has been updated. Na lista Data Stream, a coluna Connector mostra Amazon S3 para o stream.
Salvar verifica o formato de cada campo e não contata o bucket. Uma chave errada ou uma capability ausente aparece apenas como um envio que falhou. Uma ativação entra em vigor depois de um a dois minutos. Se o stream usa sampling, salvá-lo como ativo desativa todos os outros streams da conta; um filtro de workloads os mantém ativos.
Confirme a entrega
Um stream envia um lote a cada 60 segundos, ou antes, quando chega a 2.000 linhas de log. Duas verificações confirmam a entrega: o objeto no bucket e o envio que o Real-Time Events registra.
Encontre o objeto no bucket
O nome de cada objeto é o Object Key Prefix, uma /, a data e a hora do envio no formato YYYY/MM/DD/hh/mm/ e um UUID. O Data Stream adiciona a / depois do prefixo.
Console
Para encontrar o objeto no Azion Console:
Acesse Azion Console > Object Storage > Buckets.
Selecione o bucket para o qual o stream envia.
Com o prefixo activity, o objeto aparece listado sob uma chave que começa com activity/.
O objeto está no bucket, o que confirma que o stream entregou um lote.
Leia o envio no Real-Time Events
O Real-Time Events registra cada envio de um stream, entregue ou não, com o código de status que o endpoint retornou.
Console
Para encontrar os envios no Azion Console:
Acesse Azion Console > Real-Time Events.
Cada linha é um envio. Encontre as linhas com S3 em Endpoint Type e leia o Status Code delas.
Um Status Code 200 significa que o bucket aceitou o lote. Streamed Lines informa o número de linhas de log do lote.
Um objeto sob o prefixo e um envio com o status 200 juntos confirmam a entrega. Um status 503 significa que o Data Stream encontrou o endpoint indisponível. Com o Object Storage, verifique primeiro se a credencial traz listAllBucketNames e listBuckets. Para as causas, consulte Solucionar problemas de Data Stream.