Como utilizar o Amazon Kinesis Data Firehose para receber dados do Data Streaming

Ao configurar data streamings, você precisa configurar um endpoint específico para transmitir seus dados da Azion.

Continue lendo para obter o passo a passo sobre como conectar um endpoint Amazon Kinesis Data Firehose com o Data Streaming.

Pré-requisitos da Amazon Kinesis Data Firehose

Configurar o novo endpoint no ⁠Data Streaming

1. Pré-requisitos da Amazon Kinesis Data Firehose

Para começar a usar Amazon Kinesis Data Firehose, siga estes passos:

Crie uma conta na Amazon AWS.
No dashboard da AWS, crie uma instância.
Preencha as informações solicitadas.
Crie um Amazon S3 bucket.

Você também precisa criar e salvar as seguintes informações:

Stream Name
Region
Access Key
Secret Key

Veja como obtê-las na plataforma da AWS:

Stream Name

Acesse a página inicial do console da Amazon Kinesis.
Em Comece a usar, selecione Kinesis Data Firehose.
Clique no botão Criar stream de entrega. Você será redirecionado para a página de criação do seu stream.
Na seção Escolher origem e destino, em Origem, selecione DIRECT PUT.
Em Destino, selecione Amazon S3. O restante das opções de configuração será carregado.
Na seção Nome do fluxo de entrega, escolha um nome de entrega conforme você achar melhor.
Mantenha as outras opções com o valor padrão.
Na seção Configurações de destino, em Bucket do S3, clique em Browse e selecione um bucket S3 previamente criado. Você também pode clicar no botão Criar e criar um novo nesse momento.
Mantenha as outras opções com o valor padrão.
Clique em Criar um fluxo de entrega.

Você encontra mais detalhes na documentação da AWS Criar o fluxo de entrega do Kinesis Data Firehose.

Region

É a região onde a sua instância da AWS Kinesis está rodando.

Na barra superior do seu dashboard, logo ao lado do botão de ajuda, identificado com ’?’ , você encontra um menu suspenso onde você pode ver o nome da região, bem como seu código.
Encontre o código e salve-o para usar depois. Ele é semelhante a: us-east-1

Você encontra mais detalhes na documentação da AWS A VPC abrange as zonas de disponibilidade e a zona Wavelength.

Access Key e Secret Key

Acesse o painel Identify and Access Management (IAM) > clique no botão Criar nova chave de acesso.
Um pop-up aparecerá na tela com as informações da sua chave.
Clique em Exibir Chave de Acesso para exibir as informações das suas chaves conforme indicado abaixo:
- ID da Chave de acesso, com formato semelhante a AKIA5LVCRTER524RAIA3
- Secret Access Key, com formato semelhante a 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
Salve as informações das duas chaves para usá-las depois no Azion Data Streaming.

Você também pode fazer download do arquivo PEM com as informações das chaves.

2. Configurar o novo endpoint no ⁠Data Streaming

Agora, siga os próximos passos para configurar o novo endpoint criado na Amazon Kinesis Data Firehose no seu Azion Data Streaming.

Você encontra os passos detalhados para a configuração completa no guia Como utilizar o Data Streaming.

Nas configurações de Destination:

No menu suspenso Endpoint Type, selecione AWS⁠ Kinesis Data Firehose.
Em Stream Name, adicione o nome que você deu para seu stream de entrega Kinesis Firehose.
Em Region, adicione a região configurada no seu stream.
Em Access Key, adicione a chave de acesso do seu stream.
Em Secret Key, adicione a chave secreta do seu stream.
Confira se o switch Active está habilitado.
Clique no botão Save.

Após salvar as configurações, seus dados serão enviados para o novo endpoint configurado.

Você pode acompanhar as chamadas feitas pelo Data Streaming à Amazon Kinesis Data Firehose no Real-Time Events. Para isso, selecione Data Source > Data Streaming e escolha as opções de filtro que você deseja utilizar.

Assista um tutorial sobre como usar o Amazon Kinesis Data Firehose com o Data Streaming no canal do YouTube da Azion, com opção de ativar legendas em português: