Visão geral do Data Boost do Bigtable
O Data Boost é um serviço de computação sem servidor projetado para executar alta capacidade de os jobs de leitura nos dados do Bigtable sem impactar o desempenho do clusters que processam o tráfego do seu aplicativo. Ele permite enviar jobs de leitura grandes e consultas usando computação sem servidor enquanto o aplicativo principal continua usando nós do cluster para computação. As SKUs de computação sem servidor e as taxas de faturamento separado das SKUs e das taxas dos nós provisionados. Não é possível enviar textos e excluir solicitações com o Data Boost.
Neste documento, descrevemos o Data Boost e quando e como usá-lo. reimplantá-lo. Antes de ler esta página, você precisa entender Instâncias, clusters e nós.
Indicações de uso
O Data Boost é ideal para análises de dados e cargas de trabalho de processamento de dados. Isolar sua análise e processar o tráfego com o Data Boost garante que não é preciso ajustar a capacidade ou a contagem de nós de um cluster para acomodar para cargas de trabalho de análise de dados. Você pode executar seus jobs de análise de alta capacidade em um cluster único com o Data Boost enquanto o tráfego contínuo do aplicativo é roteadas pelos nós do cluster.
Confira a seguir casos de uso ideais para o Data Boost:
- Jobs de pipeline de exportação ou ETL programados ou acionados de entre o Bigtable e o Cloud Storage para aprimoramento, análise e de ML, treinamento de modelo de ML off-line ou ingestão pelos próprios clientes parceiros terceirizados
- ETL usando uma ferramenta como o Dataflow para verificação curta ou processos de leitura em lote compatíveis com agregações no local, transformações para jobs de MDM ou ML;
Não é bom para
Leituras de pontos: o Data Boost não é a melhor opção de leitura pontual operações, que são solicitações de leitura enviadas para linhas únicas. Isso inclui em lote e em lote. Devido à estrutura de faturamento, muitos pontos de linha são consideravelmente mais caras do que uma única varredura longa.
Como ler os dados imediatamente após a gravação: quando você lê dados com do Data Boost, nem todos os dados gravados na última meia hora. Isso é especialmente verdadeiro se sua instância usa replicação e você está lendo dados que foram gravados em um cluster em uma região diferente da que você lendo. Para mais informações, consulte Consistência.
Cargas de trabalho sensíveis à latência: o Data Boost é otimizado para capacidade de processamento, Portanto, a latência de leitura é mais lenta quando você usa o Data Boost clusters e nós. Por isso, o Data Boost não é adequado para cargas de trabalho de disponibilização de aplicativos.
Para mais informações sobre cargas de trabalho, configurações e recursos não for compatível com o Data Boost, consulte Limitações.
Perfis do app Data Boost
Para usar o Data Boost, você envia suas solicitações de leitura por um app Data Boost de aplicativo em vez de um perfil de aplicativo padrão.
Os perfis de aplicativo padrão permitem especificar política de roteamento e nível de prioridade para solicitações que usam o perfil de aplicativo, bem como se a classe são permitidas. O tráfego enviado usando um perfil de aplicativo padrão é roteado a um cluster, e os nós desse cluster encaminham o tráfego para o disco. Para mais informações, consulte Visão geral dos perfis de app padrão.
Com um perfil de app do Data Boost, por outro lado, você configura uma política de roteamento de cluster único para um dos clusters da sua instância e tráfego o uso desse perfil usa computação sem servidor em vez dos nós do cluster.
É possível criar um novo perfil do app Data Boost ou converter um perfil padrão para usar o Data Boost. Recomendamos o uso de um separado um perfil de aplicativo para cada carga de trabalho ou aplicativo.
Tokens de consistência
Dados gravados ou replicados para o cluster de destino por mais de 35 minutos antes que a solicitação de leitura possa ser lida pelo Data Boost.
É possível garantir que os dados de um job ou período de gravação específico sejam legível pelo Data Boost, antes de iniciá-lo; de trabalho, criando e usando token de consistência. Confira abaixo um exemplo de fluxo de trabalho:
- Grave alguns dados em uma tabela.
- Criar um token de consistência.
- Envie o token no modo
DataBoostReadLocalWrites
para determinar quando as gravações possam ser lidas pelo Data Boost no cluster de destino.
É possível verificar a consistência da replicação antes de verificar o Data Boost
a consistência enviando primeiro um token de consistência no modo StandardReadRemoteWrites
.
Para obter mais informações, consulte a referência da API para CheckConsistencyRequest.
Cota e faturamento
O Data Boost usa unidades de processamento sem servidor (SPUs) recursos de computação sob demanda para medir a capacidade de computação usada para ler dados com o Data Boost. Diferentemente dos nós, as SPUs são cobradas somente quando ao usá-los. Cada solicitação é faturada por um mínimo de 60 SPU-segundos, e você são cobradas pelo menos 10 SPUs por segundo. Para mais informações sobre o Data Boost, consulte a documentação do Bigtable preços.
Você recebe uma cota alocada e a cobrança pelas SPUs é separada da cota e cobranças por nós.
Métricas de qualificação
O Data Boost foi desenvolvido para verificações de alta capacidade, e as cargas de trabalho precisam ser compatíveis com o Data Boost. Antes de converter um app padrão para usar o Data Boost ou criar um perfil de app dessa ferramenta para uma carga de trabalho atual, confira o Data Boost métricas de qualificação para garantir que seus a configuração e o uso atendam aos critérios necessários. Consulte também limitações.
Monitoramento
Para monitorar seu tráfego do Data Boost, verifique as métricas da sua Perfil do app Data Boost na página de monitoramento do Bigtable no console do Google Cloud. Para uma lista das métricas disponíveis por perfil de aplicativo, consulte Como monitorar gráficos para recursos do Bigtable.
Para monitorar o uso de unidades de processamento sem servidor (SPUs), verifique
a métrica de contagem de uso de SPU (data_boost/spu_usage_count
) em
Metrics Explorer:
Você também pode continuar monitorando a qualificação métricas no perfil do app depois de começar a usar o Data Boost.
Limitações
As propriedades de carga de trabalho e configurações de recursos a seguir não são compatíveis para o Data Boost.
- Gravações e exclusões
- Tráfego principalmente de leituras pontuais (leituras de linha única)
- Mais de 1.000 leituras por segundo por cluster
- Reverter verificações
- Alterar streams
- Prioridades de solicitações
- Roteamento de vários clusters
- Transações de linha única
- Endpoints regionais
- Instâncias de HDD
- Instâncias que usam criptografia CMEK
- As bibliotecas de cliente são incompatíveis. Você deve usar o
Cliente do Bigtable para Java
versão 2.31.0 ou posterior.
- Para jobs do Dataflow que usam
BigtableIO
para ler dados do Bigtable, é necessário usar o Apache Beam versão 2.54.0 ou posterior. - Para jobs do Dataflow que usam
CloudBigtableIO
para ler dados do Bigtable, é necessário usarbigtable-hbase-beam
versão 2.14.1 ou posterior.
- Para jobs do Dataflow que usam
Os itens a seguir não são compatíveis com a visualização.
- Criação e configuração de perfil de app do Data Boost no console do Google Cloud
- Leitura de dados do Bigtable no BigQuery ou no Spark