Como usar o Cloud Monitoring para notificações de ingestão

Neste documento, descrevemos como usar o Cloud Monitoring para receber notificações de ingestão. O Google SecOps usa o Cloud Monitoring para enviar as notificações de ingestão. Com esse recurso, é possível resolver os problemas proativamente. É possível integrar as notificações por e-mail aos fluxos de trabalho atuais. As notificações são acionadas quando os valores de ingestão alcançam determinados níveis predefinidos. Na documentação do Cloud Monitoring, as notificações são chamadas de alertas.

Antes de começar

• Familiarize-se com o Cloud Monitoring.

• Configure um projeto do Google Cloud para o Google SecOps.

• Verifique se o papel do Identity and Access Management inclui as permissões do papel roles/monitoring.alertPolicyEditor. Para mais informações sobre papéis, consulte Controle de acesso.

• Verifique se você sabe criar políticas de alertas no Cloud Monitoring. Para mais informações sobre essas etapas, consulte Criar alertas.

• Configure o canal de notificação como e-mail para receber notificações de ingestão. Para saber mais sobre essas etapas, consulte Gerenciar canais de notificação.

Configurar a notificação de ingestão de métricas de integridade

Para configurar notificações que monitoram métricas de integridade da ingestão específicas do Google SecOps, faça o seguinte:

1. No console do Google Cloud, selecione Monitoring:

2. No painel de navegação, selecione Alertas e clique em Criar política.

3. Na página Selecionar uma métrica, clique em Selecionar uma métrica.

4. No menu Selecionar uma métrica, clique em uma das seguintes opções:

   • Ativo para filtrar e exibir somente recursos e métricas com dados das últimas 25 horas. Se você não selecionar essa opção, todos os tipos de métricas e recursos serão listados.
   • Alternância no nível da organização/pasta para monitorar recursos e métricas, como o uso da cota do consumidor ou a alocação Slot do BigQuery, para sua organização e pastas.

5. Selecione uma das métricas a seguir:

   • Selecione Chronicle Collector > Ingestão e, em seguida, selecione Contagem total de registros ingeridos ou Tamanho total do registro ingerido.

   • Selecione Chronicle Collector > Normalizer e, em seguida, selecione Total record count ou Total event count.

   • Selecione Tipo de registro do Chronicle > Fora de banda e, em seguida, selecione Contagem total de registros ingeridos (feeds) ou Tamanho do registro total ingerido (Feeds).

6. Clique em Aplicar.

7. Para adicionar um filtro, na página Selecionar uma métrica, clique em Adicionar filtro. Na caixa de diálogo do filtro, selecione o rótulo collector_id, um comparador e o valor do filtro.

   • Selecione um ou mais dos seguintes filtros:

     • project_id: o identificador do projeto do Google Cloud associado a esse recurso.

     • location: a localização física do cluster que contém o objeto coletor. Recomendamos que você não use esse campo. Se você deixar esse campo vazio, as Operações de segurança do Google poderão usar as informações que já têm para determinar automaticamente onde armazenar os dados.

     • collector_id: o ID do coletor.

     • log_type: o nome do tipo de registro.

     • Rótulo da métrica > namespace: o namespace do registro.

     • Feed_name: o nome do feed.

     • LogType: o tipo de registro.

     • Rótulo da métrica > event_type: o tipo de evento determina quais campos são incluídos com o evento. O tipo de evento inclui valores como PROCESS_OPEN, FILE_CREATION, USER_CREATION e NETWORK_DNS.

     • Rótulo da métrica > state: o status final do evento ou registro. O status é um dos seguintes:

       • parsed. O registro foi analisado.
       • validated. O registro foi validado.
       • failed_parsing: o registro tem erros de análise.
       • failed_validation: o registro tem erros de validação.
       • failed_indexing: o registro tem erros de indexação em lote.

     • Rótulo da métrica > drop_reason_code: esse campo será preenchido se a origem da ingestão for o encaminhador do Google SecOps e indicar o motivo pelo qual um registro foi descartado durante a normalização.

     • Rótulo da métrica > ingestion_source: a origem de ingestão presente no rótulo de ingestão quando os registros forem ingeridos usando a API de ingestão.

   • Selecione um ID do coletor especial. O ID do coletor também pode ser um ID de encaminhador ou um ID especial com base no método de ingestão.

     • aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa: representa todos os feeds criados usando a API ou a página de gerenciamento de feed. Para mais informações sobre o gerenciamento de feeds, consulte Gerenciamento de feeds e API de gerenciamento de feeds.

     • bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb: representa todas as origens de ingestão que usam o método unstructuredlogentries da API Ingestion. Para mais informações sobre a API Ingest, consulte a API Google SecOps Ingestion.

     • cccccccc-cccc-cccc-cccc-cccccccccccc: representa todas as origens de ingestão que usam o método udmevents da API Ingestion.

     • dddddddd-dddd-dddd-dddd-dddddddddddd: representa a ingestão de registros do Google Cloud.

     • eeeeeeee-eeee-eeee-eeee-eeeeeeeeeeee: representa o ID do coletor usado para CreateEntities.

     • aaaa1111-aaaa-1111-aaaa-1111aaaa1111: representa o agente de coleção.

8. Na seção Transformar dados, faça o seguinte:

   1. Defina o campo Agregação da série temporal como sum.
   2. Defina o campo Grupo de série temporal por como project_id.

9. Opcional: configure uma política de alertas com várias condições. Para criar notificações de ingestão com várias condições em uma política de alertas, consulte Políticas com várias condições.

Métricas de encaminhadores do Google SecOps e filtros associados

A tabela a seguir descreve as métricas disponíveis do encaminhador do Google SecOps e os filtros associados.

Métrica de encaminhador do Google SecOps	Filtrar
Memória do contêiner usada	log_type, collector_id
Disco do contêiner usado	log_type, collector_id
Contêiner cpu_used	log_type, collector_id
Registrar drop_count	log_type, collector_id, input_type, reason
buffer_used	log_type, collector_id, buffer_type, input_type
last_heartbeat	log_type, collector_id, input_type

Defina um exemplo de política para detectar encaminhadores silenciosos do Google SecOps

O exemplo de política a seguir detecta todos os encaminhadores do Google SecOps e envia alertas se eles não enviarem registros por 60 minutos. Isso pode não ser útil para todos os encaminhadores do Google SecOps que você quer monitorar. Por exemplo, é possível monitorar uma única origem de registro em um ou vários encaminhadores de SecOps do Google com um limite diferente ou excluir os encaminhadores do Google SecOps com base na frequência de relatórios.

1. No console do Google Cloud, selecione Monitoring:
   Acessar o Cloud Monitoring
   

2. Clique em Criar política.

3. Na página Selecionar uma métrica, selecione Chronicle Collector > Ingestão > Contagem total de registros ingeridos.

4. Clique em Aplicar.

5. Na seção Transformar dados, faça o seguinte:

   1. Defina a Janela contínua como 1 hora.
   2. Defina a Função de janela contínua como média.
   3. Defina a Agregação da série temporal como média.
   4. Defina o Agrupar por série temporal por como collector_id. Se ele não estiver definido para agrupar por collector_id, um alerta é acionado para cada origem de registro.

6. Clique em Próxima.

7. Selecione Ausência de métrica e faça o seguinte:

   1. Defina Acionador de alerta como Qualquer violação de série temporal.
   2. Defina o Horário de ausência do acionador como 1 hora.
   3. Digite um nome para a condição e clique em Próxima.

8. Na seção Notificações e nome, faça o seguinte:

   1. Selecione um canal de notificação na caixa Usar canal de notificação. Recomendamos que você configure vários canais de notificação para fins de redundância.
   2. Configurar notificações sobre interdição de incidentes.
   3. Defina os rótulos de usuário da política em um nível apropriado. Isso é usado para definir o nível de gravidade do alerta de uma política.
   4. Insira os documentos que você quer enviar como parte do alerta.
   5. Digite um nome para a política de alertas.

Adicionar exclusões a uma política abrangente

Talvez seja necessário excluir determinados encaminhadores do Google SecOps de uma política abrangente porque eles podem ter baixos volumes de tráfego ou exigir uma política de alertas mais personalizada.

1. No console do Google Cloud, selecione Monitoring:

2. Na página de navegação, selecione Alertas e, na seção Políticas, escolha a política que você quer editar.

3. Na página Detalhes da política, clique em Editar.

4. Na página Editar política de alertas, na seção Adicionar filtros, selecione Adicionar um filtro e faça o seguinte:

   1. Selecione o rótulo collector_id e o coletor que você quer excluir da política.
   2. Defina o comparador como != e o valor como o collector_id que você quer excluir e clique em Done.
   3. Repita o procedimento para cada coletor que precisar ser excluído. Você também poderá usar uma expressão regular para excluir vários coletores com apenas um filtro se quiser usar o seguinte formato:

   (?:aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb|cccccccc-cccc-cccc-cccc-cccccccccccc)

5. Clique em Salvar política.

Defina uma política de amostra para detectar agentes de coleta silenciosos do Google SecOps

O exemplo de política a seguir detecta todos os agentes de coleta do Google SecOps e envia alertas se eles não enviarem registros por 60 minutos. Esta amostra pode não ser útil para todos os agentes de coleta do Google SecOps que você quer monitorar. Por exemplo, é possível monitorar uma única origem de registro em um ou vários agentes de coleta do Google SecOps com um limite diferente ou excluir esses agentes com base na frequência de geração de relatórios.

1. No console do Google Cloud, selecione Monitoring:
   Acessar o Cloud Monitoring
   

2. Clique em Criar política.

3. Na página Selecionar uma métrica, selecione Chronicle Collector > Agent > Exporter Accepted Spans Count.

4. Clique em Aplicar.

5. Na seção Transformar dados, faça o seguinte:

   1. Defina a Janela contínua como 1 hora.
   2. Defina a Função de janela contínua como média.
   3. Defina a Agregação da série temporal como média.
   4. Defina o Agrupar por série temporal por como collector_id. Se ele não estiver definido para agrupar por collector_id, um alerta é acionado para cada origem de registro.

6. Clique em Próxima.

7. Selecione Ausência de métrica e faça o seguinte:

   1. Defina Acionador de alerta como Qualquer violação de série temporal.
   2. Defina o Horário de ausência do acionador como 1 hora.
   3. Digite um nome para a condição e clique em Próxima.

8. Na seção Notificações e nome, faça o seguinte:

   1. Selecione um canal de notificação na caixa Usar canal de notificação. Recomendamos que você configure vários canais de notificação para fins de redundância.
   2. Configurar notificações sobre interdição de incidentes.
   3. Defina os rótulos de usuário da política em um nível apropriado. Isso é usado para definir o nível de gravidade do alerta de uma política.
   4. Insira os documentos que você quer enviar como parte do alerta.
   5. Digite um nome para a política de alertas.