Configuração de rede do Dataproc sem servidor para Spark

A sub-rede VPC usada para executar o Dataproc sem servidor para cargas de trabalho do Spark precisa atender aos seguintes requisitos:

  • Conectividade de sub-rede aberta: a sub-rede precisa permitir a comunicação de sub-rede em todas as portas. O comando gcloud a seguir anexa um firewall de rede a uma sub-rede que permite comunicações de entrada usando todos os protocolos em todas as portas: 

    gcloud compute firewall-rules create allow-internal-ingress \
    --network=network-name \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

    • SUBNET_RANGES: Consulte Permitir conexões de entrada internas entre VMs. A rede VPC default em um projeto com a regra de firewall default-allow-internal, que permite a comunicação de entrada em todas as portas (tcp:0-65535, udp:0-65535 e protocolos:portas icmp), atende ao requisito de conectividade de sub-rede aberta. No entanto, isso também permite a entrada de qualquer instância de VM na rede.

  • Acesso privado do Google:a sub-rede precisa ter o Acesso privado do Google ativado.

    • Acesso à rede externa. Se a carga de trabalho exigir acesso a redes externas ou à Internet, configure o Cloud NAT para permitir o tráfego de saída usando IPs internos na rede VPC.

Redes VPC-SC e Dataproc sem servidor

Com o VPC Service Controls, os administradores podem definir um perímetro de segurança em torno dos recursos dos serviços gerenciados pelo Google para controlar a comunicação entre esses serviços.

Observe as seguintes limitações e estratégias ao usar redes VPC-SC com o Dataproc sem servidor: