Private Service Connect avec Dataproc Metastore

Private Service Connect vous permet de créer service Dataproc Metastore qui n'utilise pas de VPC d'appairage. Cette page explique en quoi consiste Private Service Connect. et comment l'utiliser comme une autre option de réseautage pour Dataproc Metastore.

Fonctionnement de Dataproc Metastore avec le VPC

Dataproc Metastore protège l'accès aux métadonnées en n'exposant que points de terminaison IP. Il limite également la connectivité aux VM de votre réseau VPC à l'aide de l'appairage de VPC.

Dataproc Metastore nécessite les configurations suivantes : par région pour chaque réseau VPC:

• 1 quota d'appairage
• Blocs CIDR /17 et /20

Par conséquent, la configuration de l'appairage de VPC et des réservations d'adresses IP peut s'avérer difficile sur des réseaux VPC encombrés. De même, un réseau VPC peut ne pas disposer d'un quota d'appairage suffisant pour prendre en charge des requêtes d'appairage supplémentaires. Ces deux limites peuvent vous empêcher de créer un service Dataproc Metastore.

Pour contourner ces problèmes, vous pouvez utiliser Dataproc Metastore avec Private Service Connect.

Fonctionnement de Dataproc Metastore avec Private Service Connect

Private Service Connect fournit une connexion privée Métadonnées Dataproc Metastore sur les réseaux VPC.

Pour utiliser Private Service Connect avec Dataproc Metastore, les configurations suivantes sont requises:

• Réservation d'une seule adresse dans le sous-réseau.
• Une règle de transfert ciblant le rattachement de service qui expose le point de terminaison Dataproc Metastore. La réservation d'adresse et la règle de transfert sont créées dans le cadre de l'appel de création du service Dataproc Metastore.

Remarques

• Services Dataproc Metastore qui utilisent Private Service Connect n'acceptent que l'accès à partir des réseaux VPC des sous-réseaux spécifiés création.

• Dataproc Metastore réserve des adresses et crée des règles de transfert dans chacun des sous-réseaux spécifiés. Chaque sous-réseau possède un URI de point de terminaison Thrift à partir duquel vous pouvez accéder au point de terminaison des métadonnées de Dataproc Metastore.

Limites

• Les services Dataproc Metastore qui utilisent le protocole de point de terminaison gRPC ne sont pas compatibles avec Private Service Connect.
• La connectivité inverse n'est pas compatible avec Private Service Connect. Cela signifie que vous ne pouvez pas utiliser de configuration Kerberos avec Private Service Connect.
• Vous ne pouvez pas ajouter ni supprimer dynamiquement des sous-réseaux d'un Dataproc Metastore configuré avec Private Service Connect. Au lieu de cela, vous doit recréer un service si vous souhaitez ajouter ou supprimer des sous-réseaux.
• Vous ne pouvez pas mettre à jour un service Dataproc Metastore qui utilise Private Service Connect le VPC, ou inversement.

Créer un service Dataproc Metastore avec Private Service Connect

Les instructions suivantes montrent comment configurer Private Service Connect lors de la création du service.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }
   

Étape suivante

• Présentation de l'appairage de réseaux VPC
• Private Service Connect
• Mise en réseau des services