使用“自动数据质量”功能

本页面介绍了如何创建 Dataplex 数据质量扫描。

如需了解数据质量扫描，请参阅自动数据质量简介。

准备工作

1. 启用 Dataplex API。

   启用该 API

2. 可选：如果您希望 Dataplex 根据数据分析扫描的结果生成数据质量规则建议，请创建并运行数据分析扫描。

权限

• 如需对 BigQuery 表运行数据质量扫描，您需要拥有 BigQuery 表的读取权限，以及在用于扫描表的项目中创建 BigQuery 作业的权限。

• 如果 BigQuery 表和数据质量扫描位于不同的项目中，则需要向 Dataplex 服务帐号授予具有相应 BigQuery 表的数据质量扫描读取权限的项目。

• 如果数据质量规则引用了其他表，则扫描项目的服务帐号必须对这些表具有读取权限。

• 如需获取将扫描结果导出到 BigQuery 表所需的权限，请让管理员向 Dataplex 服务帐号授予对结果数据集和表的 BigQuery Data Editor (roles/bigquery.dataEditor) IAM 角色。此角色会授予以下权限：

  • bigquery.datasets.get
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.update
  • bigquery.tables.updateData

• 如果 BigQuery 数据组织在 Dataplex 湖中，请向 Dataplex 服务帐号授予 roles/dataplex.metadataReader 和 roles/dataplex.viewer 角色。或者，您需要以下所有权限：

  • dataplex.lakes.list
  • dataplex.lakes.get
  • dataplex.zones.list
  • dataplex.zones.get
  • dataplex.entities.list
  • dataplex.entities.get
  • dataplex.operations.get

• 如果您要从 Cloud Storage 扫描 BigQuery 外部表，请向 Dataplex 服务帐号授予该存储桶的 Cloud Storage roles/storage.objectViewer 角色。或者，为 Dataplex 服务帐号分配以下权限：

  • storage.buckets.get
  • storage.objects.get

• 如果要在 Google Cloud 控制台的 BigQuery 和 Data Catalog 页面中针对源表发布数据质量扫描结果，您必须具有 BigQuery Data Editor (roles/bigquery.dataEditor) IAM 角色或该表的 bigquery.tables.update 权限。

• 如果您需要访问受 BigQuery 列级访问权限政策保护的列，请为这些列分配 Dataplex 服务帐号权限。创建或更新数据扫描的用户还需要拥有这些列的权限。

• 如果表启用了 BigQuery 行级访问权限政策，那么您只能扫描对 Dataplex 服务帐号可见的行。请注意，系统不会针对行级政策评估单个用户的访问权限。

数据扫描权限和角色

如需使用自动数据质量检查，您需要具备运行数据扫描的权限，或者具有运行数据扫描的预定义权限的角色。

下表列出了 DataScan 权限：

向用户授予以下一个或多个角色：

• roles/dataplex.dataScanAdmin：对 DataScan 资源的完整访问权限。
• roles/dataplex.dataScanEditor：对 DataScan 资源拥有写入权限。
• roles/dataplex.dataScanViewer：拥有对 DataScan 资源（不包括规则和结果）的读取权限。
• roles/dataplex.dataScanDataViewer：对 DataScan 资源（包括规则和结果）的读取权限。

定义数据质量规则

您可以使用内置规则或自定义 SQL 检查来定义数据质量规则。如果您使用的是 Google Cloud CLI，则可以在 JSON 或 YAML 文件中定义这些规则。

以下部分中的示例展示了如何定义各种数据质量规则。这些规则可验证包含客户交易相关数据的示例表。假设该表具有以下架构：

使用内置规则类型定义数据质量规则

以下示例规则基于内置规则类型。您可以使用 Google Cloud 控制台或 API 根据内置规则类型创建规则。Dataplex 可能会建议遵循其中的一些规则。

使用自定义 SQL 规则定义数据质量规则

如需构建自定义 SQL 规则，请使用以下框架：

• 创建一次评估一行的规则时，请创建一个在 Dataplex 评估查询 SELECT COUNTIF(CUSTOM_SQL_EXPRESSION) FROM TABLE 时生成成功行数的表达式。Dataplex 会根据阈值检查成功的行数。

• 当您创建跨行求值或使用表条件的规则时，请创建一个在 Dataplex 对查询 SELECT IF(CUSTOM_SQL_EXPRESSION) FROM TABLE 求值时返回成功或失败的表达式。

• 创建用于评估数据集的无效状态的规则时，请提供返回无效行的语句。如果返回了任何行，则规则失败。在 SQL 语句中省略结尾的分号。

• 您可以在规则中使用数据引用参数 ${data()} 来引用数据源表及其所有前提条件过滤条件，而无需明确提及源表及其过滤条件。前提条件过滤条件的示例包括行过滤条件、采样百分比和增量过滤条件。${data()} 参数区分大小写。

以下示例规则基于自定义 SQL 规则。

        CREATE OR REPLACE FUNCTION
        myProject.myDataset.average_by_country (
          country STRING, average FLOAT64)
        RETURNS BOOL LANGUAGE js AS R"""
        if (country = "CAN" && average < 5000){
          return 1
        } else if (country = "IND" && average < 1000){
          return 1
        } else { return 0 }
        """;
       

        myProject.myDataset.average_by_country(
        "CAN",
        (SELECT avg(amount) FROM
          myProject.myDataset.transactions_table
            WHERE currency_id = 'CAN'
        ))
      

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

      SELECT
        accuracy > 0.99
      FROM
       ML.EVALUATE
        (MODEL model-project-id.dataset-id.model-name,
         (
          SELECT
            customer_id,
            currency_id,
            amount,
            discount_pct
          FROM
            data-project-id.dataset-id.table-names
          WHERE transaction_timestamp > '2022-01-01';
         )
        )
    

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

       IF(discount_pct > 0, 1, 0)
          =(SELECT predicted_label FROM
           ML.PREDICT(
            MODEL model-project-id.dataset-id.model-name,
              (
                SELECT
                  customer_id,
                  currency_id,
                  amount,
                  discount_pct
                FROM
                  data-project-id.dataset-id.table-names AS t
                    WHERE t.transaction_timestamp =
                     transaction_timestamp
                   LIMIT 1
              )
            )
         )
    

使用 gcloud CLI 定义数据质量规则

以下示例 YAML 文件使用的一些规则与使用内置类型的示例规则和自定义 SQL 规则示例相同。您可以使用此 YAML 文件作为 gcloud CLI 命令的输入。

rules:
- uniquenessExpectation: {}
  column: transaction_id
  dimension: UNIQUENESS
- nonNullExpectation: {}
  column: amount
  dimension: COMPLETENESS
  threshold: 1
- regexExpectation:
    regex: '^[0-9]{8}[a-zA-Z]{16}$'
  column : customer_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- setExpectation :
    values :
    - 'USD'
    - 'JPY'
    - 'INR'
    - 'GBP'
    - 'CAN'
  column : currency_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rangeExpectation:
    minValue : '0'
    maxValue : '100'
  column : discount_pct
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rowConditionExpectation:
    sqlExpression : 0 < `discount_pct` AND `discount_pct` < 100
  column: discount_pct
  dimension: VALIDITY
  threshold: 1
- rowConditionExpectation:
    sqlExpression : currency_id in (select id from `my_project_id.dim_dataset.dim_currency`)
  column: currency_id
  dimension: VALIDITY
  threshold: 1
- tableConditionExpectation:
    sqlExpression : 30 < avg(discount_pct) AND avg(discount_pct) < 50
  dimension: VALIDITY
- rowConditionExpectation:
    sqlExpression : TIMESTAMP(transaction_timestamp) < CURRENT_TIMESTAMP()
  column: transaction_timestamp
  dimension: VALIDITY
  threshold: 1
- sqlAssertion:
    sqlStatement : SELECT * FROM `my_project_id.dim_dataset.dim_currency` WHERE discount_pct > 100
  dimension: VALIDITY

创建数据质量扫描

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-entity=DATA_SOURCE_ENTITY

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-resource=DATA_SOURCE_RESOURCE

导出表架构

如需将数据质量扫描结果导出到现有 BigQuery 表，请确保它与以下表架构兼容：

为数据质量扫描作业配置 BigQueryExport 时，请遵循以下准则：

• 对于字段 resultsTable，请使用以下格式：//bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}。
• 使用 BigQuery 标准表。
• 如果创建或更新扫描时该表不存在，Dataplex 会为您创建该表。
• 默认情况下，该表每天按 job_start_time 列进行分区。
• 如果您希望该表使用其他配置进行分区，或者您不需要该分区，请使用所需的架构和配置重新创建该表，然后将预先创建的表作为结果表提供。
• 确保结果表与源表位于同一位置。
• 如果项目上配置了 VPC-SC，则结果表必须与源表位于同一 VPC-SC 边界内。
• 如果该表在扫描执行阶段被修改，则当前正在运行的作业将导出到上一个结果表，并且表更改会从下一个扫描作业开始生效。
• 请勿修改表架构。如果您需要自定义列，请在表上创建一个视图。
• 为了降低费用，请根据您的使用场景设置分区的到期时间。如需了解详情，请参阅如何设置分区过期时间。

运行数据质量扫描

gcloud dataplex datascans run DATASCAN \
--location=LOCATION \

查看数据质量扫描结果

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

查看历史扫描结果

Dataplex 会保存最近 300 个作业或过去一年（以先发生者为准）的数据质量扫描历史记录。

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN \

分享已发布的结果

创建数据质量扫描时，如果您选择在 Google Cloud 控制台的 BigQuery 和 Data Catalog 页面中发布扫描结果，则这些页面的数据质量标签页中将显示最新的扫描结果。

您可以允许组织中的用户访问已发布的扫描结果。如需授予对扫描结果的访问权限，请按以下步骤操作：

1. 在 Google Cloud 控制台中，前往数据质量页面。

   前往“数据质量”

2. 点击您要分享结果的数据质量扫描。

3. 转到权限标签页。

4. 点击授予访问权限。

5. 在新的主帐号字段中，添加您要向其授予访问权限的主帐号。

6. 在选择角色字段中，选择 Dataplex DataScan DataViewer。

7. 点击保存。

如需移除对主账号已发布的扫描结果的访问权限，请按以下步骤操作：

1. 在 Google Cloud 控制台中，前往数据质量页面。

   前往“数据质量”

2. 点击您要分享结果的数据质量扫描。

3. 转到权限标签页。

4. 选择您要移除其 Dataplex DataScan DataViewer 角色的主账号。

5. 点击解除使用权限。

6. 点击确认。

在 Cloud Logging 中设置提醒

如需使用 Cloud Logging 中的日志设置数据质量失败的提醒，请按照以下步骤操作：

用于设置作业级或维度级提醒的示例查询

• 以下示例查询用于针对数据质量扫描设置整体数据质量失败的提醒：

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND NOT jsonPayload.dataQuality.passed=true
  

• 以下示例查询用于针对指定数据质量扫描的某个维度（例如唯一性）设置数据质量失败提醒：

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND jsonPayload.dataQuality.dimensionPassed.UNIQUENESS=false
  

• 此示例查询，用于针对表的数据质量失败设置提醒。

  • 为未在 Dataplex 数据湖中整理的 BigQuery 表设置数据质量失败提醒：

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="//bigquery.googleapis.com/projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

  • 为在 Dataplex 数据湖中整理的 BigQuery 表设置数据质量失败提醒：

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

要设置每条规则提醒的示例查询

• 以下示例查询使用指定自定义规则名称为数据质量扫描针对所有失败的数据质量规则设置提醒：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.ruleName="custom-name"
  AND jsonPayload.result="FAILED"
  

• 一个示例查询，用于针对数据质量扫描的特定评估类型的所有失败数据质量规则设置提醒：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.evalutionType="PER_ROW"
  AND jsonPayload.result="FAILED"
  

• 下面的示例查询用于针对用于数据质量扫描的表中某列的所有失败数据质量规则设置提醒：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.column="CInteger"
  AND jsonPayload.result="FAILED"
  

排查数据质量故障问题

对于每个行级规则失败的作业，Dataplex 都会提供一个查询来获取失败的记录。运行此查询可查看与您的规则不匹配的记录。

更新数据质量扫描

gcloud dataplex datascans update data-quality DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

删除数据质量扫描

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION \
--async

后续步骤

• 了解数据分析。
• 了解如何使用数据分析功能。
• 按照教程使用 Terraform 以代码形式管理数据质量规则。