ML.ANNOTATE_IMAGE 関数を使用して画像にアノテーションを付加する

このドキュメントでは、リモートモデルで ML.ANNOTATE_IMAGE 関数を使用して、オブジェクト テーブル内の画像にアノテーションを付加する方法について説明します。

必要な権限

• 接続を作成するには、次のロールのメンバーシップが必要です。

  • roles/bigquery.connectionAdmin

• 接続のサービス アカウントに権限を付与するには、次の権限が必要です。

  • resourcemanager.projects.setIamPolicy

• BigQuery ML を使用してモデルを作成するには、次の権限が必要です。

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata

• 推論を実行するには、次の権限が必要です。

  • オブジェクト テーブルに対する bigquery.tables.getData
  • モデルに対する bigquery.models.getData
  • bigquery.jobs.create

始める前に

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

   プロジェクト セレクタに移動

3. Google Cloud プロジェクトで課金が有効になっていることを確認します。

4. Enable the BigQuery, BigQuery Connection API, and Cloud Vision API APIs.

   Enable the APIs

5. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

   プロジェクト セレクタに移動

6. Google Cloud プロジェクトで課金が有効になっていることを確認します。

7. Enable the BigQuery, BigQuery Connection API, and Cloud Vision API APIs.

   Enable the APIs

接続を作成する

クラウド リソース接続を作成し、接続のサービス アカウントを取得します。

次のオプションのいずれかを選択します。

 ## This creates a cloud resource connection.
 ## Note: The cloud resource nested object has only one output only field - serviceAccountId.
 resource "google_bigquery_connection" "connection" {
    connection_id = "CONNECTION_ID"
    project = "PROJECT_ID"
    location = "REGION"
    cloud_resource {}
}        

サービス アカウントへのアクセスを許可する

次のオプションのいずれかを選択します。

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/serviceusage.serviceUsageConsumer' --condition=None
gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/bigquery.connectionUser' --condition=None

次のように置き換えます。

• PROJECT_NUMBER: プロジェクトの番号。
• MEMBER: 先ほどコピーしたサービス アカウント ID。

権限を付与しないと、エラーが発生します。

モデルを作成する

CLOUD_AI_VISION_V1 の REMOTE_SERVICE_TYPE を使用してリモートモデルを作成します。

CREATE OR REPLACE MODEL
`PROJECT_ID.DATASET_ID.MODEL_NAME`
REMOTE WITH CONNECTION PROJECT_ID.REGION.CONNECTION_ID
OPTIONS (REMOTE_SERVICE_TYPE = 'CLOUD_AI_VISION_V1');

次のように置き換えます。

• PROJECT_ID: プロジェクト ID。
• DATASET_ID: モデルを保存するデータセットの ID。このデータセットは、使用している接続と同じロケーションに存在する必要があります。
• MODEL_NAME: モデルの名前。
• REGION: 接続で使用されるリージョン。
• CONNECTION_ID: 接続 ID（例: myconnection）。

  Google Cloud コンソールで接続の詳細を表示する場合、接続 ID は接続 ID に表示される完全修飾接続 ID の最後のセクションの値です（例: projects/myproject/locations/connection_location/connections/myconnection）。

画像にアノテーションを付ける

ML.ANNOTATE_IMAGE 関数を使用して画像にアノテーションを付けます。

SELECT *
FROM ML.ANNOTATE_IMAGE(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE PROJECT_ID.DATASET_ID.OBJECT_TABLE_NAME,
  STRUCT(['FEATURE_NAME' [,...]] AS vision_features)
);

次のように置き換えます。

• PROJECT_ID: プロジェクト ID。
• DATASET_ID: モデルを格納するデータセットの ID。
• MODEL_NAME: モデルの名前。
• OBJECT_TABLE_NAME: アノテーションを付ける画像の URI を含むオブジェクト テーブルの名前。
• FEATURE_NAME: サポートされている Cloud Vision API 機能の名前。

例 1

次の例では、画像内のアイテムにラベルを付けます。

SELECT *
FROM ML.ANNOTATE_IMAGE(
  MODEL `myproject.mydataset.myvisionmodel`,
  TABLE myproject.mydataset.image_table,
  STRUCT(['label_detection'] AS vision_features)
);

例 2

次の例では、画像内にある顔を検出し、ドミナント カラーなどの画像属性も返します。

SELECT *
FROM ML.ANNOTATE_IMAGE(
  MODEL `myproject.mydataset.myvisionmodel`,
  TABLE myproject.mydataset.image_table,
  STRUCT(['face_detection', 'image_properties'] AS vision_features)
);

次のステップ

• ML.ANNOTATE_IMAGE 関数を使用して画像にアノテーションを付加する際の詳細な手順を確認する。
• BigQuery データの分析に使用できるその他の関数を含むモデル推定の詳細については、モデル推定の概要をご覧ください。
• 各モデルタイプでサポートされている SQL ステートメントと関数については、各モデルのエンドツーエンドのユーザー ジャーニーをご覧ください。
• BigQuery ML と Vertex AI の事前トレーニング済みモデルを使用した非構造化データの分析ノートブックを試す。