SQL とともに Apache Spark が BigQuery でネイティブにサポートされています。詳細

Google Cloud での Spark

業界初の自動スケーリング可能なサーバーレス Spark を厳選された Google ネイティブのオープンソースツールと統合します。Spark は、ETL、データサイエンス、データ探索など、あらゆるユースケースにわたり必要な場所で開発、実行できます。

サーバーレス Spark を試す

利点

デベロッパーの生産性を高め、より高速なデータ分析情報を実現

サーバーレスの Spark によって運用がシンプルに

インフラストラクチャの手動プロビジョニングや調整なしで自動スケーリングできる Spark アプリケーションとパイプラインを作成できます。

すべてのデータユーザー向けのシームレスな Spark

Spark は BigQuery、Vertex AI、Dataplex と統合されているため、ETL、データ探索、分析、ML の場合、これらのインターフェースから 2 クリックのみで書き込みと実行が可能で、カスタム統合は不要です。

用途に柔軟に対応

画一的なアプローチは通用しません。Spark アプリケーションでは、サーバーレス、Kubernetes クラスタとコンピューティングクラスタの中から選択できます。

主な機能

選択したインターフェースから自動スケーリングする Spark ジョブを 2 クリックで実行

Apache Spark の BigQuery 外部手順

SQL と Spark が統合されたエクスペリエンス: BigQuery から直接 Python で記述された Apache Spark コードを作成して実行できます。その後、SQL ストアドプロシージャの実行と同様に、Google 標準 SQL クエリを使用して BigQuery でこれらのストアドプロシージャを実行してスケジュールできます。

サーバーレス Spark

デベロッパーは、コードとロジックにすべての時間を費やすことができ、選択したインターフェースを使用して、自動プロビジョニングと自動スケーリングを行う Spark ジョブを送信できます。サーバーレス Spark のドキュメントをご覧ください。

Vertex AI を介した Spark

Spark でのデータサイエンスをワンクリックで実現: データサイエンティストは、組み込みセキュリティを使用して、Vertex AI Workbench からシームレスに開発に Spark を使用できます。Spark は、Vertex AI の MLOps 機能と統合されています。ユーザーは、Vertex AI Pipelines と統合されたノートブックエグゼキュータを使用して Spark のコードを実行できます。

Dataplex を介した Spark

Spark SQL、Notebooks、または PySpark にワンクリックでアクセスできる単一のインターフェースから、Google Cloud 全体のデータに対して Spark の自動スケーリングを実行できます。また、ノートブックとスクリプトをデータとともに保存、共有、検索できる機能を備えた使いやすいコラボレーションツールに加え、データレイク全体のガバナンスも備えています。

柔軟な消費オプション

NoOps デプロイ用のサーバーレス Spark に加え、インフラストラクチャ管理のために Kubernetes を標準化しているお客様は、Google Kubernetes Engine（一般提供）上で Spark を実行して、リソース使用状況を改善し、インフラストラクチャ管理を簡素化できます。Hadoop スタイルのインフラストラクチャ管理を必要とするお客様は、Compute Engine（一般提供）上で Spark を実行できます。

準備ができたらお問い合わせ

パートナー