Android 音訊分類指南

MediaPipe 音訊分類器工作可讓您對音訊資料執行分類。您可以使用這項工作，從一組已訓練的類別中找出聲響事件。以下操作說明將說明如何搭配使用音訊分類器與 Android 應用程式。

如要進一步瞭解這項工作的功能、模型和設定選項，請參閱總覽。

程式碼範例

MediaPipe Tasks 範例程式碼是 Android 音訊分類器應用程式的簡易實作方式。這個範例使用實體 Android 裝置上的麥克風來持續分類聲音，也可以在裝置上儲存的音效檔案執行分類器。

您可以將該應用程式做為開發 Android 應用程式的起點，也可以在修改現有應用程式時參照。音訊分類器的範例程式碼由 GitHub 代管。

下載程式碼

以下操作說明說明如何使用 git 指令列工具建立範例程式碼的本機副本。

如要下載範例程式碼，請按照下列步驟操作：

1. 使用下列指令複製 Git 存放區：

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. 您可以選擇將 Git 執行個體設為使用稀疏檢查，因此只有 Audio Classifier 範例應用程式的檔案：

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/audio_classifier/android
   

建立範例程式碼的本機版本後，您可以將專案匯入 Android Studio 並執行應用程式。如需操作說明，請參閱「Android 設定指南」。

重要元件

下列檔案包含這個音訊分類範例應用程式的重要程式碼：

• AudioClassifierHelper.kt：初始化音訊分類器並處理模型並委派選取。
• RecorderFragment.kt：建立即時錄音的使用者介面和控製程式碼。
• LibraryFragment.kt：建立使用者介面和控製程式碼，用來選取音訊檔案。
• ProbabilitiesAdapter.kt：處理分類器的預測結果及設定格式。

設定

本節說明設定開發環境的重要步驟，以及專門用於使用音訊分類器的程式碼專案。如需瞭解如何設定開發環境以使用 MediaPipe 工作 (包括平台版本需求)，請參閱「Android 設定指南」。

依附元件

音訊分類器會使用 com.google.mediapipe:tasks-audio 程式庫。將這個依附元件新增至 Android 應用程式開發專案的 build.gradle 檔案。使用下列程式碼匯入必要的依附元件：

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

型號

MediaPipe 音訊分類器工作需要使用與這項工作相容的已訓練模型。如要進一步瞭解音訊分類器的可用已訓練模型，請參閱工作總覽「模型」一節。

選取並下載模型，然後將其儲存在專案目錄中：

<dev-project-root>/src/main/assets

請使用 BaseOptions.Builder.setModelAssetPath() 方法指定模型使用的路徑。在下一節的程式碼範例中稱為此方法。

您可以在音訊分類器的範例程式碼中，在 AudioClassifierHelper.kt 檔案中定義模型。

建立工作

您可以使用 createFromOptions 函式建立工作。createFromOptions 函式可接受設定選項，包括執行模式、顯示名稱語言代碼、結果數量上限、可信度門檻，以及類別許可清單或拒絕清單。如要進一步瞭解設定選項，請參閱「設定總覽」。

「音訊分類器」工作支援下列輸入資料類型：音訊片段和音訊串流。您在建立工作時，需要指定與輸入資料類型相對應的執行模式。請選擇與輸入資料類型對應的分頁標籤，瞭解如何建立工作並執行推論。

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_CLIPS)
        .setMaxResults(5)
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_STREAM)
        .setMaxResults(5)
        .setResultListener(audioClassifierResult -> {
             // Process the classification result here.
        })
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

音訊分類器的程式碼範例可讓使用者切換處理模式。這種做法會讓工作建立程式碼變得更加複雜，並且可能不適合您的用途。您可以在 AudioClassifierHelper 的 initClassifier() 函式中查看模式切換程式碼。

設定選項

這項工作的 Android 應用程式設定選項如下：

準備資料

音訊分類器可搭配音訊片段和音訊串流使用。工作會處理資料輸入的預先處理作業，包括重新取樣、緩衝和取景。不過，您必須先將輸入的音訊資料轉換為 com.google.mediapipe.tasks.components.containers.AudioData 物件，才能將其傳送至音訊分類器工作。

import com.google.mediapipe.tasks.components.containers.AudioData;

// Load an audio on the user’s device as a float array.

// Convert a float array to a MediaPipe’s AudioData object.
AudioData audioData =
    AudioData.create(
        AudioData.AudioDataFormat.builder()
            .setNumOfChannels(numOfChannels)
            .setSampleRate(sampleRate)
            .build(),
        floatData.length);
audioData.load(floatData);
    

import android.media.AudioRecord;
import com.google.mediapipe.tasks.components.containers.AudioData;

AudioRecord audioRecord =
    audioClassifier.createAudioRecord(/* numChannels= */ 1, /* sampleRate= */ 16000);
audioRecord.startRecording();

...

// To get a one second clip from the AudioRecord object:
AudioData audioData =
    AudioData.create(
        16000 /*sample counts per second*/);
        AudioData.AudioDataFormat.create(audioRecord.getFormat()),
audioData.load(audioRecord)
    

執行工作

您可以呼叫與執行模式對應的 classify 函式來觸發推論。對於輸入音訊資料中可辨識的音訊事件，音訊分類器 API 會傳回可能的類別。

AudioClassifierResult classifierResult = audioClassifier.classify(audioData);
    

// Run inference on the audio block. The classifications results will be available
// via the `resultListener` provided in the `AudioClassifierOptions` when
// the audio classifier was created.
audioClassifier.classifyAsync(audioBlock, timestampMs);
    

注意事項：

• 在音訊串流模式下執行時，您還必須為音訊分類器工作提供時間戳記，藉此追蹤在串流中用於推論的音訊資料。
• 在音訊片段模型中執行時，音訊分類器工作會封鎖目前的執行緒，直到處理輸入音訊完成為止。如要避免封鎖使用者介面回應，請在背景執行緒中執行處理作業。

您可以查看包含音訊片段的音訊分類器執行範例，請參閱程式碼範例中的 AudioClassifierHelper 類別。

處理並顯示結果

執行推論後，音訊分類器工作會傳回輸入音訊中音訊事件的可能類別清單。下列清單顯示這項工作的輸出資料範例：

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

在 Android 應用程式中，工作會傳回包含 AudioClassifierResult 物件清單的 ClassificationResult，代表音訊事件的預測結果，包括類別標籤和可信度分數。

// In the audio clips mode, the classification results are for the entire audio
// clip. The results are timestamped AudioClassifierResult objects, each
// classifying an interval of the entire audio clip that starts at
// ClassificationResult.timestampMs().get().

for (ClassificationResult result : audioClassifierResult.classificationResults()) {
  // Audio interval start timestamp:
  result.timestampMs().get();
  // Classification result of the audio interval.
  result.classifications();
}
    

// In the audio stream mode, the classification results list only contains one
// element, representing the classification result of the audio block that
// starts at ClassificationResult.timestampMs in the audio stream.

ClassificationResult result = audioClassifierResult.classificationResults().get(0);
// The audio block start timestamp
audioClassifierResult.timestampMs();
// Alternatively, the same timestamp can be retrieved from
// result.timestampMs().get();

// Classification result.
result.classifications();
    

您可以查看程式碼範例的 ProbabilitiesAdapter 類別，瞭解如何顯示這項工作傳回的分類結果。