이 가이드에서는 원격 구성 출시와 관련된 주요 개념에 대한 정보를 제공하여 다음과 같은 작업을 할 수 있습니다.
그룹 멤버십 출시 이해
새 출시를 만들고 비율을 할당하면 Firebase는 사용 설정된 기능의 성능을 비교할 때 정확한 결과를 얻기 위해 동일한 인원의 잠재고객을 통제 그룹에 배치하여 다음 그룹을 만듭니다.
- 사용 설정됨: 이 그룹에 할당된 사용자 기기에서 출시에서 구성한 값을 수신합니다.
- 통제: 이 그룹에 할당된 사용자 기기는 출시 값이 아닌 원격 구성에서 수신했을 값을 수신합니다.
- 할당되지 않음: 이 그룹의 사용자 기기는 원격 구성에서 수신했을 값을 수신하지만 이 값은 출시 비교 결과에 사용되지 않습니다.
즉, 2%의 사용자에게 출시하면 해당 사용자는 '사용 설정됨' 그룹에 추가되고 추가로 2%의 사용자가 비교에 사용되는 '통제' 그룹에 추가됩니다. 사용자 중 96%가 할당되지 않음 상태로 남아 있습니다.
이 접근 방식을 통해 출시 값을 받는 사용자 및 기기와 받지 않는 사용자 및 기기의 성능을 공정하게 비교할 수 있으며 출시 결과 페이지에서 출시 성공 또는 실패 여부를 효과적으로 판단할 수 있습니다.
출시 그룹 할당은 출시의 모든 단계에서 일관됩니다. 즉, 동일한 출시에서 비율을 0%로 낮추면 모든 사용자가 원격 구성에 정의된 파라미터 값을 수신하는 것으로 되돌립니다. 나중에 출시 비율을 높이기로 결정한 경우 이전의 '사용 설정됨' 또는 '통제' 그룹의 속했던 사용자가 원래 할당된 그룹으로 돌아가 해당 그룹과 일관된 값을 수신하게 됩니다.
출시가 성공적임을 확인하고 타겟팅된 사용자 100%를 대상으로 완전히 출시하기로 결정하면 Firebase는 더 이상 통제 그룹을 사용하지 않고 모든 타겟팅된 사용자 및 기기가 출시 값을 수신합니다.
출시와 A/B 테스트 비교
원격 구성 출시와 A/B 테스팅은 조금씩 다른 사용 사례에 적합하며 상호 보완적으로 사용할 수 있습니다.
출시는 점진적인 출시로, 주로 새로운 기능을 특정 그룹의 사용자에게 출시할 때 사용됩니다. 특정 국가의 사용자 또는 앱의 특정 버전을 사용하여 사용자를 타겟팅할 수 있습니다. 출시를 사용하여 위험을 완화하고 실제 환경에서 철저한 제어를 통해 새로운 기능을 테스트함으로써 기능의 성능을 확인할 수 있습니다. 또한 새 기능의 부하가 추가된 백엔드 서비스의 성능 및 대략적인 사용량을 모니터링하여 더 광범위한 잠재고객에게 출시하기 전에 변경사항이 확장 가능한지 확인하세요.
출시는 기능을 크게 변경하는 새로운 기능, 예측할 수 없는 결과로 이어질 수 있는 변경사항, 백엔드 인프라, 서비스, 외부 API에 영향을 줄 수 있는 변경사항을 구현하는 상황에서 탁월한 도구입니다.
A/B 테스팅을 사용하면 여러 버전의 기능 또는 앱 요소를 표시(예: UI 디자인 업데이트, 광고 문구 변경, 게임 레벨 난이도 업데이트)할 수 있습니다. 그런 다음 사용자에게 다양한 대안을 노출하여 선택한 측정항목(예: 사용자 참여 발생 시간, 광고 클릭수, 수익)을 기반으로 더 나은 결과를 이끌어내는 옵션이 무엇인지 알 수 있습니다.
A/B 테스팅을 사용하여 데이터 기반 의사 결정, 최적화, 사용자의 선호 사항을 이해할 수 있습니다. 비교할 수 있는 여러 옵션과 매우 구체적인 목표가 있는 상황에서 유용합니다. 예를 들어 A/B 테스트는 배너 광고 게재위치에 따라 더 많은 클릭 수가 발생하는지 테스트하는 것과 같이 특정 측정항목을 개선하기 위해 앱을 조정하려는 변경사항에 적합합니다.
또한 중요한 전략에서 원격 구성 출시와 A/B 테스팅을 결합하는 것도 좋습니다. 먼저 제한된 사용자 집합으로 A/B 테스트를 만들어 주요 측정항목에 대한 최적의 결과를 도출하는 대안을 결정할 수 있습니다. 그런 다음 A/B 테스팅에서 리더를 결정한 후 가장 우수한 대안으로 출시를 만듭니다. 노출된 사용자 수를 점진적으로 늘리면서 안정성 및 주요 측정항목을 모니터링하고 성능에 확신이 생기면 100%로 출시하세요.
출시 결과 이해
출시를 게시한 후 거의 즉시 결과가 나타나기 시작합니다.
다음과 같은 여러 가지 방법으로 결과를 볼 수 있습니다.
- 파라미터 페이지에서 출시에 구성한 파라미터를 펼치고 출시 아래에서 결과 보기를 클릭합니다.
- 출시 페이지에서 출시 이름을 클릭합니다.
결과 페이지 상단의 앱 선택기를 사용하면 특정 앱의 뷰를 선택할 수 있습니다. 결과는 다음과 같이 여러 섹션으로 구분됩니다.
- 요약 섹션: 구성된 출시 비율을 보여주며 출시를 롤백하거나 수정하는 기능을 제공합니다. 펼치면 출시 구성 세부정보에 대한 개요 및 변경 내역이 표시됩니다.
사용자 섹션: 다음 그룹의 출시 템플릿을 가져온 고유한 앱 설치 수를 보여줍니다.
- 사용 설정됨: 목표 출시 조건과 일치하고 출시 값을 가져온 앱 인스턴스 수입니다.
- 통제: 목표 출시 조건과 일치하고 변경되지 않은 값을 가져온 앱 인스턴스 수입니다.
- 대상: 출시에서 설정한 조건과 일치하는 예상된 총 인스턴스 수로, 출시 또는 변경되지 않은 값 중 하나를 수신해야 합니다.
출시 그룹 멤버십 이해에서 자세히 알아보세요.
Crashlytics 및 애널리틱스 섹션: '사용 설정됨' 그룹 및 '통제' 그룹의 비교 데이터를 보여줍니다. 지난 24시간, 마지막 게시 이후 또는 지난 7일에 대해 수집된 데이터를 필터링할 수 있습니다. 지난 24시간이 기본 뷰입니다.
출시에 대한 Crashlytics 결과
출시 중에 발생한 비정상 종료, 심각하지 않은 오류, ANR의 총 수를 확인할 수 있습니다 각 결과 카테고리에는 출시 조건을 충족하는 사용 설정됨 및 통제 사용자의 원시 합계를 비교하는 막대 그래프가 표시됩니다.
- 비정상 종료: 비정상 종료 횟수와 비율, '사용 설정됨' 그룹과 '통제' 그룹에서 비정상 종료를 경험한 순 사용자 수를 표시합니다.
- 심각하지 않은 오류: 심각하지 않은 오류 횟수와 비율, 심각하지 않은 오류를 경험한 순 사용자 수를 표시합니다.
- ANR(Android 앱만 해당): '애플리케이션 응답 없음' 이벤트의 횟수와 비율, ANR 이벤트를 하나 이상 경험한 순 사용자 수를 표시합니다.
비정상 종료에 대한 자세한 내용은 Crashlytics에서 더보기를 클릭하세요. 그러면 결과를 검사한 출시에 대한 활성 필터가 있는 Crashlytics 페이지가 열립니다. Crashlytics 페이지의 출시 결과는 각 대안인 사용 설정됨 또는 통제에 한 번이라도 노출된 적이 있는 모든 사용자를 측정합니다. '통제' 그룹 비정상 종료, '사용 설정됨' 그룹 비정상 종료 또는 둘 다 보도록 선택할 수 있습니다.
출시에 대한 Google 애널리틱스 결과
Google 애널리틱스 출시 결과 섹션에서는 '사용 설정됨' 또는 '통제' 그룹에 노출된 모든 사용자의 애널리틱스 측정항목을 그래프 뷰로 자세히 비교합니다. 세 가지 측정항목이 제공됩니다.
- 총수익: 광고 수익 및 구매 수익을 포함한 총수익을 USD로 표시합니다. 결과를 필터링하여 구체적으로 광고 수익 또는 구매 수익에 대한 결과를 표시할 수 있습니다.
- 총 전환수: 모든 전환 이벤트 합계의 원시 수를 표시합니다. 강조표시할 전환을 기준으로 결과를 필터링할 수 있습니다.
- 총 참여 시간: 사용자가 출시 대안 중 하나에 참여한 총 참여 시간을 표시합니다. 총 참여 시간이 시간:분:초 형식으로 표시됩니다. 예를 들면 01:31:28입니다. 그래프는 Crashlytics 섹션 위에서 선택한 기간의 데이터입니다.