実験測定
コントロールと変動メトリクスを比較し、トラフィックを調整し、AI提案を確認し、実験変更を適用するかどうかを決定します。
実験測定は、ライブストア決定を行う前に、コントロールとアクティブな変動を比較するのに役立ちます。
エントリパス
ストアプロジェクトを開く → その他 → 実験 → 実験を選択 → パフォーマンス。
開始する前に
- 実験目標と現在のトラフィック配分を確認します。
- 小さなパーセンテージ変化を解釈する前に、有用なサンプルを待ちます。
- 変更を適用 を検討する前に、実験 タブで変動変更を確認します。
- ライブテストをデプロイまたは停止するアクションの前に、ワークスペースオーナーに相談します。
パフォーマンスコントロールと結果
| コントロールまたはセクション | 動作または表示内容 |
|---|---|
| 実験 | サイクルメッセージ、計画、プレビュー、変更、保留中のリクエストを開きます。 |
| パフォーマンス | ランタイム、サンプルサイズ、トラフィック分割、チャート、メトリクステーブルを開きます。 |
| メトリクセレクター | チャートをコンバージョン、カートに追加、チェックアウト、購入、注文値、訪問者あたりの収益、バナークリック、カート放棄、エラー率などのサポートされている測定に変更します。 |
| コントロール / 変動チャート | 元のバージョンと実験バージョンの記録されたシリーズを比較します。 |
| トラフィックコントロール → 更新 | 許可された範囲内で新しい実験配分を保存します。 |
| AI インサイト → 許可 | 表示されたトラフィック提案を承認します。 |
| AI インサイト → キャンセル | その提案を承認せずに却下します。 |
| Runner AIに質問 | 実験ワークスペース内にメッセージを送信します。 |
| 計画を表示 | 現在のサイクル計画とやることリストを開きます。 |
測定を確認する
- パフォーマンス を開きます。
- トレンドを読む前に、ランタイム、サンプルサイズ、トラフィック分割を確認します。
- 実験目標に一致するメトリクスを選択します。
- 同じ期間にわたってコントロールと変動を比較します。
- エラー、放棄、または収益トレードオフについて、サポートメトリクスを確認します。
- 実験 に戻り、変動を生成した正確な変更を確認します。
- トラフィック変更を許可する前に、AI インサイト リクエストを読みます。
- 動作と実装の両方を確認した後にのみ、測定を続ける、トラフィックを調整する、停止する、または適用する準備をすることを選択します。
高影響度アクション
| アクション | 最初のクリックの動作 | 確認の意味 |
|---|---|---|
| 変更を適用 | 実験変更を適用 を開きます。 | 確認すると、実験変更がメインストアパスに適用され、本番デプロイメントが開始されます。最初に名前付き実験を確認してください。 |
| 停止 | 警告付きで 実験を停止 を開きます。 | 確認すると、現在の実験が終了します。実験認可が有効なままの場合、Runnerは別の実験を開始する可能性があります。実験を完全に無効にする場合はプロジェクト設定を使用します。 |
| トラフィック 更新 | 新しい配分を送信します。 | 成功後、今後の適格トラフィックは更新された分割を使用します。 |
トラブルシューティング
| ステータス | 意味と次のステップ |
|---|---|
| サイクルデータなし | 測定はまだサイクル結果を生成していません。実験を実行し続けるか、そのステータスを検査します。 |
| メトリクスを読み込めません | パフォーマンス を再読み込みして、後で再試行します。欠落データから変更を適用しないでください。 |
| フラットまたは混合結果 | 利用可能な証拠は明確な改善を示していません。測定を続けるか、適用せずに停止します。 |
| トラフィック更新失敗 | 現在の値は保存されませんでした。有効な配分を再試行する前に再読み込みします。 |
| 適用失敗 | 成功した本番アプリケーションは確認されませんでした。エラーを保存し、再試行前にライブストアを確認してください。 |