Engagement Platform - Metrics and Experimentation Framework

Purpose

• Chuẩn hóa cách đo hiệu quả engagement để tối ưu kết quả học tập thực, không chạy theo vanity metrics.
• Tạo khung A/B test dùng chung cho Mission + Leaderboard + Gamification + Achievement + Reward.

Measurement Principles

• Learning outcome first: metric engagement phải phản ánh tiến bộ học thật.
• Quality over volume: không dùng action count thuần làm chỉ số thành công chính.
• Cross-module consistency: định nghĩa metric dùng chung nhưng cho phép phân tích theo từng lane.
• Decision-ready: dashboard phải phục vụ quyết định sản phẩm, không chỉ reporting.

Metric Tree (North Star -> Drivers -> Guardrails)

• North Star:
  • Sustained Quality Learning Rate (SQLR):
    • tỷ lệ user duy trì hoạt động học có chất lượng theo chu kỳ tuần/tháng.
• Driver Metrics:
  • Qualified Active Learners (WAL/MAL): active có đạt ngưỡng chất lượng.
  • Habit Stability Index: độ ổn định streak và khả năng hồi phục sau gián đoạn.
  • Mastery Delta: mức cải thiện mastery theo lane và theo cohort.
  • Mission Usefulness Rate: mission completion có kéo được hành vi học thật hay không.
  • Healthy Competition Participation: tham gia leaderboard không kéo giảm chất lượng attempt.
• Guardrail Metrics:
  • Pressure Risk Index: tín hiệu quá tải hoặc churn vì áp lực thi đua.
  • Fairness Gap: chênh lệch cơ hội giữa cohort/level/region.
  • Abuse Detection Rate và False Positive Rate.
  • Reward Settlement Reliability: tỉ lệ redemption fail, refund latency.

Canonical Metric Contract

• Mỗi metric phải có:
  • metric_id
  • business_question
  • owner
  • formula
  • primary_events
  • update_frequency
  • decision_thresholds
  • known_limitations

Experimentation Policy

• Mọi thay đổi engagement quan trọng phải có hypothesis:
  • If <mechanic change>, then <user behavior change>, because <reason>.
• Thiết kế test:
  • randomization ở mức user hoặc cohort,
  • định nghĩa rõ primary metric và guardrails trước khi chạy,
  • giữ holdout group để đo lift thật.
• Điều kiện stop:
  • Stop sớm nếu vi phạm guardrail critical (fairness/safety/abuse).
  • Chỉ ship rộng khi primary metric đạt ngưỡng và guardrails an toàn.

Anti-vanity Controls

• Không dùng:
  • tổng điểm earn,
  • tổng số badge unlock,
  • tổng click vào leaderboard,
  • tổng mission claim làm KPI chính nếu không có chất lượng học tập đi kèm.
• Mọi dashboard engagement phải hiển thị ít nhất 1 outcome metric và 1 risk metric.

Mission-specific Measurement Additions

• daily_mission_completion_rate
  • đo completion theo template_family và difficulty_band, không chỉ nhìn tổng.
• mission_to_learning_action_rate
  • tỷ lệ mission completion kéo theo action học đủ chuẩn trong cùng phiên hoặc cùng ngày.
• mission_repeat_fatigue_rate
  • tín hiệu miss tăng do template lặp hoặc độ khó lệch.
• weekly_community_participation_quality_rate
  • tỷ lệ người tham gia community mission có đóng góp hợp lệ, không chỉ view/claim.
• event_challenge_verification_pass_rate
  • tỷ lệ challenge cần review được qualify sau moderation.

Reporting Cadence

• Weekly:
  • theo dõi trend ngắn hạn và anomaly detection.
• Monthly:
  • đánh giá hiệu quả cơ chế theo cohort + đề xuất tinh chỉnh policy.
• Quarterly:
  • review taxonomy/rule version và quyết định deprecate/expand mechanics.

Change log

• 2026-03-04: Tạo metric tree, experiment policy và anti-vanity controls cho Engagement Platform.
• 2026-03-07: Bổ sung mission-specific driver metrics và anti-vanity controls để đo mission usefulness thay vì chỉ đo claim volume.