Smart Search Platform - Rollout and Governance

SharedShared Capabilities854 words4 min read

activebyDOL Product Design

Purpose

Đảm bảo rollout Smart Search toàn nền tảng theo từng bước an toàn, đo được hiệu quả và giữ được khả năng bảo trì dài hạn.
Tài liệu này định nghĩa governance framework dùng chung; không ràng buộc cách phân bổ công việc ở từng team.

Cắm Home Adapter theo context continue_learning, quick_access, recommendation.
Bổ sung zero-state lane dùng snapshot CM/LM/VOC.
Theo dõi metric time_to_first_action_from_search tại Home.

Mọi intent mới phải qua review product + UX + data.
Mọi bundle/facet mới phải qua review tương đương intent mới.
Mọi feature searchable phải có facet tags chuẩn (featureFamily, contentType, contentFormat).
Không merge adapter mới nếu thiếu telemetry tối thiểu.
Mọi thay đổi ranking phải có changelog + điều kiện rollback.
Mọi thay đổi contract phải đảm bảo backward compatibility trong 1 chu kỳ release.
Mọi thay đổi query normalization dictionary phải có benchmark evidence.
Không approve change làm tăng độ phức tạp nếu chưa có bằng chứng cải thiện trên benchmark query suite.

Tạm dừng mở rộng logic nếu xảy ra một trong các điều kiện:
- query_reformulation_rate tăng liên tục sau thay đổi.
- result_abandonment_rate tăng và không có cải thiện ở time_to_correct_result.
- số lượng rule đặc biệt tăng nhưng không cải thiện search_success_rate.
Khi stop rule kích hoạt:
- rollback version gần nhất,
- chuyển sang tối ưu dictionary/facet trước khi thêm cơ chế mới.

Critical gate - Correctness:
- Không có lỗi route/handoff ở các flow chính (Home -> Practice, Practice -> Vocabulary, Course -> Practice).
- Nếu fail: dừng rollout ngay.
Critical gate - Safety:
- no-result và error luôn có safe actionable fallback ở mọi area.
- Nếu fail: dừng rollout ngay.
Quality gate - Query:
- query_reformulation_rate không tăng quá +2 điểm % so với baseline gần nhất.
Quality gate - Outcome:
- result_abandonment_rate không tăng quá +2 điểm %.
- time_to_correct_result không tệ hơn baseline (ưu tiên cải thiện >= 5% ở area đang rollout).
Quality gate - Business action:
- chỉ số action chính của area không được giảm (search_to_attempt_start_rate, search_to_vocab_review_start_rate, …).

Mỗi iteration chỉ thay đổi 1 nhóm chính:
- dictionary/facet, hoặc
- ranking, hoặc
- composition.
Không trộn nhiều cơ chế trong cùng iteration để tránh khó chẩn đoán.
Nếu không đo được cải thiện rõ sau 1 iteration, quay về baseline và thử đòn bẩy nhỏ hơn.

Rủi ro nhiễu kết quả do đa module:
- mitigation: local context bias + cap/pivot.
Rủi ro lệch intent giữa module:
- mitigation: taxonomy governance + synonym curation định kỳ.
Rủi ro drift facet tags:
- mitigation: facet lint + registry review cadence.
Rủi ro mở rộng khó bảo trì:
- mitigation: adapter contract cứng + review gate bắt buộc.