幸福里APP是抖音集團旗下開發運營的集內容、社區、工具於一體的房產信息綜合平台，基於個性化推薦引擎向用戶推薦優質的房產內容房源信息。本文將介紹幸福里APP應用火山引擎A/B測試DataTester完成產品體驗優化，並解決實驗流量過度曝光的案例。
幸福里APP在整理用戶反饋時，發現了一個產品使用體驗上的問題：用戶在瀏覽房源詳情頁時，有時會遇到「切換頭圖」卡頓的情況。而對於房產APP的業務開展而言，尤其在新房、租房和二手房售賣業務上，APP詳情頁的頭圖展示是重中之重，C端的使用用戶一般都會通過查看頭圖的圖片、視頻等內容，來對房屋情況進行預覽，進而決定是否要繼續進行諮詢等操作。
針對「切換頭圖」卡頓的問題，幸福里APP決定新增一項技術優化：在展示頭圖圖片時，將預先下載下一張圖片，避免用戶滑動時再開始下載，導致圖片展示延遲；該項優化將通過火山引擎DataTester開啟A/B實驗，與優化前的版本進行對比，觀測技術優化上線後的效果。
優化方向確認後，幸福里APP還有一個問題需要解決。由於APP詳情頁頭圖的位置入口相對較深，需要多次點擊和跳轉，針對比較深的入口開啟A/B實驗，有一個A/B實驗的「坑」——實驗流量過度曝光(Over Exposure)需要避開。實驗流量過度曝光是指在開設實驗時，由於實驗入口位置較深，可能導致大量並沒有體驗到實驗版本功能的用戶被計入到了實驗指標的分母中，導致指標值被稀釋的情況叫做實驗過度曝光。
幸福里APP在這裡接入了DataTester SDK實驗設置精準曝光，將「用戶在進入新房、租房、小區、戶型詳情頁時」設置為用戶進組時機，達到對用戶進組時機的精確把控。
火山引擎DataTester設有專門能力應對A/B實驗過度曝光的場景，通過 SDK 開啟實驗的客戶端，同樣會在用戶啟動時從DataTester平台獲取實驗參數。然而在用戶觸達實驗時，SDK 會以上報 vid 的方式向DateTester平台進行確認，DataTester收到確認後才會將該用戶實際納入最終指標的計算，從而從實驗流量中過濾掉了沒有實際觸達實驗的用戶。
接下來，幸福里APP的A/B實驗的技術優化方案是：
• 在展示頭圖圖片時，預先下載下一張圖片，避免滑動後再下載導致圖片展示延遲
• 在顯示一個圖片時，先判斷該圖片是否下載成功優化
對照組為線上原有方案，實驗組為技術優化方案，各賦予50%流量，在用戶進入新房、租房、小區、戶型詳情頁時觸發實驗曝光。
最終，DataTester的A/B實驗結果顯示，產品數據的提升超出了幸福里APP在實驗設計時的預期。在優化方案上線後，用戶看到頭圖的時間平均會縮短一半，幸福里房源曝光和點擊、APP使用時長、用戶留存及活躍天數，各項核心指標均有顯著提升。幸福里研發人員在採訪時說：「本身是一個小的技術優化，預期是提升用戶體驗，減少用戶看見圖片的等待時間，最終發現頭圖加載的優化也對大盤帶來了正向的收益」。
根據這個方案的收益情況，幸福里也將此項技術優化推廣進入了幸福里所有的業務線，同時也加入了產品的基礎組件中。在最後，幸福里研發人員也分享了一些應用火山引擎DataTester開A/B實驗的心得和體會：
1. 開實驗前要明確實驗類型、實驗受眾、曝光時機、技術指標統計口徑等，避免實驗不達預期要重開。
2. 實驗指標數據不達預期時不要急，可以看看MDE值，拆維度（城市、新老用戶、系統等）分析，可能會有意想不到的收穫。
DataTester是火山引擎數智平台旗下產品，能夠深度耦合推薦、廣告、搜索、UI、產品功能等多種行業場景需求，為業務增長、轉化、產品疊代，運營提效等各環節提供科學的決策依據，讓業務真正做到數據驅動。目前，火山引擎DataTester已經服務了美的、得到、凱叔講故事等在內的上百家標杆客戶，將成熟的 " 數據驅動增長 " 經驗賦能給各行業。