AppGallery Connect：素材測(cè)試 推薦實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)可能影響因素

素材測(cè)試實(shí)驗(yàn)通過設(shè)置受影響的用戶范圍來進(jìn)行實(shí)驗(yàn)分組，但實(shí)驗(yàn)最終的主要參考數(shù)據(jù)依據(jù)從素材曝光到點(diǎn)擊下載的轉(zhuǎn)化率。受以下因素影響，相同比例的用戶對(duì)應(yīng)的曝光量可能會(huì)有較大差異：

應(yīng)用市場(chǎng)資源位排期：應(yīng)用在對(duì)應(yīng)測(cè)試期間內(nèi)，在華為應(yīng)用市場(chǎng)是否有公共的曝光資源位將很大程度影響素材在不同設(shè)備上的曝光量。若沒有資源位曝光，則素材在不同設(shè)備上的曝光量將有可能有較大差異。

設(shè)備的活躍度：不同設(shè)備的用戶在應(yīng)用市場(chǎng)的活躍程度不同。若A、B組均分配20%的實(shí)驗(yàn)用戶，但是A組對(duì)應(yīng)用戶為華為應(yīng)用市場(chǎng)的活躍用戶、B組對(duì)應(yīng)用戶為非活躍用戶，則A組對(duì)應(yīng)的素材曝光量可能遠(yuǎn)高于B組。

用戶的行為意圖：若應(yīng)用在應(yīng)用市場(chǎng)沒有明顯的曝光資源，則素材曝光多依賴用戶的主動(dòng)搜索行為。不同的設(shè)備用戶若搜索意圖相差很大，則對(duì)應(yīng)曝光量也會(huì)有很大差異。同時(shí)，用戶是否點(diǎn)擊進(jìn)入應(yīng)用詳情頁(yè)查看，也將直接影響詳情頁(yè)內(nèi)素材的曝光量。

推薦的實(shí)驗(yàn)設(shè)計(jì)

為盡可能減小以上影響因素對(duì)實(shí)驗(yàn)數(shù)據(jù)的誤差影響，我們建議您：

確定明確的實(shí)驗(yàn)?zāi)繕?biāo)：確保您在設(shè)計(jì)實(shí)驗(yàn)時(shí)已想好要達(dá)成的目標(biāo)，從而針對(duì)性地設(shè)計(jì)實(shí)驗(yàn)。

一次僅測(cè)試一類素材：為避免不同素材間的交叉影響，建議您一次實(shí)驗(yàn)僅測(cè)試一類素材。

每次實(shí)驗(yàn)至少持續(xù)7天：為最大程度排除外界因素影響，建議您單次實(shí)驗(yàn)持續(xù)7日以上，累積足夠數(shù)據(jù)以減小誤差。

盡可能面向50%的用戶進(jìn)行測(cè)試實(shí)驗(yàn)：在可能的情況下，面向最大規(guī)模的測(cè)試受眾進(jìn)行測(cè)試能更快地獲得結(jié)果，尤其是在首頁(yè)無明顯曝光資源位的時(shí)候。

針對(duì)同一種素材類型，用多個(gè)不同素材反復(fù)實(shí)驗(yàn)：大膽測(cè)試不同的素材，根據(jù)實(shí)驗(yàn)結(jié)果反復(fù)改進(jìn)，以盡可能獲取最優(yōu)結(jié)論。