今手游已經成為許多用戶日常的娛樂方式之一。對于手游愛好者來說，vivo游戲中心的88游戲節是每年vivo游戲為玩家打造的集體狂歡。這個節日針對線上與線下玩家群體舉辦，福利滿滿，讓用戶有更好參與感。無論身處何地，關注vivo游戲中心88游戲節都能感受到手游帶來的樂趣，同時可以得到游戲廠商的最新資訊，進一步了解手游行業發展。
本屆vivo游戲中心88游戲節在今年8月8日開啟，在玩法上進行全新升級，聯合三款熱門手游發起高校電競召集令，邀請四城八校的電競愛好者集結。高校手游電競爭霸賽活動持續到12月11日正式落幕。在活動期間，玩家只需參與線上互動，即可足不出戶得到寵粉好禮。除了主題館活動外，在活動期間用戶線上打卡有機會抽手機大獎，讓用戶更好發現游戲、下載游戲、暢玩游戲，解鎖更多玩法，得到更多樂趣。
這次88游戲節城市賽的官方指定用機是擁有很好口碑的iQOO Neo7。在每一場激烈的比賽過程中，iQOO Neo7都發揮了穩定澎湃的性能表現，給選手帶來絲滑的操作手感。iQOO Neo7在處理器上配備了聯發科的天璣9000+旗艦處理器，采用臺積電4nm制程，性能表現是目前行業第一梯隊水平。配合獨立顯示芯片 Pro+，雙芯組合讓性能釋放更出色。iQOO Neo7屏幕采用一塊三星E5柔性直屏，支持HDR10+，帶來細膩有質感的顯示效果。在散熱部分，iQOO Neo7機身覆蓋4013mm2大面積VC均熱板，在長時間激烈的操作過程，手機保持冷靜穩定，性能釋放更積極。iQOO Neo7配備的對稱性雙X軸線性馬達帶來更真實的觸感，讓操作更帶感。
此外，iQOO TWS Air真無線耳機、iQOO閃電游戲手柄2，可以說是游戲開黑的最佳伴侶。其中，全新TWS耳機不僅擁有優秀音效，更有著94ms全鏈路游戲低延遲的優勢特性，游戲過程中也能實現更準確的“聽聲辨位”。手柄采用全新防滑掌托的設計，僅92g的超輕重量，持握體驗十分輕松；它還支持Master Touch背部觸控、雙觸感電競搖桿、閃電連擊等功能，助你輕松打出“天秀操作”。
這次除了參與比賽的南航、東南、復旦、同濟、川大、成電、武大、華科八所知名高校外，還聯合合作游戲到千家門店帶來體驗活動。其中開心消消樂、荒野亂斗、三國志戰略版、迷你世界作為合作游戲，給玩家發放體驗福利，讓玩家多維度體驗游戲樂趣。如今電競與普通用戶距離越來越近，用戶在展區只需要擁有一臺iQOO Neo7手機，并且配備iQOO閃電手柄2和iQOO TWS Air耳機體驗，即可感受極致的手游電競樂趣。
四城八校熱愛電競的學子爭霸賽讓人熱血沸騰，在全民電競時代，每個人都能從手游電競中得到樂趣，感受到激情。一臺iQOO手機、一個電競手柄，讓你隨時隨地開啟電競時刻。
B實驗是業務不斷迭代、更新時最高效的驗證方法之一；但在進行AB實驗效果評估時需要特別關注“用戶不均勻”的問題，稍不注意，產出的研究結論就可能謬以千里，給業務決策帶來極大風險。因此我們游戲業務針對該問題，借助霍金實驗團隊已經實現的分層抽樣（協變量平衡算法）能力，探究出一套基于用戶分層邏輯的“事前用戶分層”方案，和霍金實驗平臺項目團隊、版本發布項目團隊共同協作推進方案落地，提升游戲業務AB實驗的用戶均勻性。本文會基于實際應用案例，來給大家仔細闡述相關方法模型的思考過程，實現原理，應用結果，希望能夠幫助大家在各自領域中解決用戶不均勻問題時帶來參考和啟發。
一、引言
業務通過不斷迭代更新來持續進步，AB實驗是最高效的迭代驗證方法之一，分析師則通過研究優化實驗方案，評估業務實驗效果來展現數據價值。這也是數據分析師的核心工作職責之一；這就要求實驗方案和效果評估具備極高的科學性與準確性，但是在實際工作中，因為用戶不均勻問題的存在，會直接影響到分析師產出結果的準確性，進而影響產品相關決策。
過去的幾年里，游戲業務的分析師團隊不斷探索和研究AB實驗中用戶不均勻問題的解決方案，目前已經較好地解決了游戲業務中的此類問題。本文首先以用戶不均勻的概念和影響為鋪墊，接著以解決方案為主線闡述游戲分析師團隊在解決AB實驗中用戶不均勻問題的實踐成果，并展望未來。
二、什么是用戶不均勻
2.1 什么是AB實驗中的用戶不均勻
基于AB實驗邏輯的業務迭代有一個至關重要的前提假設：實驗的兩個組除了產品本身發生改動的唯一變量外，其他相關因素，尤其是用戶本身的特征都是一致的，即兩個人群的用戶屬性分布是完全均勻的。
業務AB實驗遇到的用戶不均勻問題是指，用來評估業務效果的實驗組、對照組兩個人群集，由于人群劃分方式（用戶標識加密尾號分組等）、人群量級、或者觀測指標本身特殊性等原因，導致兩個人群集在核心效果評估指標的先驗分布存在較大差異：
如下圖所示（不同顏色代表不同先驗特征的用戶）：
再簡單舉個例子，比如實驗組人群A相較于對照組人群B因為先驗特征分布的差異，導致在業務的核心指標上，先驗的歷史表現即為A>B；這就導致利用兩個人群集進行試驗后，在業務效果評估時，如果人群A的某個指標>人群B，那么是因為業務策略帶來的提升還是歷史用戶本身的差異呢？這就陷入了業務決策的困境。
2.2 游戲中心業務AB實驗中的用戶不均勻
游戲中心業務迭代中使用AB實驗的場景主要為，版本迭代灰度AB實驗，以及中心業務策略優化AB實驗；在過往的AB實驗過程中，兩種場景都多次遇到過用戶不均勻的問題，但兩個場景的業務目的存在差異，故面臨的用戶不均勻問題也有區別。下面我們詳細介紹一下兩種場景的異同點。
2.2.1 游戲中心版本迭代中的用戶不均勻
游戲中心版本迭代時，主要觀測的指標為用戶在中心活躍、游戲下載等指標；使用的人群劃分方法為：利用對手機標識進行加密處理后的尾號進行分組，這種方法在大流量的情況下對于用戶均勻性能保持不錯的效果；但是版本迭代的關鍵特點就是小流量快速迭代，所以在小流量下就會導致不同活躍下載表現的用戶在實驗組、對照組中數量存在差異，進而導致兩個人群在一些核心觀測指標上存在不均勻現象，影響最終的版本放量決策。
2.2.2 游戲中心策略實驗中的用戶不均勻
游戲業務作為公司的主要創收業務，游戲中心策略實驗時，除了觀測活躍、下載指標之外，還需要觀測游戲后向的收入指標變化；前面也提到活躍下載指標的均勻性在大流量下是可以保證的，而策略實驗時的流量一般是較大的，歷史數據也證明在策略實驗的流量下，活躍分發指標的均勻性是可以保證的。
但游戲收入作為一種特殊的商業模式，與用戶活躍、游戲下載存在較大差異，本身具有以下特殊性：
所以即使在中心策略實驗場景較大的流量下，依然還是無法保證實驗時收入指標的均勻性，原因可以歸為兩方面：
三、用戶不均勻的影響
vivo游戲中心作為公司專業的游戲分發平臺，為了更好的服務好游戲中心用戶，需要不斷地對游戲中心產品進行優化迭代。AB實驗作為主要的效果驗證方式，通過對比業務關注的核心指標，選擇最優的功能或版本進行全量，但用戶不均勻問題會對整個流程閉環產生比較大的影響，主要包括以下幾個方面：
1、影響業務數據的可解釋性，導致業務效果的結論偏差
由下表可見，游戲中心歷史一些業務策略實驗中，策略對于收入項指標本無直接影響，但整個收入指標的波動均在10%以上；在此情況下，已經完全無法根據實驗收入數據來評估業務策略對于收入的影響情況。
arpu=實驗周期內活躍用戶游戲下載后付費/活躍用戶
2、帶來業務策略放量錯誤的風險
這里主要存在的風險在于效果負向策略被放量、效果正向策略無法及時放量。
3、導致灰度發版的無效率高，異常排查浪費大量人力
游戲中心灰度發版中，一年有8-10次的版本異常是由用戶不均勻導致的，而且單次異常排查需要耗費各方人力共5人日，全年版本異常排查累計浪費人力40人日+/年。
所以如何科學合理的解決游戲中心AB實驗效果評估中的用戶不均勻問題，對于整個游戲中心業務效果評估的發展具有重要意義。
四、如何應對用戶不均勻問題
AB實驗中的用戶不均勻問題是數據分析師進行實驗效果評估時一直都面臨的問題；過往幾年里，針對如何更合理，更高效的解決該問題，準確評估實驗效果，游戲數據分析組的同事研究嘗試了多種不同的解決方案：
從上述幾個方案對比中可以看出，基于用戶分層邏輯的“事前用戶分層模型”是現階段最科學、合理且效果穩定的解決方案。
五、游戲業務解決方案介紹——“事前用戶分層”模型
本部分主要針對“事前用戶分層”模型進行介紹，同時包含模型的設計，產品化實現，以及在游戲中心業務中的實際運用效果，便于大家直觀了解模型的邏輯和效果。
5.1 分層模型介紹
如前面用戶不均勻介紹部分所述，雖然中心版本灰度場景和中心策略優化場景的AB實驗都面臨著用戶不均勻問題，但兩個場景面臨的不均勻問題存在差別；所以我們針對這兩個場景，基于用戶分層邏輯分別搭建針對分發指標和收入指標的分層模型，實驗人群抽樣時從不同用戶分層中抽取同樣數量的用戶進入實驗組和對照組，以期解決業務效果評估中的用戶不均勻問題。
常規分層抽樣邏輯：假設大盤活躍用戶為N，分層后第i層大盤活躍用戶為Ni，實驗時各組實驗抽樣的流量為n，則實驗組中第i層的抽樣量級應該為：
5.1.1 用戶游戲收入分層模型
中心策略AB實驗時業務核心關注的付費指標中受用戶不均勻影響的主要是活躍用戶arpu，故針對該指標的定義，選取部分中間變量作為用戶分層的依據，然后根據這些指標在中心活躍用戶大盤中的表現，先按照單一指標分組，然后多個指標交叉組合形成最終的分層方案。
5.1.2 用戶分發分層模型
針對中心版本灰度實驗時業務核心關注且受用戶不均勻影響的分發指標，選取部分中間變量作為用戶分層的依據；然后與收入分層模型采取一樣的方法形成最終的分層方案。
5.2 分層模型產品化實現
數據側搭建完成用戶分層模型后，想要實現在實驗和灰度時依賴于分層模型進行分流抽樣，需要借助產品平臺的功能；于是我們和霍金實驗平臺、以及版本發布系統合作，由霍金和版本發布系統同事開發相關功能將我們搭建好的用戶分層模型分別接入霍金實驗平臺和版本發布系統，實現在實驗和版本灰度的用戶分流時基于用戶分層邏輯進行，保證實驗和版本灰度時各個人群組之間的用戶均勻性，提升后向效果評估的科學性和準確性。
具體分流邏輯示意圖如下：（圖中四個不同顏色代表不同的特征分層人群）
具體產品平臺功能實現方式詳見：參考資料[2]
5.3 “事前用戶分層”的測試效果
霍金實驗平臺和版本發布系統相關功能上線后，數據分析側開展了對應平臺的AA實驗，驗證用戶分層邏輯對于用戶不均勻問題的解決效果是否達到預期水平。
5.3.1 霍金實驗平臺AA測試結論
用戶分層模型在不影響原有分發指標均勻性的前提下，能夠大幅提升中心實驗收入數據的均勻性。
備注：收入指標及活躍相關指標對比計算相對變化值；分發指標對比計算絕對變化值；收入arpu1、2代表不同的收入計算邏輯。
5.3.2 版本發布系統AA測試結論
用戶分層模型在分發指標的均勻性上，優于原有的手機標識加密尾號分流方式。
5.4 功能上線收益
“事前用戶分層”模型在游戲中心業務實驗和灰度發版中上線使用后，能夠帶來以下幾方面的顯著收益：
六、總結和展望
對于AB實驗中面臨的用戶不均勻問題，我們借鑒過往經驗，經過不斷嘗試和探索，基于用戶分層的邏輯開發了“事前用戶分層”模型，并在霍金項目團隊和版本發布系統項目團隊的大力支持下，對不同場景進行差異化處理，在解決游戲中心AB實驗中的用戶不均勻問題中取得了較好效果；在游戲中心版本灰度場景中，事前用戶分層方案已基本解決了用戶不均勻問題；但在中心策略實驗中，由于游戲收入數據的特殊性，用戶分層方案能夠解決高、低付費用戶在實驗組中分布不均的問題；但并不能完全解決高付費值非連續的問題，故收入的波動依然在1%~2%，但已經遠低于原有分流方式下的收入波動幅度。
此外，現階段采用的“事前用戶分層”方案能夠大幅提升用戶的均勻性概率，并不能完全杜絕用戶不均勻問題；一方面原因是對業務指標的分層邏輯依賴于工作者的經驗判斷，但人工分層的邏輯存在較大的主觀性；另一方面原因是選取的指標較少，依賴信息不夠全面；后續我們也會不斷嘗試探索，卷入更多的指標信息，同時將機器學習等模型運用到用戶分層體系搭建中，以求進一步解決游戲業務中用戶的均勻性問題。
最后希望本文能為不同業務解決AB實驗時面臨的用戶不均勻問題帶來參考和啟發。
參考文獻：
作者:vivo 互聯網數據分析團隊 - Li Bingchao
來源:微信公眾號:vivo互聯網技術
出處:https://mp.weixin.qq.com/s/hzGsJGAqMTs7Bd9pDUL8tQ
買來內存64G的手機，系統預裝軟件就已占用16G？不少人都曾被那些出廠自帶，占用手機內存還刪不掉的系統預裝軟件困擾過。
近日，工信部再次發文擬針對移動智能終端的應用軟件預置行為進行規范。《關于進一步規范移動智能終端應用軟件預置行為的通告（征求意見稿）》（下稱“《征求意見稿》”）中明確要求，移動智能終端生產企業應確保除基本功能軟件外的預置應用軟件均可卸載，并提供安全便捷的卸載方式供用戶選擇。同時，實現同一基本功能的預置應用軟件至多有一個可設置為不可卸載。
何為基本功能軟件？《征求意見稿》劃定了以下范圍：
實測：
有安卓系統手機品牌
預裝APP多達56個
在目前市面上使用較多的兩種手機系統（iOS系統、安卓系統）及華為的HarmonyOS系統中，哪個系統預裝軟件占用內存較大？各手機品牌在預裝軟件上有怎樣的表現？南都記者走訪了線下門店，測試了蘋果、小米、華為、OPPO、vivo、榮耀等主流品牌的手機。
綜合來看，在使用安卓系統的手機品牌中，系統占用內存均在16G左右，而iOS及HarmonyOS系統占用內存均為7G左右。在系統占用內存較大的安卓系統中，各手機品牌預裝應用（包括基本功能類及第三方應用）的數量在10-50個以上不等，有品牌甚至有多達56個預裝應用。
一位手機行業內人士告訴南都記者，真正的基本功能類軟件實際上占用的空間不會很大，比如短信一般只占幾百k，多的如瀏覽器也只有一百多兆。
這些軟件緣何不能刪除？業內人士稱“比如手機本身的相機功能，它是要在系統開發階段就深度適配調校的，每一個型號的機器都要單獨做一套系統，如果把它去掉了再去裝第三方相機，可能會有不穩定的情況。但是除了這種跟底層系統開發相關的應用，天氣、日歷、計算器、指南針、手機管家等都屬于預裝的第三方軟件，應可刪除。”
多數手機預裝有
實現同一基本功能的APP
值得注意的是，南都記者在測試中看到，每一部安卓系統的手機中都預裝有“游戲中心”和“應用商店”兩款應用，它們實則屬于實現同一基本功能的預置應用軟件。記者測試看到，隨機選擇“游戲中心”中任幾款游戲，都能夠在“應用商店”里搜到并下載。
“游戲中心”點開就能看到琳瑯滿目的手游應用。此前，深圳市民陳先生就向南都記者爆料，自己11歲的孩子在用姥姥的手機上網課時無意中看到“游戲中心”后被吸引，在里面下載了一款游戲并偷偷消費了近2000元。
游戲中心里琳瑯滿目的游戲應用。
這款“游戲中心”現在能否卸載？南都記者看到，在測試的小米、華為、OPPO、vivo、榮耀、三星等品牌的手機中，大多數品牌的手機預裝的“游戲中心”目前已經可以自行卸載，不過仍有少數品牌的手機尚不能卸載。
此外，還有一些預裝的音樂及視頻等APP，部分品牌的手機也不能卸載。南都記者看到，某品牌手機僅預裝的音樂APP（不包括已產生的數據）就占去了488M的空間。前述手機業內人士告訴南都記者，“如果有些品牌自帶的音樂APP等不能刪除，應該是出于他們簽過的商務條款的考慮，里面綁定了一些伙伴的合約。”
測試過程中，記者還看到，部分手機品牌并未清晰標注系統本身占據的空間，僅標注了用戶可使用的剩余空間或數據所占空間。
卸載預裝APP
動了手機廠商的蛋糕？
實際上，早在2016年12月16日，工信部就印發《移動智能終端應用軟件預置和分發管理暫行規定》，要求生產企業和互聯網信息服務提供者應確保除基本功能軟件外的移動智能終端應用軟件可卸載，且在不影響移動智能終端安全使用的情況下，附屬于該軟件的資源文件、配置文件和用戶數據文件等也應能夠被方便卸載。
但即便如此，許多預裝軟件及產生的數據仍無法卸載及刪除。還有手機用戶表示，雖然有的軟件有“卸載”選項，但是卻在操作時顯示“系統問題導致卸載失敗”。
為何預裝軟件難卸載，要求卸載是否動了手機廠商的“蛋糕”？某手機廠商告訴南都記者，預裝帶來的收入實際上已經不是目前的主要盈利模式了，目前手機企業主要靠長期的互聯網收入，一般可分為三類：電商，游戲（如充值，買裝備等）和增值服務（如會員，云服務等）。
不過，業內人士稱，類似“游戲中心”等APP被要求可以卸載后，可能會損失一部分來源于游戲中心的收入。而對于第三方應用軟件企業而言，缺失了預裝軟件帶來的盈利，后續可能會轉向其他廣告渠道營銷。