TestBird全球首家發(fā)布《2014中國手游兼容性測試白皮書》

134812個兼容性問題，導致800萬玩家流失

您知道您的手游有多少兼容性問題嗎?您知道這些兼容性問題都是什么原因造成的嗎?您知道怎么去解決這些問題嗎?您以為兼容性測試只是安裝和啟動測試那么簡單?您知道過去這樣的輕視和忽略很可能給您造成了上百萬的損失嗎?

近日，由專注手游的云測試平臺TestBird撰寫的《2014中國手游兼容性測試白皮書》(以下稱白皮書)正式發(fā)布。這是全球首次針對手游兼容性問題進行研究和解析的白皮書，首次為業(yè)界定義了10大手游兼容性問題，完整展現(xiàn)了手游兼容性問題現(xiàn)狀，系統(tǒng)詮釋了手游兼容性問題的分類，深度解析了手游兼容性問題的根源，并提供了諸多的真實有效的解決建議。

通過白皮書，也許你能更清楚地了解上述問題的答案：作為手游上線前必經(jīng)的第一關——兼容性測試，遠非想象的那么簡單。

16項指標，首次定義手游兼容性

到底什么是兼容性問題?用哪些指標可以準確考核和定義兼容性問題?哪些性能指標會影響到手游兼容性?以往，我們單純地將手游兼容性測試等同于安裝和啟動測試?？墒侨绱说牟萋屎筒粚I(yè)，意味著在手游上線前的第一步，您就已經(jīng)錯失先機。

TestBird已經(jīng)測試了近3000款手機游戲，發(fā)現(xiàn)134812個兼容性問題，通過對這些問題進行深入分析，TestBird首次在行業(yè)內(nèi)對影響手游品質(zhì)的兼容性問題和性能指標進行了明確的定義。

白皮書里將兼容性問題分為10大類，分別是安裝失敗、啟動失敗、游戲閃退、游戲卡頓、游戲卡死、數(shù)據(jù)異常、UI異常、游戲鏈接異常、程序異常、游戲黑屏。性能指標則包括CPU占用率、內(nèi)存占用值、IO等待率、溫度、啟動時延和流量共6項。

兼容性問題釋義

安裝失敗游戲app在某款手機上進行安裝操作，但是沒有安裝成功。

啟動失敗游戲app安裝成功，但是無法啟動,或者啟動后馬上自動退出。判斷標準：啟動后，檢測游戲畫面是否可見。

游戲閃退在游戲過程中程序崩潰導致意外退出。判斷標準：崩潰日志與游戲畫面結合分析。

游戲卡頓在游戲過程中運行不流暢，畫面切換卡屏。主要原因是CPU或者內(nèi)存占用過高，需要CP進行優(yōu)化。

游戲卡死手機系統(tǒng)無法正常運行，不接受輸入事件，但游戲沒有閃退。游戲觸發(fā)了手機的系統(tǒng)級BUG，引起系統(tǒng)崩潰。

游戲黑屏手機系統(tǒng)正常運行，但游戲無法正常運行，沒有顯示任何UI界面。

數(shù)據(jù)異常游戲客戶端與服務器數(shù)據(jù)交互異常，但是鏈接未斷開。通常是手機游戲與服務器交互接口設計沒有經(jīng)過充分驗證，導致異常數(shù)據(jù)在服務器與手機游戲之間傳輸。

UI異常UI界面顯示紊亂。主要原因是分辨率差異或者游戲場景切換邏輯代碼書寫有誤。

游戲鏈接異常與服務器交互鏈接發(fā)生異常。通常由于開發(fā)人員沒有考慮到網(wǎng)絡編程中的異常，或壓力過大引發(fā)服務器崩潰。

程序異常游戲運行時出現(xiàn)異常提示或現(xiàn)象。

性能指標解釋

CPU占用率(%)游戲進程占用的CPU資源，cpu使用率過高，說明游戲比較耗電，而且容易卡頓。

內(nèi)存占用值(kb)游戲進程所消耗的手機內(nèi)存，內(nèi)存占用高容易引起游戲卡頓甚至閃退。

IO等待率(%)游戲進程進行IO等待所占用CPU時間百分比，占用率過高說明游戲進行了大量的io操作，例如文件讀寫。

幀速率(fps)游戲引擎每一秒內(nèi)刷新的幀數(shù)，反映了游戲畫面流暢程度。

溫度(°C)通過android溫度傳感器獲取的手機溫度，跟手機cpu占用率成正比。

啟動時延(ms)對游戲發(fā)起啟動指令，到真正進入游戲第一個界面所消耗的時間，反映了游戲的加載速度，跟游戲資源包大小有關。

流量(bps)游戲運行過程中所消耗的網(wǎng)絡流量，主要集中在游戲與服務器交互過程中產(chǎn)生的網(wǎng)絡消耗。

1款游戲52個兼容性問題，損失高達六位數(shù)

在手游產(chǎn)業(yè)，任何一款手游產(chǎn)品都必須經(jīng)過兼容性測試后方可上線。然而，由于傳統(tǒng)的兼容性測試周期長，測試成本較高，加上兼容性問題屬于隱型問題，不及游戲畫面、游戲內(nèi)容和操作設計等因素那般具象，導致兼容性問題長期未受到手游開發(fā)者的重視，但因兼容性問題導致的用戶流失和成本損失，卻是以數(shù)十百萬計的。

《2014中國手游兼容性測試白皮書》的研究數(shù)據(jù)顯示，平均每款游戲存在52個兼容性問題，因為不兼容造成的用戶流失率達21%，假如每款游戲20萬用戶，按照行業(yè)常規(guī)，一個用戶的導入成本為10塊，那么每款游戲因為兼容性問題導致的成本損失將達到20萬人*21%*10元/人=42萬元。

從如此高額的成本損失可以看出兼容性問題已經(jīng)刻不容緩，成為手游開發(fā)商迫待解決的關鍵問題。

12類游戲，兼容性問題各有不同

白皮書打破了傳統(tǒng)手機兼容性測試粗糙的分析方式，利用TestBird手游自動化云測試平臺強大的游戲分類能力，在對卡牌游戲、策略經(jīng)營、角色扮演、塔防游戲、跑酷競速、飛行射擊、消除游戲、棋牌撲克、動作格斗、體育運動、虛擬養(yǎng)成、休閑益智等12個不同類別的游戲進行逐個分析后發(fā)現(xiàn)，整體上來說動作格斗和角色扮演類兼容性問題最多，但是在每個具體的問題上，每類游戲確實各有不同。

通常意義上，幾乎所有人都認為角色扮演和動作格斗類RPG重度游戲應該是流量消耗最大的一類游戲?？墒峭ㄟ^白皮書的研究卻發(fā)現(xiàn)，平均流量消耗最大的實為虛擬養(yǎng)成類中度游戲，而RPG重度游戲甚至連前三都排不上。

白皮書的報告還顯示，在CPU占用率上，體育運動類游戲最高，棋牌撲克類最低;在啟動時延上，飛行射擊類游戲最大，體育運動類最小;在內(nèi)存占用上，動作格斗類游戲最高，棋牌撲克類最低;在IO等待率上，酷跑競速類游戲較高，體育運動類卻較低;在手機平均溫度上，卡牌游戲最高，體育運動類最低。

37%+19%，閃退和卡死才是最主要的問題

過去由于傳統(tǒng)的兼容性測試方式僅僅只是測試安裝和啟動兩個項目，測試者對游戲啟動后將會發(fā)生的事情一無所知。也正是因此，通常的認知中手游兼容性問題最突出的往往是安裝失敗和啟動失敗。

然而現(xiàn)實是，隨著安卓手機的快速發(fā)展，以往的問題重災區(qū)安裝、啟動問題在所有問題中的占比越來越低，絕大部分問題是在游戲運行后發(fā)生的。而要發(fā)現(xiàn)這些問題，就必須要深入到游戲內(nèi)部進行測試。

TestBird采用了全球領先的鷹眼引擎測試技術，在深入近3000款游戲內(nèi)部進行測試后，對發(fā)現(xiàn)的134812個兼容性問題進行了統(tǒng)計分析，發(fā)現(xiàn)游戲閃退、游戲卡死、UI異常才是兼容性問題占比最高的3大類問題。其中游戲閃退現(xiàn)象最為嚴重，占比高達37.18%，游戲卡死現(xiàn)象占比則達到了18.53%。

816款手機，主流品牌兼容性問題較少

市面上，安卓系統(tǒng)的手機品牌高達數(shù)十個，從三星、聯(lián)想、華為等主流品牌到其他非主流的品牌手機，到底哪個品牌的手機兼容性較好?不同手機內(nèi)存大小對手游兼容性影響到底又有多大?另外，不同品牌手機的CPU也有所異同，那么不同的CPU是否也會影響到兼容性問題的發(fā)生?

TestBird通過對816款測試手機，歷經(jīng)近3000款游戲測試后發(fā)現(xiàn)：對比各品牌的兼容性問題數(shù)，主流品牌的兼容性整體好于非主流品牌。兼容性問題最少的品牌當屬三星，每終端每款游戲的失敗率(即平均每款終端在每款游戲上的不兼容率)僅有3.82%，聯(lián)想和小米的兼容性也表現(xiàn)優(yōu)異，失敗率不足5%。而其他非主流品牌的失敗率則高達10%以上，兼容性問題非常嚴重。

在內(nèi)存大小對手機游戲的兼容性的影響方面，白皮書的研究表明，內(nèi)存越大出現(xiàn)兼容性問題越少，256M的兼容性問題最多，兼容性問題檢出率高達82%。而隨著內(nèi)存的加大，兼容性問題發(fā)生概率明顯呈現(xiàn)出逐步減小的趨勢。

而在不同CPU品牌在兼容性問題的表現(xiàn)上，展訊出現(xiàn)的兼容性問題占比最大。兼容性表現(xiàn)最好，檢出率最低的，并非我們所熟知的聯(lián)發(fā)科和高通兩大類CPU品牌——當然，它們二者表現(xiàn)也不錯——而是海思和Mmarvell。

*兼容性問題檢出率：即兼容性問題的數(shù)量占該品牌總數(shù)的比值。

此外，白皮書還針對不同游戲引擎的兼容性問題發(fā)生概率進行了研究，發(fā)現(xiàn)自定義引擎出現(xiàn)的兼容性問題最多，檢出率達32%，而常用的cocos2D-X和unity3D游戲引擎的兼容性問題的檢出率分別是28%和27%，相對表現(xiàn)較好。

16條建議，提供完整兼容性問題解決方案

話到此處，或許你已經(jīng)開始明白兼容性問題遠非想象的那么簡單?？墒牵@些兼容性問題究竟該如何解決?

“我們將報告奉獻給廣大的手游CP、發(fā)行和渠道，希望能給行業(yè)分享一些經(jīng)驗和干貨，打造更精品的手機游戲。”這是報告開頭的第一句話，透過這句話，能了解到TestBird發(fā)布這份白皮書的初衷。而在長達47頁的白皮書最后，TestBird也確實毫無保留地針對各項兼容性問題，敘述了詳盡的解決方案。

如針對閃退、卡死、UI異常三大手游兼容性問題，并給三類問題給予詳盡的解決建議，但因篇幅有限，現(xiàn)只能在此做簡單綜述，以饗同行：

閃退問題出現(xiàn)場景各不相同，常見原因為內(nèi)存不足、溫度過高、系統(tǒng)不兼容、cpu不兼容等。開發(fā)人員可以根據(jù)問題現(xiàn)象，分析logcat和BUGreport日志來定位原因，找到閃退原因后根據(jù)需求優(yōu)化。

游戲卡死現(xiàn)象很像ANR(application not response)。系統(tǒng)在一定時間內(nèi)發(fā)現(xiàn)UI thread沒有響應，就會出現(xiàn)彈框報錯。比如輸入事件，等待通常是5秒。主要原因是在UI thread做了不必要且費時的操作。比如訪問網(wǎng)絡操作、本地數(shù)據(jù)讀寫操作、游戲計算下一幀數(shù)據(jù)操作。解決方案是把這些費時用異步的方式完成。UI thread只做響應用戶操作以及繪制UI的事情。開發(fā)過程中可以StrictMode來檢查一些潛在ANR的代碼風險。開發(fā)完以后，可以使用android工具Systrace和Traceview對游戲的性能瓶頸進行分析，避免ANR。

而游戲卡頓問題，通過對10016個UI問題的統(tǒng)計和分析，TestBird認為導致UI異常主要有兩方面的問題：

1)和安卓手機分辨率相關，如手機分辨率尺寸，游戲上控件排版時需要考慮分辨率，避免使用pixel unit，考慮使用dp(Density-independent pixel)、sp等.可以了解多尺寸多密度屏幕支持等相關文章。

2)和游戲引擎相關，如Unit3D引擎游戲，使用系統(tǒng)字庫，容易出現(xiàn)在OPPO等手機終端上，字體無法顯示，原因為部分安卓廠商深度定制安卓系統(tǒng)，導致部分U3D引擎游戲，調(diào)用的系統(tǒng)字體不能顯示。解決建議為使用其他字體庫。

《2014年手游兼容性測試白皮書》整個研究歷時8個月，測試多達近3000款手游，整理分析了上萬份的評測報告。而這些數(shù)據(jù)和報告正是基于TestBird獨創(chuàng)的領先測試技術優(yōu)勢以及其作為國家手游測試中心的權威地位，并且透過這些真實的數(shù)據(jù)，白皮書才能首次真正地對手游兼容性問題進行系統(tǒng)而全面的研究，并與廣大手游行業(yè)同仁共享。