TestBird全球首家發(fā)布《2014中國(guó)手游兼容性測(cè)試白皮書(shū)》

134812個(gè)兼容性問(wèn)題，導(dǎo)致800萬(wàn)玩家流失

您知道您的手游有多少兼容性問(wèn)題嗎?您知道這些兼容性問(wèn)題都是什么原因造成的嗎?您知道怎么去解決這些問(wèn)題嗎?您以為兼容性測(cè)試只是安裝和啟動(dòng)測(cè)試那么簡(jiǎn)單?您知道過(guò)去這樣的輕視和忽略很可能給您造成了上百萬(wàn)的損失嗎?

近日，由專注手游的云測(cè)試平臺(tái)TestBird撰寫(xiě)的《2014中國(guó)手游兼容性測(cè)試白皮書(shū)》(以下稱白皮書(shū))正式發(fā)布。這是全球首次針對(duì)手游兼容性問(wèn)題進(jìn)行研究和解析的白皮書(shū)，首次為業(yè)界定義了10大手游兼容性問(wèn)題，完整展現(xiàn)了手游兼容性問(wèn)題現(xiàn)狀，系統(tǒng)詮釋了手游兼容性問(wèn)題的分類(lèi)，深度解析了手游兼容性問(wèn)題的根源，并提供了諸多的真實(shí)有效的解決建議。

通過(guò)白皮書(shū)，也許你能更清楚地了解上述問(wèn)題的答案：作為手游上線前必經(jīng)的第一關(guān)——兼容性測(cè)試，遠(yuǎn)非想象的那么簡(jiǎn)單。

16項(xiàng)指標(biāo)，首次定義手游兼容性

到底什么是兼容性問(wèn)題?用哪些指標(biāo)可以準(zhǔn)確考核和定義兼容性問(wèn)題?哪些性能指標(biāo)會(huì)影響到手游兼容性?以往，我們單純地將手游兼容性測(cè)試等同于安裝和啟動(dòng)測(cè)試?？墒侨绱说牟萋屎筒粚I(yè)，意味著在手游上線前的第一步，您就已經(jīng)錯(cuò)失先機(jī)。

TestBird已經(jīng)測(cè)試了近3000款手機(jī)游戲，發(fā)現(xiàn)134812個(gè)兼容性問(wèn)題，通過(guò)對(duì)這些問(wèn)題進(jìn)行深入分析，TestBird首次在行業(yè)內(nèi)對(duì)影響手游品質(zhì)的兼容性問(wèn)題和性能指標(biāo)進(jìn)行了明確的定義。

白皮書(shū)里將兼容性問(wèn)題分為10大類(lèi)，分別是安裝失敗、啟動(dòng)失敗、游戲閃退、游戲卡頓、游戲卡死、數(shù)據(jù)異常、UI異常、游戲鏈接異常、程序異常、游戲黑屏。性能指標(biāo)則包括CPU占用率、內(nèi)存占用值、IO等待率、溫度、啟動(dòng)時(shí)延和流量共6項(xiàng)。

兼容性問(wèn)題釋義

安裝失敗游戲app在某款手機(jī)上進(jìn)行安裝操作，但是沒(méi)有安裝成功。

啟動(dòng)失敗游戲app安裝成功，但是無(wú)法啟動(dòng),或者啟動(dòng)后馬上自動(dòng)退出。判斷標(biāo)準(zhǔn)：?jiǎn)?dòng)后，檢測(cè)游戲畫(huà)面是否可見(jiàn)。

游戲閃退在游戲過(guò)程中程序崩潰導(dǎo)致意外退出。判斷標(biāo)準(zhǔn)：崩潰日志與游戲畫(huà)面結(jié)合分析。

游戲卡頓在游戲過(guò)程中運(yùn)行不流暢，畫(huà)面切換卡屏。主要原因是CPU或者內(nèi)存占用過(guò)高，需要CP進(jìn)行優(yōu)化。

游戲卡死手機(jī)系統(tǒng)無(wú)法正常運(yùn)行，不接受輸入事件，但游戲沒(méi)有閃退。游戲觸發(fā)了手機(jī)的系統(tǒng)級(jí)BUG，引起系統(tǒng)崩潰。

游戲黑屏手機(jī)系統(tǒng)正常運(yùn)行，但游戲無(wú)法正常運(yùn)行，沒(méi)有顯示任何UI界面。

數(shù)據(jù)異常游戲客戶端與服務(wù)器數(shù)據(jù)交互異常，但是鏈接未斷開(kāi)。通常是手機(jī)游戲與服務(wù)器交互接口設(shè)計(jì)沒(méi)有經(jīng)過(guò)充分驗(yàn)證，導(dǎo)致異常數(shù)據(jù)在服務(wù)器與手機(jī)游戲之間傳輸。

UI異常UI界面顯示紊亂。主要原因是分辨率差異或者游戲場(chǎng)景切換邏輯代碼書(shū)寫(xiě)有誤。

游戲鏈接異常與服務(wù)器交互鏈接發(fā)生異常。通常由于開(kāi)發(fā)人員沒(méi)有考慮到網(wǎng)絡(luò)編程中的異常，或壓力過(guò)大引發(fā)服務(wù)器崩潰。

程序異常游戲運(yùn)行時(shí)出現(xiàn)異常提示或現(xiàn)象。

性能指標(biāo)解釋

CPU占用率(%)游戲進(jìn)程占用的CPU資源，cpu使用率過(guò)高，說(shuō)明游戲比較耗電，而且容易卡頓。

內(nèi)存占用值(kb)游戲進(jìn)程所消耗的手機(jī)內(nèi)存，內(nèi)存占用高容易引起游戲卡頓甚至閃退。

IO等待率(%)游戲進(jìn)程進(jìn)行IO等待所占用CPU時(shí)間百分比，占用率過(guò)高說(shuō)明游戲進(jìn)行了大量的io操作，例如文件讀寫(xiě)。

幀速率(fps)游戲引擎每一秒內(nèi)刷新的幀數(shù)，反映了游戲畫(huà)面流暢程度。

溫度(°C)通過(guò)android溫度傳感器獲取的手機(jī)溫度，跟手機(jī)cpu占用率成正比。

啟動(dòng)時(shí)延(ms)對(duì)游戲發(fā)起啟動(dòng)指令，到真正進(jìn)入游戲第一個(gè)界面所消耗的時(shí)間，反映了游戲的加載速度，跟游戲資源包大小有關(guān)。

流量(bps)游戲運(yùn)行過(guò)程中所消耗的網(wǎng)絡(luò)流量，主要集中在游戲與服務(wù)器交互過(guò)程中產(chǎn)生的網(wǎng)絡(luò)消耗。

1款游戲52個(gè)兼容性問(wèn)題，損失高達(dá)六位數(shù)

在手游產(chǎn)業(yè)，任何一款手游產(chǎn)品都必須經(jīng)過(guò)兼容性測(cè)試后方可上線。然而，由于傳統(tǒng)的兼容性測(cè)試周期長(zhǎng)，測(cè)試成本較高，加上兼容性問(wèn)題屬于隱型問(wèn)題，不及游戲畫(huà)面、游戲內(nèi)容和操作設(shè)計(jì)等因素那般具象，導(dǎo)致兼容性問(wèn)題長(zhǎng)期未受到手游開(kāi)發(fā)者的重視，但因兼容性問(wèn)題導(dǎo)致的用戶流失和成本損失，卻是以數(shù)十百萬(wàn)計(jì)的。

《2014中國(guó)手游兼容性測(cè)試白皮書(shū)》的研究數(shù)據(jù)顯示，平均每款游戲存在52個(gè)兼容性問(wèn)題，因?yàn)椴患嫒菰斐傻挠脩袅魇蔬_(dá)21%，假如每款游戲20萬(wàn)用戶，按照行業(yè)常規(guī)，一個(gè)用戶的導(dǎo)入成本為10塊，那么每款游戲因?yàn)榧嫒菪詥?wèn)題導(dǎo)致的成本損失將達(dá)到20萬(wàn)人*21%*10元/人=42萬(wàn)元。

從如此高額的成本損失可以看出兼容性問(wèn)題已經(jīng)刻不容緩，成為手游開(kāi)發(fā)商迫待解決的關(guān)鍵問(wèn)題。

12類(lèi)游戲，兼容性問(wèn)題各有不同

白皮書(shū)打破了傳統(tǒng)手機(jī)兼容性測(cè)試粗糙的分析方式，利用TestBird手游自動(dòng)化云測(cè)試平臺(tái)強(qiáng)大的游戲分類(lèi)能力，在對(duì)卡牌游戲、策略經(jīng)營(yíng)、角色扮演、塔防游戲、跑酷競(jìng)速、飛行射擊、消除游戲、棋牌撲克、動(dòng)作格斗、體育運(yùn)動(dòng)、虛擬養(yǎng)成、休閑益智等12個(gè)不同類(lèi)別的游戲進(jìn)行逐個(gè)分析后發(fā)現(xiàn)，整體上來(lái)說(shuō)動(dòng)作格斗和角色扮演類(lèi)兼容性問(wèn)題最多，但是在每個(gè)具體的問(wèn)題上，每類(lèi)游戲確實(shí)各有不同。

通常意義上，幾乎所有人都認(rèn)為角色扮演和動(dòng)作格斗類(lèi)RPG重度游戲應(yīng)該是流量消耗最大的一類(lèi)游戲?？墒峭ㄟ^(guò)白皮書(shū)的研究卻發(fā)現(xiàn)，平均流量消耗最大的實(shí)為虛擬養(yǎng)成類(lèi)中度游戲，而RPG重度游戲甚至連前三都排不上。

白皮書(shū)的報(bào)告還顯示，在CPU占用率上，體育運(yùn)動(dòng)類(lèi)游戲最高，棋牌撲克類(lèi)最低;在啟動(dòng)時(shí)延上，飛行射擊類(lèi)游戲最大，體育運(yùn)動(dòng)類(lèi)最小;在內(nèi)存占用上，動(dòng)作格斗類(lèi)游戲最高，棋牌撲克類(lèi)最低;在IO等待率上，酷跑競(jìng)速類(lèi)游戲較高，體育運(yùn)動(dòng)類(lèi)卻較低;在手機(jī)平均溫度上，卡牌游戲最高，體育運(yùn)動(dòng)類(lèi)最低。

37%+19%，閃退和卡死才是最主要的問(wèn)題

過(guò)去由于傳統(tǒng)的兼容性測(cè)試方式僅僅只是測(cè)試安裝和啟動(dòng)兩個(gè)項(xiàng)目，測(cè)試者對(duì)游戲啟動(dòng)后將會(huì)發(fā)生的事情一無(wú)所知。也正是因此，通常的認(rèn)知中手游兼容性問(wèn)題最突出的往往是安裝失敗和啟動(dòng)失敗。

然而現(xiàn)實(shí)是，隨著安卓手機(jī)的快速發(fā)展，以往的問(wèn)題重災(zāi)區(qū)安裝、啟動(dòng)問(wèn)題在所有問(wèn)題中的占比越來(lái)越低，絕大部分問(wèn)題是在游戲運(yùn)行后發(fā)生的。而要發(fā)現(xiàn)這些問(wèn)題，就必須要深入到游戲內(nèi)部進(jìn)行測(cè)試。

TestBird采用了全球領(lǐng)先的鷹眼引擎測(cè)試技術(shù)，在深入近3000款游戲內(nèi)部進(jìn)行測(cè)試后，對(duì)發(fā)現(xiàn)的134812個(gè)兼容性問(wèn)題進(jìn)行了統(tǒng)計(jì)分析，發(fā)現(xiàn)游戲閃退、游戲卡死、UI異常才是兼容性問(wèn)題占比最高的3大類(lèi)問(wèn)題。其中游戲閃退現(xiàn)象最為嚴(yán)重，占比高達(dá)37.18%，游戲卡死現(xiàn)象占比則達(dá)到了18.53%。

816款手機(jī)，主流品牌兼容性問(wèn)題較少

市面上，安卓系統(tǒng)的手機(jī)品牌高達(dá)數(shù)十個(gè)，從三星、聯(lián)想、華為等主流品牌到其他非主流的品牌手機(jī)，到底哪個(gè)品牌的手機(jī)兼容性較好?不同手機(jī)內(nèi)存大小對(duì)手游兼容性影響到底又有多大?另外，不同品牌手機(jī)的CPU也有所異同，那么不同的CPU是否也會(huì)影響到兼容性問(wèn)題的發(fā)生?

TestBird通過(guò)對(duì)816款測(cè)試手機(jī)，歷經(jīng)近3000款游戲測(cè)試后發(fā)現(xiàn)：對(duì)比各品牌的兼容性問(wèn)題數(shù)，主流品牌的兼容性整體好于非主流品牌。兼容性問(wèn)題最少的品牌當(dāng)屬三星，每終端每款游戲的失敗率(即平均每款終端在每款游戲上的不兼容率)僅有3.82%，聯(lián)想和小米的兼容性也表現(xiàn)優(yōu)異，失敗率不足5%。而其他非主流品牌的失敗率則高達(dá)10%以上，兼容性問(wèn)題非常嚴(yán)重。

在內(nèi)存大小對(duì)手機(jī)游戲的兼容性的影響方面，白皮書(shū)的研究表明，內(nèi)存越大出現(xiàn)兼容性問(wèn)題越少，256M的兼容性問(wèn)題最多，兼容性問(wèn)題檢出率高達(dá)82%。而隨著內(nèi)存的加大，兼容性問(wèn)題發(fā)生概率明顯呈現(xiàn)出逐步減小的趨勢(shì)。

而在不同CPU品牌在兼容性問(wèn)題的表現(xiàn)上，展訊出現(xiàn)的兼容性問(wèn)題占比最大。兼容性表現(xiàn)最好，檢出率最低的，并非我們所熟知的聯(lián)發(fā)科和高通兩大類(lèi)CPU品牌——當(dāng)然，它們二者表現(xiàn)也不錯(cuò)——而是海思和Mmarvell。

*兼容性問(wèn)題檢出率：即兼容性問(wèn)題的數(shù)量占該品牌總數(shù)的比值。

此外，白皮書(shū)還針對(duì)不同游戲引擎的兼容性問(wèn)題發(fā)生概率進(jìn)行了研究，發(fā)現(xiàn)自定義引擎出現(xiàn)的兼容性問(wèn)題最多，檢出率達(dá)32%，而常用的cocos2D-X和unity3D游戲引擎的兼容性問(wèn)題的檢出率分別是28%和27%，相對(duì)表現(xiàn)較好。

16條建議，提供完整兼容性問(wèn)題解決方案

話到此處，或許你已經(jīng)開(kāi)始明白兼容性問(wèn)題遠(yuǎn)非想象的那么簡(jiǎn)單?？墒?，這些兼容性問(wèn)題究竟該如何解決?

“我們將報(bào)告奉獻(xiàn)給廣大的手游CP、發(fā)行和渠道，希望能給行業(yè)分享一些經(jīng)驗(yàn)和干貨，打造更精品的手機(jī)游戲。”這是報(bào)告開(kāi)頭的第一句話，透過(guò)這句話，能了解到TestBird發(fā)布這份白皮書(shū)的初衷。而在長(zhǎng)達(dá)47頁(yè)的白皮書(shū)最后，TestBird也確實(shí)毫無(wú)保留地針對(duì)各項(xiàng)兼容性問(wèn)題，敘述了詳盡的解決方案。

如針對(duì)閃退、卡死、UI異常三大手游兼容性問(wèn)題，并給三類(lèi)問(wèn)題給予詳盡的解決建議，但因篇幅有限，現(xiàn)只能在此做簡(jiǎn)單綜述，以饗同行：

閃退問(wèn)題出現(xiàn)場(chǎng)景各不相同，常見(jiàn)原因?yàn)閮?nèi)存不足、溫度過(guò)高、系統(tǒng)不兼容、cpu不兼容等。開(kāi)發(fā)人員可以根據(jù)問(wèn)題現(xiàn)象，分析logcat和BUGreport日志來(lái)定位原因，找到閃退原因后根據(jù)需求優(yōu)化。

游戲卡死現(xiàn)象很像ANR(application not response)。系統(tǒng)在一定時(shí)間內(nèi)發(fā)現(xiàn)UI thread沒(méi)有響應(yīng)，就會(huì)出現(xiàn)彈框報(bào)錯(cuò)。比如輸入事件，等待通常是5秒。主要原因是在UI thread做了不必要且費(fèi)時(shí)的操作。比如訪問(wèn)網(wǎng)絡(luò)操作、本地?cái)?shù)據(jù)讀寫(xiě)操作、游戲計(jì)算下一幀數(shù)據(jù)操作。解決方案是把這些費(fèi)時(shí)用異步的方式完成。UI thread只做響應(yīng)用戶操作以及繪制UI的事情。開(kāi)發(fā)過(guò)程中可以StrictMode來(lái)檢查一些潛在ANR的代碼風(fēng)險(xiǎn)。開(kāi)發(fā)完以后，可以使用android工具Systrace和Traceview對(duì)游戲的性能瓶頸進(jìn)行分析，避免ANR。

而游戲卡頓問(wèn)題，通過(guò)對(duì)10016個(gè)UI問(wèn)題的統(tǒng)計(jì)和分析，TestBird認(rèn)為導(dǎo)致UI異常主要有兩方面的問(wèn)題：

1)和安卓手機(jī)分辨率相關(guān)，如手機(jī)分辨率尺寸，游戲上控件排版時(shí)需要考慮分辨率，避免使用pixel unit，考慮使用dp(Density-independent pixel)、sp等.可以了解多尺寸多密度屏幕支持等相關(guān)文章。

2)和游戲引擎相關(guān)，如Unit3D引擎游戲，使用系統(tǒng)字庫(kù)，容易出現(xiàn)在OPPO等手機(jī)終端上，字體無(wú)法顯示，原因?yàn)椴糠职沧繌S商深度定制安卓系統(tǒng)，導(dǎo)致部分U3D引擎游戲，調(diào)用的系統(tǒng)字體不能顯示。解決建議為使用其他字體庫(kù)。

《2014年手游兼容性測(cè)試白皮書(shū)》整個(gè)研究歷時(shí)8個(gè)月，測(cè)試多達(dá)近3000款手游，整理分析了上萬(wàn)份的評(píng)測(cè)報(bào)告。而這些數(shù)據(jù)和報(bào)告正是基于TestBird獨(dú)創(chuàng)的領(lǐng)先測(cè)試技術(shù)優(yōu)勢(shì)以及其作為國(guó)家手游測(cè)試中心的權(quán)威地位，并且透過(guò)這些真實(shí)的數(shù)據(jù)，白皮書(shū)才能首次真正地對(duì)手游兼容性問(wèn)題進(jìn)行系統(tǒng)而全面的研究，并與廣大手游行業(yè)同仁共享。