手游發(fā)行硬實(shí)力 少年三國(guó)志兩周200組服0事故始末

自從《少年三國(guó)志》Appstore上線第10天爬上暢銷(xiāo)榜前三，公測(cè)20天流水破億以來(lái)，多次被問(wèn)到，少三投了多少硬廣，哪些渠道有效，活動(dòng)是怎么做的，留存上采取了什么措施……卻一個(gè)人也沒(méi)問(wèn)過(guò)，一星期砸掉那么多錢(qián)怕不怕?這中間萬(wàn)一宕機(jī)怎么辦?是怎么保障穩(wěn)定運(yùn)營(yíng)的?……

是行業(yè)的浮躁導(dǎo)致看待問(wèn)題的表面，還是手游發(fā)行已成熟到不需思考這些基礎(chǔ)問(wèn)題的境界，無(wú)從知曉。但在公測(cè)僅20天《少年三國(guó)志》單憑國(guó)內(nèi)市場(chǎng)就能突破1億流水的今天，在已經(jīng)開(kāi)了300余組服務(wù)器的今天，我回想最多的不是目標(biāo)達(dá)成時(shí)的驚喜，而是無(wú)法釋?xiě)训?2日凌晨一場(chǎng)虛驚時(shí)的絕望。

如果真要總結(jié)《少年三國(guó)志》的經(jīng)驗(yàn)，我只想說(shuō)，穩(wěn)定勝過(guò)一切，要把產(chǎn)品推到S級(jí)的位置，拼的是硬實(shí)力。

憑什么敢雙端同步公測(cè)，集中包量式投放?

《少年三國(guó)志》之前，沒(méi)有如此大規(guī)模集中廣告投放的手游。20余家電視臺(tái)、數(shù)十條火車(chē)線路和火車(chē)站、幾乎所有游戲媒體、幾百個(gè)手機(jī)應(yīng)用、多家視頻貼片……集中在一天爆發(fā)，持續(xù)兩周高密度曝光。iOS、安卓版本同步公測(cè)，近50家安卓應(yīng)用商店同步集中最優(yōu)位置推薦，甚至包含了多個(gè)開(kāi)屏廣告和應(yīng)用商店的系統(tǒng)消息推送。

這些令人激動(dòng)的資源背后，意味著，第一天預(yù)計(jì)40多萬(wàn)的新增用戶(hù)量，要開(kāi)差不多12組服務(wù)器，哪怕一小時(shí)宕機(jī)就是幾十萬(wàn)的廣告費(fèi)損失;如果出現(xiàn)重大bug需要Appstore重新提交版本更新，那么等待蘋(píng)果審核的3-7天中，幾千萬(wàn)廣告費(fèi)全打了水漂;如果安卓版本兼容適配出了問(wèn)題，那么幾十家渠道的推薦資源立即停止……

如此高風(fēng)險(xiǎn)的公測(cè)方案背后，是兩年三款成功產(chǎn)品的經(jīng)驗(yàn)教訓(xùn)沉淀，是數(shù)十條的用戶(hù)不可見(jiàn)的保障功能開(kāi)發(fā)，是數(shù)百條的產(chǎn)品上線檢查項(xiàng)，是多次用戶(hù)測(cè)試和數(shù)據(jù)驗(yàn)證，是高效的sdk接入和服務(wù)器管理方案，是長(zhǎng)達(dá)一個(gè)半月的瘋狂風(fēng)險(xiǎn)排查……

數(shù)據(jù)說(shuō)話(huà)，憑什么申請(qǐng)如此高額預(yù)算

《少年三國(guó)志》制定公測(cè)計(jì)劃前，進(jìn)行了3次目標(biāo)明確、驗(yàn)證嚴(yán)謹(jǐn)?shù)拿嫦蛴脩?hù)測(cè)試，以對(duì)產(chǎn)品進(jìn)行充分調(diào)優(yōu)，對(duì)最終品質(zhì)進(jìn)行有效判斷：通過(guò)游族用戶(hù)小范圍精英測(cè)試，驗(yàn)證核心玩法的接受度和產(chǎn)品運(yùn)行的穩(wěn)定性;通過(guò)刪檔測(cè)試，驗(yàn)證和優(yōu)化產(chǎn)品玩法體驗(yàn)，保證留存;通過(guò)收費(fèi)內(nèi)測(cè)，驗(yàn)證和調(diào)優(yōu)產(chǎn)品數(shù)值體驗(yàn)，保證商業(yè)化數(shù)據(jù)。從第一次精英測(cè)試，到我們敲定公測(cè)節(jié)點(diǎn)，將近4個(gè)月時(shí)間。

1月初，產(chǎn)品經(jīng)過(guò)了近1個(gè)月的內(nèi)測(cè)調(diào)優(yōu)，各方面的運(yùn)營(yíng)數(shù)據(jù)指標(biāo)均達(dá)到A級(jí)標(biāo)準(zhǔn)，且數(shù)據(jù)相當(dāng)穩(wěn)定。這樣的數(shù)據(jù)表現(xiàn)，讓我們有十足的自信——這款產(chǎn)品一定能做成，我們只需要做一套漂亮的公測(cè)方案來(lái)試探能做到多高。到了此時(shí)，我們才確認(rèn)公測(cè)檔期和初步的市場(chǎng)預(yù)算規(guī)模，以及為了讓推廣效應(yīng)最大化，確定了iOS、安卓同步大推的策略。

SuperSdk，讓1周接入近50家渠道成為現(xiàn)實(shí)

確定公測(cè)節(jié)點(diǎn)時(shí)，離正式公測(cè)只有1個(gè)多月的時(shí)間。我們決定iOS、安卓同步大推，也就意味著在1個(gè)月內(nèi)，我們必須接好幾十家渠道的SDK。

此時(shí)，通過(guò)幾款產(chǎn)品發(fā)行積累起來(lái)的SuperSDK發(fā)揮了巨大的作用?！?a href="/game/mjh/" target="_blank" class="keylink">萌江湖》時(shí)代接入、調(diào)通一家SDK要3天的往事歷歷在目，而到了《少年三國(guó)志》，憑借集成式的SuperSDK，近40家SDK接通只用了一周多的時(shí)間，同時(shí)還支持CPS分包功能。

SDK接通之后，為了確保穩(wěn)定，我們不僅對(duì)每個(gè)分包的SDK功能進(jìn)行了測(cè)試，還對(duì)重點(diǎn)分包進(jìn)行了上百臺(tái)安卓適配機(jī)型的真機(jī)測(cè)試加更多機(jī)型的云測(cè)試，對(duì)外發(fā)包0故障。

穩(wěn)定公測(cè)，9項(xiàng)技術(shù)準(zhǔn)備保駕護(hù)航

曾經(jīng)在朋友圈發(fā)過(guò)一句話(huà)：系統(tǒng)、適配、SDK、混服、自更新、CPS、IDFA…來(lái)分享下都在哪幾步栽過(guò)。結(jié)果得到最多的回復(fù)是：可以問(wèn)問(wèn)誰(shuí)第一次搞沒(méi)有每步都栽過(guò)~

栽過(guò)，才會(huì)有對(duì)策。撿最重點(diǎn)的說(shuō)，一共9項(xiàng)：

1)前后端代碼均可熱更新，隨時(shí)修復(fù)bug

2)多條自更新CDN線路隨機(jī)切換減少更新中斷

3)多個(gè)自更新包自動(dòng)合并，避免錯(cuò)過(guò)更新的用戶(hù)重復(fù)加載資源

4)支持多種不同的混服模式，且可以靈活后臺(tái)配置，滿(mǎn)足國(guó)內(nèi)外不同渠道開(kāi)服要求

5)支持多服齊開(kāi)循環(huán)推薦，以分散集中用戶(hù)涌入壓力并保證每個(gè)服務(wù)器導(dǎo)量充足

6)客戶(hù)端錯(cuò)誤自動(dòng)收集，隨時(shí)發(fā)現(xiàn)解決問(wèn)題

7)GM后臺(tái)資源配置預(yù)警，避免操作失誤

8)GM后臺(tái)大量定時(shí)及復(fù)制發(fā)布功能，減少操作工作量，降低出錯(cuò)率

9)數(shù)十個(gè)可配置活動(dòng)，隨時(shí)調(diào)整服務(wù)器生態(tài)

就是12號(hào)的凌晨，離大規(guī)模廣告導(dǎo)量?jī)H有8小時(shí)的時(shí)間，我們發(fā)現(xiàn)了一個(gè)100%可重現(xiàn)的閃退bug，經(jīng)過(guò)排查，這個(gè)bug是SDK問(wèn)題導(dǎo)致的。誰(shuí)都知道更新SDK意味著整包更新，整包更新意味著3-7天的提審，而這中間，是不可能撤掉已經(jīng)買(mǎi)了的廣告位的。就當(dāng)所有人陷入絕望的時(shí)候，我們預(yù)埋的熱更新機(jī)制，把問(wèn)題解決了。多做任何一條技術(shù)準(zhǔn)備，都是可能在關(guān)鍵時(shí)刻救命的。

提審，Appstore一次性審核通過(guò)背后的秘密

幾乎每個(gè)做iOS應(yīng)用的團(tuán)隊(duì)，都遇到過(guò)幾次Appstore提審被打回的經(jīng)歷，而每次被打回，都意味著一周以上的修改及再次審核的周期。而廣告投放，卻是需要事先定好節(jié)點(diǎn)的。所以大量的廠商為了保證投放安全，甚至?xí)谔釋復(fù)ㄟ^(guò)后才開(kāi)始定資源，導(dǎo)致至少1個(gè)月的空白等待。

游族網(wǎng)絡(luò)把Appstore審核規(guī)范結(jié)合歷史產(chǎn)品審核不過(guò)的經(jīng)歷，做成了一份完善的檢查清單，從研發(fā)的版本規(guī)范、服務(wù)器配置、充值配置、廣告監(jiān)控等等到運(yùn)營(yíng)的icon/截圖/視頻制作要求、ASO設(shè)置、版權(quán)聲明等，提審前只要逐項(xiàng)檢查驗(yàn)收，就能規(guī)避90%以上可能被蘋(píng)果打回的問(wèn)題。

《少年三國(guó)志》這次嚴(yán)格按規(guī)范提交審核，第一次就審核通過(guò)，節(jié)省了大量的時(shí)間。

測(cè)試，測(cè)試，還是測(cè)試

前面提到了針對(duì)SDK的測(cè)試，事實(shí)上少三此次為公測(cè)進(jìn)行了長(zhǎng)達(dá)一個(gè)半月近乎瘋狂的測(cè)試。舉例說(shuō)，針對(duì)壓力測(cè)試，我們不僅做了機(jī)器人模擬來(lái)測(cè)游戲服務(wù)端承載，甚至連登錄、充值、游戲內(nèi)嵌頁(yè)面訪問(wèn)等所有涉及平臺(tái)服務(wù)的環(huán)境，都做了集中并發(fā)測(cè)試。我們那時(shí)的口號(hào)是，任何人通過(guò)任何方式把任何服務(wù)器壓掛掉，有獎(jiǎng)!

版本預(yù)留，有備無(wú)患

產(chǎn)品大推，我們一方面要減少版本更新，以避免更新帶來(lái)的dau損失。但同時(shí)，我們又必須保證及時(shí)更新，以在游戲內(nèi)容被用戶(hù)消耗完前，給予用戶(hù)新的追求。我們無(wú)法預(yù)料游戲當(dāng)前的內(nèi)容夠不夠，用戶(hù)玩游戲的進(jìn)度，永遠(yuǎn)超乎開(kāi)發(fā)者的想象。我們能做的，就是在公測(cè)開(kāi)啟前就備好一個(gè)資料片，在線上一定比例的游戲用戶(hù)開(kāi)始感到厭倦時(shí)，立即更新上線，以維護(hù)運(yùn)營(yíng)數(shù)據(jù)穩(wěn)定，并為后續(xù)的優(yōu)化和新增內(nèi)容爭(zhēng)取時(shí)間。

其實(shí)還有很多，再說(shuō)下去恐怕這篇文章就要寫(xiě)成書(shū)了，以上僅為拋磚引玉?？傊?，經(jīng)過(guò)種種準(zhǔn)備，《少年三國(guó)志》到公測(cè)那天，已經(jīng)萬(wàn)事俱備，只欠導(dǎo)量了。

公測(cè)兩周開(kāi)近200組服，0事故，我們做到了

前面說(shuō)的是公測(cè)前的準(zhǔn)備，就像出征前的糧餉籌備和戰(zhàn)斗訓(xùn)練。而真正的戰(zhàn)場(chǎng)，卻是在公測(cè)開(kāi)啟之后。用戶(hù)的引導(dǎo)、問(wèn)題的應(yīng)對(duì)、數(shù)據(jù)的保證以及后續(xù)方向的明確，這是真正開(kāi)服后要做的事。

近乎夸張的團(tuán)隊(duì)人員配置

也許多年前你曾經(jīng)歷過(guò)30人運(yùn)營(yíng)的端游，但你應(yīng)該沒(méi)聽(tīng)過(guò)30人運(yùn)營(yíng)的手游?！渡倌耆龂?guó)志》此次計(jì)劃的體量，已經(jīng)超過(guò)了當(dāng)年大多數(shù)的端游，而我們又把服務(wù)和用戶(hù)體驗(yàn)放到了第一位，所以在公測(cè)前，幾乎抽調(diào)了所有人手，組成了一個(gè)30人的運(yùn)營(yíng)團(tuán)隊(duì)。

30人的運(yùn)營(yíng)，有那么多事情做嗎?

公測(cè)首月每天24小時(shí)處理客服提報(bào)的事件，百度貼吧游戲相關(guān)問(wèn)題每帖必回;同時(shí)維護(hù)七八個(gè)渠道論壇，并保證這些社區(qū)的活躍活動(dòng);一家家應(yīng)用商店優(yōu)化產(chǎn)品描述、小編推薦，每天支持超過(guò)1000張廣告素材，優(yōu)化渠道導(dǎo)量;新聞軟文的撰寫(xiě)，微信公眾號(hào)的運(yùn)營(yíng);十來(lái)個(gè)500人Q群維護(hù)，加之用戶(hù)調(diào)研，意見(jiàn)整理;每天10余組服的導(dǎo)量監(jiān)控，開(kāi)服配置;幾十個(gè)開(kāi)服活動(dòng)隨時(shí)分析和優(yōu)化，同時(shí)每周再更新幾十個(gè)循環(huán)活動(dòng);版本的優(yōu)化案，數(shù)據(jù)分析報(bào)告……

30個(gè)人，晝夜兩班，忙到飛起。而通過(guò)集中的人力鋪入，極大的保障了《少年三國(guó)志》的宣傳效果、服務(wù)質(zhì)量，極大的提高了用戶(hù)的滿(mǎn)意度。

近乎偏執(zhí)的開(kāi)服數(shù)據(jù)堅(jiān)持

從頁(yè)游時(shí)代，開(kāi)服就是游戲運(yùn)營(yíng)的核心節(jié)奏控制環(huán)節(jié)。導(dǎo)量多了，服務(wù)器承載不了，造成卡頓流失;導(dǎo)量少了，互動(dòng)玩不起來(lái)，服務(wù)器生態(tài)受損流失;開(kāi)服快了，玩家覺(jué)得你洗用戶(hù)跟不上節(jié)奏;開(kāi)服慢了，想去新服重新發(fā)展的玩家失去等待的耐心……

為了保證每個(gè)服務(wù)器都達(dá)到最好的開(kāi)服效果，我們隨時(shí)觀測(cè)新服的在線人數(shù)，不近上限不開(kāi)新服，臨近刷新點(diǎn)就算破了上限也要挺挺再開(kāi)新服。根據(jù)新近開(kāi)的服的生態(tài)狀況，在有效時(shí)限內(nèi)，酌情補(bǔ)量。

從沒(méi)想過(guò)提前按導(dǎo)量預(yù)估定好開(kāi)服表萬(wàn)事大吉，讓我們到現(xiàn)在開(kāi)了300多組服務(wù)器，每組服的生態(tài)都相對(duì)健康，而執(zhí)行如此麻煩的開(kāi)服策略，沒(méi)出現(xiàn)過(guò)一次失誤。

分析、調(diào)優(yōu)，每天的功課

《少年三國(guó)志》做了強(qiáng)大的數(shù)據(jù)后臺(tái)，不僅能隨時(shí)看常規(guī)的運(yùn)營(yíng)指標(biāo)數(shù)據(jù)，還能看到核心的追求點(diǎn)的參與情況和緯度填充進(jìn)度。

數(shù)據(jù)分析、玩家反饋，加之用戶(hù)調(diào)研、用戶(hù)回訪，不斷找出產(chǎn)品問(wèn)題，通過(guò)活動(dòng)臨時(shí)調(diào)整生態(tài)，并協(xié)助研發(fā)團(tuán)隊(duì)通過(guò)版本徹底解決問(wèn)題。同時(shí)這些分析，也為投放、合作團(tuán)隊(duì)提供支持。

雖然看過(guò)無(wú)數(shù)篇文章指出單純通過(guò)數(shù)據(jù)無(wú)法指導(dǎo)做出好游戲，但其實(shí)數(shù)據(jù)真正的意義，在于幫助找出最關(guān)鍵的問(wèn)題，并對(duì)應(yīng)對(duì)行為進(jìn)行驗(yàn)證，這比盲目的靠猜來(lái)做應(yīng)對(duì)，還是靠譜多了。

雖然標(biāo)題是0事故始末，不知不覺(jué)卻是寫(xiě)成了整個(gè)《少年三國(guó)志》公測(cè)前的準(zhǔn)備和公測(cè)后的應(yīng)對(duì)。這些不僅僅是為減少事故，絕大多數(shù)是為了產(chǎn)品更加穩(wěn)定和持久。在游戲發(fā)行過(guò)程中，少犯兩次大錯(cuò)，絕對(duì)勝過(guò)一個(gè)版本做對(duì)，如果對(duì)每次事故的后果和更新的效果做比對(duì)，大抵都會(huì)得出這么個(gè)結(jié)論。所以再次強(qiáng)調(diào)，S級(jí)產(chǎn)品發(fā)行靠的是硬實(shí)力，穩(wěn)定是第一生產(chǎn)力。

——from少年三國(guó)志運(yùn)營(yíng)負(fù)責(zé)人：毛豆