最近，前Facebook工程師覃超一篇關(guān)于2010年到2015年Facebook改版網(wǎng)站首頁歷程的文章受到極大關(guān)注。按照他的記錄，2012年，當(dāng)時(shí)的Facebook產(chǎn)品副總裁帶領(lǐng)一支公司內(nèi)部頂尖高手組成的團(tuán)隊(duì)，歷時(shí)大半年開發(fā)了新的網(wǎng)站首頁，進(jìn)行了重大的改版與更新。隨后，F(xiàn)acebook對該首頁進(jìn)行了A/B測試：當(dāng)測試到5%用戶群的時(shí)候，各項(xiàng)數(shù)據(jù)指標(biāo)都在下滑；當(dāng)測試到12%用戶群的時(shí)候，下滑趨勢依舊明顯。于是，F(xiàn)acebook不得不放棄了這支30余人團(tuán)隊(duì)近一年努力的結(jié)果。

A/B測試已經(jīng)是一項(xiàng)成熟的測試、開發(fā)方法，被Google的開發(fā)團(tuán)隊(duì)普遍采用。業(yè)內(nèi)人士告訴鈦媒體記者，Google廣告產(chǎn)品的每一個(gè)新改動(dòng)也要經(jīng)過一種嚴(yán)格的在線測試來驗(yàn)證效果，在確保搜索體驗(yàn)的同時(shí)提高廣告的轉(zhuǎn)化率，這種基于數(shù)據(jù)的互聯(lián)網(wǎng)產(chǎn)品開發(fā)和運(yùn)營，可以大幅度加速創(chuàng)新、改善用戶體驗(yàn)，起到事半功倍的效果。前Google廣告質(zhì)量控制部門工程師王曄介紹，A/B測試優(yōu)化每年能為Google帶來100億美元營收的增長。

簡單來說，A/B測試就是對一個(gè)頁面的A版本和B版本進(jìn)行測試，統(tǒng)計(jì)哪個(gè)版本的點(diǎn)擊率更高。最為常見的A/B測試形式叫做灰度測試，也就是對一個(gè)公司自有的互聯(lián)網(wǎng)用戶群進(jìn)行1%、2%、5%、10%等規(guī)模的用戶測試，然后選擇測試效果最好的頁面推廣到全用戶群。

實(shí)際上幾乎所有成功的互聯(lián)網(wǎng)公司，都不同程度地采用了A/B測試，用于網(wǎng)頁的優(yōu)化與點(diǎn)擊率效果提升。王曄介紹說，Google的各個(gè)產(chǎn)品都有成百上千個(gè)不同的測試版本同時(shí)運(yùn)行，試驗(yàn)數(shù)據(jù)決定了只有少數(shù)改動(dòng)能最終上線，這些更好的改動(dòng)可實(shí)現(xiàn)每月約2%的營收提升，最終達(dá)到20%的年化增長。

而Facebook的經(jīng)歷，更充分說明了在互聯(lián)網(wǎng)的世界里沒有常勝將軍，經(jīng)驗(yàn)與直覺都不是互聯(lián)網(wǎng)世界的游戲規(guī)則。只有通過不斷的測試和反復(fù)的數(shù)據(jù)分析，才能證明一個(gè)觀點(diǎn)或判斷是否正確。從Facebook的例子就可以看出，唯快不破和不斷試錯(cuò)的背后，其實(shí)是“數(shù)據(jù)說話”的思維，A/B測試就是一個(gè)讓數(shù)據(jù)說話的利器。

A/B測試聽起來很簡單，但其實(shí)是技術(shù)支撐和數(shù)據(jù)思維相結(jié)合的跨界領(lǐng)域。

記者在硅谷采訪了美國A/B測試創(chuàng)業(yè)公司Optimizely的產(chǎn)品經(jīng)理Byron Jones，他介紹了A/B測試通用的五步法：分析、假設(shè)、構(gòu)建測試、運(yùn)行測試、效果評估。其中，分析、假設(shè)和構(gòu)建測試屬于數(shù)據(jù)分析階段，運(yùn)行測試及效果評估屬于技術(shù)支撐范疇，這二者相互配合、相輔相承。

在數(shù)據(jù)分析方面，A/B測試主要對采樣用戶群進(jìn)行數(shù)學(xué)假設(shè)：根據(jù)統(tǒng)計(jì)學(xué)原理與算法，找出最具有統(tǒng)計(jì)意義的采樣用戶群特點(diǎn)、規(guī)模、實(shí)驗(yàn)組數(shù)和次數(shù)等。在技術(shù)支撐方面，A/B測試主要基于大規(guī)模互聯(lián)網(wǎng)流量分割技術(shù)，不同的網(wǎng)頁針對不同的用戶群進(jìn)行劃分，然后通過服務(wù)器和網(wǎng)絡(luò)控制完成流量分割，達(dá)到向不同用戶傳送不同網(wǎng)頁的目的。

在數(shù)據(jù)分析方面，還有一個(gè)非常有意思的辛普森悖論。形象的說，就是當(dāng)向50%的女性用戶推行某個(gè)促銷手段時(shí)，銷售獲得了增加；當(dāng)向50%的男性用戶推行同樣的促銷手段時(shí)，銷售也獲得了增加；但當(dāng)把這兩個(gè)人群合并，再推行一樣的促銷手段時(shí)，銷售反而下降了。因此，需要通過相關(guān)數(shù)學(xué)處理算法，盡量消除辛普森悖論。

互聯(lián)網(wǎng)公司的A/B測試大多都由內(nèi)部團(tuán)隊(duì)負(fù)責(zé)，以Google為代表的規(guī)?；蛯I(yè)化A/B測試逐漸成熟。隨著互聯(lián)網(wǎng)的高速發(fā)展，越來越多的企業(yè)需要開展互聯(lián)網(wǎng)服務(wù)，全部采用自建A/B測試團(tuán)隊(duì)顯然成本很高，于是就出現(xiàn)了基于SaaS模式的第三方專業(yè)化A/B測試公司。

有Google工程師背景的兩個(gè)團(tuán)隊(duì)，分別都在做類似的服務(wù)類創(chuàng)業(yè)公司：其中一個(gè)，在美國創(chuàng)建了Optimizely公司，目前已經(jīng)完成了C輪融資，公司成立五年來總共完成了1.45億美元的融資。Optimizely的投資人包括著名的硅谷風(fēng)投A16Z、Bain Capital Ventures、Salesforce Ventures等，該公司現(xiàn)有400多名員工，業(yè)務(wù)發(fā)展非常迅猛。

而另一個(gè)團(tuán)隊(duì)則回到中國，在去年創(chuàng)建了吆喝科技，這就是王曄的團(tuán)隊(duì)。王曄曾在清華和耶魯讀書的時(shí)候，參與過中國下一代互聯(lián)網(wǎng)（CNGI）和網(wǎng)絡(luò)APP流量優(yōu)化（ALTO）等大型項(xiàng)目，在耶魯、微軟研究院以及NEC北美實(shí)驗(yàn)室參與過多項(xiàng)技術(shù)創(chuàng)新課題。2012年到2014年，王曄在美國Google總部的廣告質(zhì)量控制部門工作。2014年，他看到了國內(nèi)互聯(lián)網(wǎng)+的熱潮后決定回國創(chuàng)業(yè)，把成熟的A/B測試技術(shù)以公有云的方式提供給國內(nèi)企業(yè)和開發(fā)者。

吆喝科技的產(chǎn)品叫做AppAdhoc Optimizer，這是基于A/B測試的優(yōu)化平臺，于2015年4月全面上線，目前已經(jīng)有100多家試用客戶。吆喝科技支持試驗(yàn)流量動(dòng)態(tài)控制、多變量組合試驗(yàn)、大量并行試驗(yàn)、針對特定人群的定向試驗(yàn)等，其SDK不僅支持Web（HTML5）端A/B測試，還支持原生移動(dòng)APP（iOS、Android）端。吆喝科技目前的投資機(jī)構(gòu)包括峰瑞資本、極客邦等。

2016年將成為互聯(lián)網(wǎng)+行動(dòng)的關(guān)鍵之年，無論傳統(tǒng)企業(yè)的互聯(lián)網(wǎng)服務(wù)，還是眾多的O2O和電商創(chuàng)業(yè)公司，都可以通過A/B測試這樣的專業(yè)工具，研究在線用戶行為、提高運(yùn)營效率，避免經(jīng)驗(yàn)主義和直覺式思維的陷阱。

A/B測試告訴我們，互聯(lián)網(wǎng)+時(shí)代“領(lǐng)導(dǎo)說了”不算數(shù)，“數(shù)據(jù)說話”才算數(shù)。（文/ITValue記者吳寧川 ）