近来关于字节跳动上市消息再次传出，同时引发大众据其估值分析其优势资产的讨论。数据与流量已然成为字节跳动的核心资产，互联网圈内通过数据手段驱动业务增长渐成共识，虽然此前曾被字节跳动创始人张一鸣否认，但多年来持续通过算法与A/B测试进行试错、逐渐搭建起的字节跳动APP生态，一度被外界称为“AB测试公司”。
4月20日，字节跳动旗下火山引擎技术开放日中，字节跳动副总裁、算法和数据技术负责人杨震原首次揭秘字节跳动如何使用A/B测试（AB test）。火山引擎是字节跳动旗下为企业服务的智能科技品牌，字节跳动的A/B测试工具也已通过火山引擎开放给企业客户。数据驱动并非单纯的唯数据论，更不是数据至上，而是需要对可以量化评估的目标，以A/B测试的方式进行更好地驱动，它代表的是科学决策的理念。
而所谓A/B测试是指对不同策略进行对比实验，根据结果选择最优方案。作为数据驱动的重要手段，A/B测试目前被广泛应用于互联网推荐系统、广告系统、增长黑客、用户增长、数据分析、数字化运营、智能营销等领域。海外如Facebook、Google等大体量公司，国内除了字节外，还有借鉴该模式打造爆款的完美日记等。未来随着To C流量红利的消退，A/B测试类工具将越来越被重视。
据杨震原介绍，成立之初，今日头条就启动了策略推荐类的A/B测试。2016年，字节跳动建立了支持大规模产品实验的A/B测试平台，之后陆续接入抖音、西瓜视频等全线业务，将A/B测试应用在产品命名、交互设计、推荐算法、用户增长、广告优化和市场活动等各方面决策上。
最新数据显示，字节跳动每天同时进行的A/B测试达到上万场，单日新增实验数量超过1500个，覆盖400多项业务。随着公司发展，这些数字还在不断扩大。截至今年3月底，字节跳动累计已经做了70多万次A/B测试。字节A/B测试客户群中以悟空租车为例，该公司已通过火山引擎进行了70多次A/B测试，约有60%为正向实验，提升产品转换率约40%，以往需要一周时间的需求复盘数据分析，现在只要一天就能得到数据结论，提升了效率。
字节体系之外，Netflix工程师Gopla Krishnan此前在个人博客上表示：一个产品功能或内容如果无法在90秒之内获取一个用户的注意，用户很可能就会失去兴趣，并转向其他行为。背后原因正是平台没有足够的根据，证明用户为何喜欢某一个内容，因此没有用正确的思路去呈现内容。于是Netflix在2013年进行一次大规模的A/B测试，通过在电影海报上做出个性化文章提高转化率。
当然，A/B测试也并不是万能的，它也有很多局限性，杨震原表示，A/B测试会定下原则，比如提高商品推荐门槛、不推荐评分低的商品，如果做A/B测试，短期内交易量肯定会降低，但长期来看结论有可能逐渐反转，这是长周期影响和目标设定的问题。此外，独立的实验条件、统计置信度等问题都是做A/B测试需要考虑的。
A/B测试也并非万能，杨震原以“抖音”为例解释称，当初给短视频平台起名时内部进行了A/B测试，“抖音”这个选项实际位列第二名，但当时产品经理们从经验角度认为“抖音”长期来讲更符合认知，更能体现这个产品的形态，因此最终选择了“抖音”这个名字。
因此，杨震原认为企业应充分意识到A/B测试的优势和缺陷，对目标选择适合的评估方法,如战略型决策需要专家角色进行长期的思考；细节决策若能做A/B测试尽量先做，同时关注到量化分析的执行能力，真正做到数据驱动科学决策。“充分进行A/B测试是一个能够补充信息的过程，消除偏见，带来很多客观事实。但是它也不是完美的，也需要补充其他方法一起进行，就像给‘抖音’起名字一样。”杨震原表示。