您现在的位置是:首页 > 业界业界

中国广告引擎简史

查看 cc博主 的更多文章cc博主2022-11-11【业界】283人已围观


谁为中国互联网发展聚集天量财富?

一、张栋给百度凤巢带来算法

多年以后,在一次与雷峰网的冬夜火锅小聚中,张栋看着滚滚升起的热气与油滋滋的毛血旺,想起了2007年自己刚回国时的日子。

那一年前后,中国的广告引擎开始进入发展的快车道。

这里面的标志性事件是:时任Google总裁埃里克在北京办公室宣布其品牌全球中文名为“谷歌”,并指明其寓意为“播种与期待之歌,收获与欢愉之歌。”

为什么是这件事呢?因为这意味着百度与谷歌两大搜索引擎开始了在中国的正面竞争。

百度和谷歌的竞争,无疑会带来技术的比拼,双方都开始争抢行业内顶尖人才。

张栋在这一年年初回国,他事实上已经在头年12月进入谷歌,负责搜索方面的工作,原因是他得到了时任谷歌CEO技术顾问萨米•本吉奥的推荐。

中国广告引擎简史 第1张

张栋

这位萨米•本吉奥是麻省理工教授,也是张栋的博士导师,对其天资极其看重,当初招募到这位刚刚中科院硕士毕业的学生后,得知其办理赴美签证失败,仍然没有放弃,而是将其放到自己另外任教的瑞士联邦理工大学继续培养,后期才又迁回了麻省理工。

张栋进入谷歌时一开始起点就很高,他团队的同事们后来也都是一时人杰,包括王益(腾讯广告引擎技术开创者)、宿华(快手创始人)、严强(快手SVP)、王美宏(Facebook的华人员工中最年轻的e9),后面故事会有展开。

张栋加入谷歌的2007年,李彦宏其实就已经开始在做百度凤巢了。

那时候,百度上市不久,年收入的上限就是1亿元。现在,我们都知道百度一天挣的钱就是3亿元,这其中如果说有哪个关键转折点的话,那就是凤巢崛起。

其实,百度并没有落后于谷歌太多,很早就已经引入质量度、相关性等因素做广告排序,但成效没有达到预期。因此,这个广告系统做了两年都没有对外发布。

凤巢名字寓意是“筑巢引凤”,某种程度上,这也反映出李彦宏那段时间的人才焦虑,寻觅人才来完善凤巢体系成为他在那时的一件大事。

2009年,李彦宏找到了张栋。

张栋那时候已经名声在外,他在谷歌搜索团队负责推荐算法,将其成功应用在谷歌十几款产品中,并因此获得Google APEC Innovation Award,成为搜索行业一位凤雏般的人物。

李彦宏于是抛出橄榄枝,问他有没有兴趣加入百度,张栋表示有意向。

二人进行了几回电话交流后,张栋与李彦宏建立了相当高的信任,终于答应到百度面试看看。

随后,张栋被推荐给了时任百度CTO李一男。张栋因此见到了,那位传说中的华为天才少年。

张栋所做的事情其实不是通讯出身的李一男完全能看懂的,但对方却知道这对于百度的价值,更何况李彦宏早就已经谈定了各种主要事项。

面完试以后,张栋被搜索引擎的第一代核心开发工程师,也是百度七剑客之一的郭耽请吃饭,算是百度的正式邀请。

2009年,张栋加入百度,成为第一个从谷歌直接跳槽到百度的技术大咖。李彦宏当时几乎每周都会跟他沟通,足见对凤巢的重视。

张栋在百度写了凤巢的第一个核心算法:CTR预估算法,这也是机器学习算法在中国互联网第一个大规模成功应用的案例。

这年6月15日,张栋团队写的算法上线,A-B测试显示,百度当天收入上涨30%。

张栋高兴的不行,于是到处跟人推荐百度,告诉大家百度将来会有多么多么厉害。

因为他清楚地明白,这30%的只是一个起点,只要能往上叠加各种指标,增加服务器设备,这个数字将会持续上涨。这是一条从涨30%到翻100倍的道路。

百度在之后一两年间果然收入大增,刚刚四十岁出头的李彦宏就成了中国首富。

那也是张栋在百度最风光的时期,但两年后,张栋选择了离开,这成为张栋最遗憾的事情之一,使他失去后来参与到凤巢走向鼎盛的机会。

2010年,李一男从百度离职。

坊间传闻,张栋是接任其百度CTO的人选之一,但结果并非如此。

凤巢团队其他成员后来告诉雷峰网,他们当时很希望张栋最少能成为首席科学家,但现实最终又让大家失望了,只给了个凤巢首席科学家。

既然给不了名,那给点实际的吧。为了激励士气,李彦宏特意给他们定制了百万美金大奖。

但张栋等人最终发现,这个奖金是要分4年兑现的,只能选择离开。(想要了解这中间的详细故事,请参考《那些用推荐引擎改变世界的人》)

谷歌间接给百度等中国公司送来了算法,张栋和王益一众人等则将它发扬在中文互联网世界。

二、王益引领广点通进阶

张栋离开百度前几个月,他在谷歌搜索部门的前同事加入了腾讯,并在之后引领了腾讯广告引擎的技术建设。

这个人就是王益。

王益自小学就开始接触计算机,毕业后曾在IBM和微软实习,之后加入谷歌。

王益加入腾讯之时,3Q大战刚刚拉开序幕。

中国广告引擎简史 第2张

王益

对当时的腾讯而言,虽然每个BG都有单独的广告系统,但盈利能力却十分堪忧。

相比之下,百度虽然也曾有多个广告系统,但大多数业务还是都由凤巢承担。而腾讯的广告系统几乎可以说是“平分秋色”,效果却差的多。

这当然有多个方面的原因,比如百度是一家以技术为文化的公司,产品几乎全部基于搜索引擎;而腾讯则以产品见长,从早年的QQ到现在的微信,不一而足。

同时,在2010年前后,为了提升品牌形象,以腾讯新闻为代表的内容产品被腾讯视为重点照顾对象。

腾讯新闻所在的OMG,有一套自己的广告系统:智胜,但它们做的跟凤巢完全没有可比性。

一位广告行业资深从业者告诉雷峰网:智胜做的很差,走的完全是南辕北辙的路线,后来的广点通做的比较好。

王益的加入,则成为腾讯广告系统由次及第的第一个变量。

在腾讯,王益担任腾讯广告技术总监,一手搭建了赤兔,也就是搜搜的广告系统。赤兔最重要的一个创新是其中的语义分析系统:孔雀(Peacock)。

孔雀是 Latent Dirrichlet Allocation 模型和 Rephil 的结合,其优势在于语义区分更加精准:能够从数十亿用户行为或文本数据中学习到上百万潜在主题。赤兔的系统架构类似于Google的第一代分布式深度学习引擎DisBelief。

在LDA模型里,系统学出来的语义是会重复的,百万语义去重以后可能就只剩几百。孔雀则在很大程度上解决了这个问题,能精准区分语义,且语义相关度也很高。

举个例子,比如用户搜索的是”母亲节“,孔雀可以返回卖康乃馨的广告。

王益在腾讯工作了四年,迎来了陈定佳、刘小兵等新生代力量,二人后来分别成为了快手和字节的核心技术人物。

因为搜搜的发展不顺(这是一个极具戏剧性的故事,详见《沸腾新十年》),腾讯决定将搜搜业务拆分,其中大部分业务后来被卖给搜狗,但却留下了王益所带的广告技术团队。

由此可见,腾讯虽然要抛弃搜搜,但对王益等人的技术路线还是非常认可的。

就这样,王益所在的搜搜广告团队被划分到MIG(移动互联网事业群),向刘成敏汇报,技术上得到进一步打磨。

而后,腾讯开始整合广告系统。

王益的团队被合并到腾讯广点通系统。当时,广点通的流量是搜搜的100倍,但是盈利能力却差很多,后者是前者的200倍。

差别如此巨大的原因,在于二者的“参考系”不同。

广点通最初打出的牌是“把投放权还给广告主”,学习的是Facebook技术和产品的能力,想做Feed流广告,结果是过度依赖广告主指定投放规则。

与之不同,王益在搜搜设计赤兔的时候,更多参考的是谷歌的广告系统,让机器智能代替广告主的手工工作。

广点通还把流量几乎完全免费提供给了内部电商、游戏等业务推广,可以说是浪费了大量赚钱机会。

也是因为这样的原因,广点通人才流动颇为频繁,很多人无法坚持到最后。

一位广点通业务高管后来对雷峰网回忆,2009年-2012年,广点通至少有三个总监先后离开。

直到2012年,广点通才开始不受限制,可以向内部的游戏和电商收钱,也开始从外部获得收入。

当年5月份,腾讯518架构调整,广点通团队和赤兔进行合并。

随着王益团队进入广点通,他的技术路线也都注入了广点通,广点通的盈利能力得到极大提高。

广点通胜于流量,孔雀则长于盈利,二者互为补充。

王益告诉雷峰网,腾讯的广告产品一开始形式各异。百度有搜索广告和上下文广告两种形式,刚好和Google对应。后来腾讯广告形式规约成了社交广告。

赤兔和广点通完成合并以后,业务由罗征负责。

王益跟罗征早在谷歌时期就相识,他的技术路线得到了很大支持。

某种程度上,这才是腾讯广告系统真正的开端。

此前,广点通最惨的时候,CPM(千人成本)从5分钱开始卖。

一位凤巢成员告诉雷峰网,他们在做凤巢的时候拿腾讯的变现能力取笑——2009年,腾讯流量就已经是百度的几倍,但收入只有百度的百分之一。

王益归到广点通以后,又在腾讯待了一年,帮助广点通完成了对两个技术团队的整合和系统的进阶。

广点通后来流量CPM可以涨到50块钱到100多块钱,收入呈几十倍翻滚。

三、张一鸣虚心求贤

凤巢和广点通两大广告系统的成功,带来最直接的效应是:互联网的变现渠道更加通畅,这不仅给百度和腾讯带来了深刻影响,也为后来者提供了样本。

2013年,王益准备离开腾讯的消息流传开来,吸引到不少业内人士关注,正在创业关键期的宿华和张一鸣都希望能得到这位技术大咖的支持。

多年过去了,王益还记得第一次和张一鸣见面,约在腾讯所在的银科大厦对面的一家面包店门口。而华清嘉园的一套二居室里,容纳着快手的整个初创团队。

在王益看来,张一鸣说话坦诚实在,对团队的规划又十分清晰,相信张一鸣肯定能成。

但王益心意已定,没接受任何一方的邀请。

王益虽然没有加入字节,但他的一位好友,却为字节商业化的成功立下汗马功劳。

这个人就是刘小兵。在腾讯,刘小兵汇报给与王益同级的另一位总监。

王益告诉雷峰网,刘小兵看问题很犀利,对局势的敏锐度很高。

他还讲了这么一件趣事:2014年,王益曾跟刘小兵聊深度学习。当时,王益觉得深度学习缺乏理论基础,火不了三年。结果,刘小兵尴尬地笑了笑。

直到后来,王益加入百度,师从吴恩达研究深度学习,他才后知后觉,发现自己的判断是错误的。

谈及这件往事时,王益是 PyTorch 团队负责分布式训练的 Principal Enaineers:“这个故事虽然尴尬,但我很开放你们写下来,哈哈。”

离开腾讯以后,刘小兵去过雅虎中国和360,但最重要的一段经历可能还要追溯到2014年。那年,他跟王益几乎先后脚离开了百度。

王益去了美国硅谷,不过没有加入谷歌、Facebook这样的美国公司,反倒成了百度一员,负责百度Paddle。期间,统一了百度多个深度学习引擎,重写了百度广告的深度学习模型。

刘小兵离开百度以后,反倒加入了谷歌大脑。在谷歌,刘小兵将谷歌自主研发的TensorFlow充分应用在谷歌广告系统,完善后者的检索和排序,这为他后来将字节商业化推向新的高潮奠定了基础。

给字节商业化带来变化的还有王益的另一位好友王崇。

2015年-2016年,王崇和王益在是百度的同事,在吴恩达领导下研发 Deep Speech II 语音识别系统。后来这个系统融入到了百度地图和小度音箱等应用里。

加入字节以后,王崇在刘小兵支持下,开发了深度召回模型:Deep Retrieval。这极大改变了头条的广告技术生态,也使王崇成为杨震原最尊重的研究员。

刘小兵和王崇为字节注入深度学习的基因前,张一鸣其实对凤巢一直看得眼馋。

多年后,张一鸣在跟雷峰网交流时还说道,他们早期特别想要百度凤巢那套系统,找了很多人去搞这个事情,但是又不敢直接搞,才弄了不咸不淡的高热算法。

2013年,张一鸣曾挖到一位心心念念的凤巢员工陈雨强。

中国广告引擎简史 第3张

陈雨强

正是在陈的主导下,字节搭建了今日头条完整的人工智能推荐系统,圆了张一鸣多年的夙愿。

跟陈雨强同期加入字节还有王奉坤,王奉坤在陈走后,持续完善了巨量引擎的早期技术架构,也是字节广告体系的灵魂人物。

只是,陈雨强在字节仅仅停留了一年,这让张一鸣非常惋惜。

这里有个段子,2016年,张一鸣去香港时,拜访陈雨强的恩师杨强。

杨强是国内迁移学习的元老级人物,陈雨强香港科技大学求学时师从于他。

这场会面颇为有趣,张一鸣顾左右而言,套了半天近乎才张开嘴问,“陈雨强怎么走了啊?”

陈雨强于今日头条的贡献从中可见一斑,而张一鸣惜才爱才之心也可见一斑。

关于陈雨强、刘小兵等人如何打造字节这座商业帝国,雷峰网近期将另撰文《是谁在让巨量引擎赚钱?》,请持续关注。

四、宿华等来快手

比起张一鸣矢志不渝地创业,宿华虽一直心心念念想着创业,但快手的成功却更像个意外。

成为快手联合创始人前,宿华先后在谷歌、百度得到历练。

谷歌时期,宿华还是个初出茅庐的学生。但技术能力堪称一流,是张栋口中的“天才程序员”。

以至于后来,张栋加入百度时还念念不忘,宿华因此和张栋二次搭档,完成了凤巢早期的搭建工作。

清华毕业,又得到谷歌历练的宿华,逐渐成为独挡一面的综合性人才。到凤巢时,宿华已经是张栋团队的核心成员之一,还带出了后来在快手的干将严强。

中国广告引擎简史 第4张

严强

和谷歌起步就做国际化不同,百度主要面向的还是中文互联网世界。这带来的结果是:早期百度广告的多样性远不如谷歌,几乎都是大客户。

张栋擅长算法,负责设计算法框架;宿华擅长系统优化和工程,能做很多工程实现。

在百度,宿华把谷歌习得的系统进行完善,用一个超大服务器将其改成了并行化算法。

张栋在跟友人谷文栋谈及此事时,也忍不住夸耀,“这是我特别牛逼的一个小兄弟。”

2011年,宿华和张栋一同从百度离开。一直想做互联网搜索的周鸿祎找到他们,投资2000万美元,要求做一款搜索开放平台。

五道口的出租房里,宿华和张栋一起闷头做起Onebox项目,谷歌时期还是实习生的严强也成了团队主要成员。

Onebox项目进展很快,周鸿祎甚至有意邀请二人加入360,但张栋和宿华志不在此。几经辗转以后,项目被卖给UC,宿华由此实现财富自由。

宿华虽然技术能力超强,但他本人并没有那么在乎,技术只是他的工具,创业梦始终萦绕在他的心头。

2013年,宿华先后列了三十余个项目,都被投资人否定,但也对宿华能力了然于胸。

在晨兴资本张斐的撮合下,宿华和程一笑一起开始快手的创业。这才有了本文第三节开头:宿华跟张一鸣同“求”王益的故事。

张一鸣信奉的是大力出奇迹,宿华则恰恰相反,极其克制。这既体现在产品中,也体现在人员管理上。

宿华加入快手后,把原本的gif工具转型成短视频社区。通过平台的优质内容和口口相传,硬是把一个濒临关闭的产品做到几亿用户。

到2016年,宿华已经将快手做到3亿用户日活千万的国民级应用,但团队成员仍然不到百人。

为了快速补充人手,宿华把当时还在阿里的严强挖来,带队负责快手商业化。

作为当年宿华的实习生,在重新收到前领导信息后,严强非常积极,很快和宿华在快手重逢,携手开启快手的商业化进程。

2016年10月24日,适逢“程序员节”,正值霜降,空气中寒意弥漫。严强却心潮澎湃:赶在30岁前,敲下了快手商业化的第一行代码,开始他在快手的快意生活。

由此刻开始,严强带队一手搭建了快手商业化的技术中台。到2018年底,快手的商业化团队已经从严强加入时的几人增长到近三百人。这一年也被外界视作快手商业化元年。

张栋奠基凤巢,王益引领广点通后,中国的互联网界一直暗藏着二人的传说。

互联网两大新贵,字节、快手中不少人才,都或多或少和张栋、王益有关系:宿华、严强、刘小兵等等不一而足。

2021年4月,王美宏加入快手的消息引来关注。此前,王美宏在Facebook曾供职多年,离职前是Facebook的华人员工中最年轻的e9级人才。

学生时代,王美宏在谷歌实习,当时的张栋、王益已经都在谷歌小有成绩。

加入快手后,王美宏直接向CTO陈定佳汇报。巧的是:王益在腾讯供职时,陈定佳还是一个不起眼的小兵。

十年间,张栋、王益可能已经不再为新来的小辈熟知,但关于他们的故事却一直在延续。

五、对其他人的影响

各家疯狂进击的年代,阿里怎能落后。

时间重新回到起点:2007年,百度开始死磕凤巢体系,李彦宏四处求才;马云则忙着打造阿里妈妈。

不同于百度,拥有庞大电商渠道的阿里妈妈只服务于平台自身。

更具体地讲,阿里巴巴提供平台,阿里妈妈负责收钱,那收的自然会是最快的钱——阿里电商平台客户的广告投入。

基于阿里庞大的电商体系,阿里妈妈的成绩也算差强人意。但技术始终是阿里的劣势。

不过,随着推荐算法、深度学习的普及,阿里也开始攻坚克难。

最早帮助阿里做广告系统的是吴雪军。

吴雪军2004年从东北大学毕业后加入百度,从基础工程师一路成长到百度科学家。

在百度,吴雪军曾带队设计重构网盟投放系统,其底层技术和张栋时期的凤巢几乎如出一辙。

2010年6月,吴雪军离开百度后短暂加入天涯社区,但同年又加入阿里巴巴。起初,吴雪军担任阿里妈妈算法团队的负责人,后来掌管起阿里妈妈整个技术团队。

阿里妈妈和百度网盟本质上是一回事,吴雪军把网盟的经验复制在阿里妈妈,为其提供了最早的技术支持。

这以后,阿里妈妈又迎来盖坤、袁泉等一大批技术大牛,二人汇报对象都是从凤巢而来的吴雪军。

盖坤从清华博士毕业后加入阿里。在清华,盖坤一路从本科直通到博士,研究方向是识别与智能系统。

中国广告引擎简史 第5张

盖坤

2011年,刚进阿里的盖坤提出了分片线性模型MLR,极大地提高了CTR预估的准确性。2012年,袁泉从IBM离开加入阿里妈妈。

加入阿里前的六年,袁泉一直在IBM做推荐算法的研究,发表了二三十篇论文。做了不少理论研究后,袁泉越来越想把他的想法落地实践。

袁泉曾经有句话,推荐什么样的产品决定着这件事情的价值。

考虑到电商推荐直接跟商品相关,缩短购物流程,提升用户体验,袁泉在2012年选择了加入阿里。

在阿里,袁泉最初负责阿里妈妈非搜广告的算法。

不过一年多后,阿里开始把重点倾向无线(移动)端,袁泉带队做起阿里妈妈的推荐算法。

2013年,袁泉带人奔赴杭州,从头开始做手机淘宝的推荐。按照蒋凡的要求,手淘选择的是两列的face流形式。直到今天,淘宝还在用这种模式。

在手淘,袁泉带队做了一系列提升消费的产品,从有好货到后来的猜你喜欢都是出自袁泉之手。

2015年双十一期间,推荐应用首次在手淘全面上线,提高了5-10倍转化率,袁泉也因此拿到100万CEO特别奖。(袁泉也是中国元宇宙赛道的先驱,请持续关注雷峰网(公众号:雷峰网)专访《算法、游戏与挚友:袁泉的AGI奇幻漂流》)

但直到此时,深度学习还尚未得到大规模应用。一位接近阿里的人士告诉雷峰网,他们当时主要还是将深度学习用于图像识别。通过深度学习技术,他们对用户行为商品等做一个表示,基于这个表示再进一步去做匹配和排序。

2016年,谷歌一篇关于深度学习的文章引起阿里留意,阿里从此开始“ALL-IN”深度学习,首先是将上述两个步骤融合。

也是这一年,盖坤首次将深度学习应用在阿里妈妈,通过采集用户历史行为数据,发掘出影响广告点击率的关键指标,并基于此搭建出广告点击率预测的新结构:深度兴趣网络。

本质上讲,阿里妈妈得到如此规模的广告营收得益于自身的电商平台。

一位前阿里妈妈高管告诉雷峰网,2015年前后,阿里妈妈为阿里贡献了超过一半的收入,来源主要包括竞价、天猫年费以及营销工具费用,最主要的还是竞价,而竞价又依赖于直接变现效率。

但抖音、快手都已经布局电商,也有自己的广告引擎平台。

阿里妈妈、字节巨量、快手磁力等广告系统虽然后来又有了各自发展。但无论是当初对算法的应用,还是主力人员,都和张栋的凤巢,王益的广点通,有着莫大关系。

从这个角度看,可以说是同出一源,各放光芒。

后记

当年,张栋和王益离开谷歌的时候,在推荐算法圈备受瞩目,大家都想看看这两位算法大神离开谷歌平台之后,会掀起怎样的波澜。

他们共同的好友谷文栋决意要办“ResysChina推荐大会”,他们自然要鼎力支持,于是先后担任了演讲嘉宾。

张栋参加了第一届,他当时正沉浸于凤巢系统的搭建,为整场大会奉献了最精彩的演讲,高屋建瓴又妙趣横生。

王益参加了第三届,他在腾讯广点通的技术路线畅通执行的时候进行的演讲,主题是“推荐系统实践”。

国内推荐算法爱好者纷纷报名,他们都看到了那时候最先进算法构想。

两个人都在自己风头正劲的时候,进行了最好的布道。

他们也在年轻的技术创业者们心里种下了种子。

参加完推荐大会之后不久,他们都先后离开了自己的位置。

王益参加那场推荐大会结束不久,决意离开腾讯去了硅谷。

同样发生在2013年的是,张栋卖掉和宿华共同打造的Onebox后,转身离去,逐渐淡去互联网世界。

一代人只能做一代人的事情,新的事情已经交给年轻一代推动。

从此,江湖上只剩下卧龙凤雏两位宗师的传说。


雷峰网原创文章,未经授权禁止转载。详情见转载须知。

Tags:

文章评论

加入组织
广告

   有免费节点资源,我们会通知你!  加入纸飞机订阅群  

×
天气预报查看日历分享网页电报扫码留言评论Telegram