(资料图)

VIA：Anonymous 萧峰

我去年在西雅图微软，而且就在负责开发Bing后台一部分算法的WebXT组，后来因为个人原因离职了，作为了解ChatGPT和新Bing部分内幕的底层码农,以及GPT-3和 Codex的第一批公测用户，我来谈谈对ChatGPT的看法。

1.ChatGPT的算法,包括自回归语言模型（OpenAI从2017年的GPT-1搞到现在，迭代了3.5代了），还有强化学习的 PPO 算法（还记得2018年在TI表演赛上击败OG的Dota2 AI吗？就是用这个算法训练的），全都是已经十分成熟的公开算法，本身没有任何秘密可言。但是这种超大规模训练，并不依靠算法本身，硬件和数据才是王道，纯自然语言数据，网上公开的到处都是，也没有什么门槛，但是ChatGPT有一个巨大的先发优势，就是它通过抢先开始公测，收集了大量的用户的使用数据，这是更加宝贵的数据，而这部分数据只有他们家有。只要ChatGPT仍然是最好用的语言AI，这个雪球只会越滚越大，越来越难追上。另外，为了防止ChatGPT输出有害信息，OpenAI还花了大价钱去找印度和肯尼亚的外包公司标记了大量的有害文本，用来训练模型不要输出有害信息，这部分数据也是 OpenAI 积淀了几年筑起的数据壁垒。

总之，小公司根本做不了ChatGPT这样的工程，凡是声称投资区区几亿就要做ChatGPT这样的AI的，几乎可以认为全是诈骗；真正有可能做出类似产品的，在中国只有BAT这种拥有自主云计算平台 （市场价租机器做这个就等着破产吧）、且掌握大量用户的互联网公司，而且最好是和ChatGPT错位竞争，比如做中国可以正常联网使用的中文模型；并且，其中最困难的部分其实是敏感词屏蔽和有害信息过滤（ChatGPT 的屏蔽程度，在国内恐怕是不够的，因为它仍然可能在用户恶意诱导下说出不该说的东西）。

2. 再来简单聊聊微软。很多华人，都觉得微软低效是因为印度人太多，尤其是因为印度人做了CEO。但是这种言论是错误的。从ChatGPT这件事中就能看出微软现任 CEO Satva Nadella的眼界。首先，当时OpenAI缺钱、且做出来的东西都是Dota2 AI这种不能赚钱的东西，马斯克都甩手不干的时候，微软仍在默默地投钱、给机器。去年我还在WebXT组的时候就听说CEO有意向在Bing用OpenAI的新模型，把我们吓得不轻。后来就听说WebXT组停了好多项目，开了好多人，把几乎所有机器都借给OpenAI了。因为CEO想拨款买新机器给OpenAI用，遭到很多利益相关的反对，尤其是CFO不给批，于是只好绕过CFO抽调微软原本用于研发的机器；这样WebXT人多，机器少，很多研发人员干不了活，正好再裁了这些“多余”的研发人员。后来的事情，大家都知道了：这个OpenAI的“新模型”，它的名字叫做ChatGPT，而且火速上了Bing。虽然我以前所在的WebXT组是这个事件中的最大受害者，但是如果作为旁观者，我的确十分佩服Satya Nadella的眼界。

3.有人说，ChatGPT会面临Google的竞争。Google的搜索引擎仍然是最好用的，Google的用户是全世界最多的，Google的自然语言AI技术也是领先的，所以完全可以等Google出竞品，也能做得很好，所以不必唱衰Google。这里的论据都是对的，但是最后一步论证 "所以不必唱衰 Google"这步，没那么简单。我看了最近一个 Satya Nadella 的访谈他的大概意思是，ChatGPT的技术，头部科技公司迟早都会掌握，包括Google。但是ChatGPT的推断成本高昂，而且消耗的算力与用户体验高度正相关；而搜索引擎用户粘度小，用户永远会去用体验最好的那个；所以这会迫使所有科技公司搞军备竞赛，大幅推高搜索算法的成本，使得 Google赖以生存的搜索广告业务再也无法躺着赚钱；但是微软的营收却更加多元化，因此受到的冲击会更小，却能享受到Edge浏览器、甚至Windows系统市场份额增加的好处。很多人还在想第一层第二层，人家Satya已经想到了第五层了。说的直白一点，现在微软就是开启了大模型军备竞赛，想要卷死Google。当然这并不是“内卷”，毕竟用户的使用体验提升了。