想必大家都知道chatGPT了,可能部分人还没玩过,我从去年11月份就开始玩了,既然玩了这么久,那就带大家一起看看这家公司的发展史,再扒一扒背后这位创始人神秘大佬(据说是个gay)的成长史。
一、公司发展
2015年,有这么一群有钱人,埃隆·马斯克、山姆·奥特曼、彼得·泰尔等科技领袖,他们出于对强人工智能潜在风险的担忧,创办了OpenAI。
《教父》里有这样一句台词“离自己的朋友要近,离自己的敌人要更近”,他们作为引领世界科技的创业者,自然知道AI未来会发展成什么样,既然无法阻挡洪流,索性加入他们。
公司成立之初,主要资金来源于马斯克、奥特曼和贝宝的联合创始人彼得 · 泰尔等私人投资者, 10 亿美元。起初OpenAI是一个非赢利组织,向公众开放专利和研究成果。
在这些机构向人类关上大门的时候,OpenAI 将会是敞开的。这个可能说百度的竞价排名可能更能让人深有体会。
直到2017年,当研究小组研究这一领域的趋势时,他们意识到在财务上保持非营利组织属性是站不住脚的。该领域内其他组织用于取得突破性成果的计算资源大概每 3.4 个月翻一番。“为了保持相关性”,他们显然需要足够的资本来匹配或超过这种指数级增长。
有时不得不向世俗妥协的时候,既要被包养,也要保持独立的人格。最终在公司发展上,马斯克与公司产生分歧,选择退出,而阿尔特曼辞去Y孵化器总裁,出任OpenAI 的CEO。
在2019年成立OpenAI LP子公司,目的为营利所用,各项研究成果也也不对外开源了。这是一个艰难的选择,也是一个艰难的时刻,公司的理念的转变受到公司员工及其他关注该公司的人员的不理解。没有任何一个人的路是好走的,即使是世界最聪明最有钱的一群人。
任何对OpenAI LP投资的利润都将转移到一个大的非盈利公司上,回报达到投资的100倍之后才会分配利润,这个时候微软像一个土豪,就怕你不要钱,带上了10亿美元注资OpenAI。接下来,就是加速增长了,如下图。
模型 |
发布时间 |
参数量 |
预训练数据量 |
GPT |
2018年6月 |
1.17亿 |
5GB |
GPT-2 |
2019年2月 |
15亿 |
40GB |
GPT-3 |
2020年5月 |
1750亿 |
45TB |
据国盛证券报告《ChatGPT需要多少算力》估算,GPT-3训练一次的成本约为140万美元,对于一些更大的LLM(大型语言模型),训练成本介于200万美元至1200万美元之间。
以ChatGPT在1月的独立访客平均数1300万计算,其对应芯片需求为3万多片英伟达A100 GPU,初始投入成本约为8亿美元,每日电费在5万美元左右。
这让我想到国内的大语言模型,也许钱是可以搞定的事,但是A100已经被美国禁售了,这个就很难办了,要在本就落后的基础上,算力还不如别人,如何追赶上?
说回正题,openAI的一群大佬一看3的效果,发现还是有问题,有时候给的答案很好,有时候又很无厘头,这就是缺少教育,教育是什么,是反馈,并不是单单是训练,你狂做题目,没人告诉你答案正确与否,是行不通,只会走火入魔是吧。
这之后就开启了人工标注工作,也就是监督微调(SFT)模型,模型开发的第一步就是需要雇用 40 名承包商来创建一个“有监督训练数据集”对 GPT-3 模型进行微调,里面的输入均有已知的输出,用来给模型学习。
然后再用这个新的监督数据集对 GPT-3 模型进行微调,从而建立起 GPT-3.5,这也就是我们2022年11月份一经发布,就风靡全球,成为全球最快到一亿用户的产品。
一、创始人山姆-奥特曼
Sam Altman是出生于1985年,在很小的时候就拥有了一台苹果笔记本电脑,从此就迷上了编程,在2003年的时候被斯坦福大学录取,但是只读了两年就辍学了。
他辍学的原因和很多大佬一样,看着互联网的风口到来,他却只能在学校读书,不能当风口的猪。他辍学后和两名同学开发了一款和朋友分享定位的软件loopt,这款软件深受乔布斯喜欢,所以在乔布斯发布苹果手机时候,第一批进入应用商店的产品。
但是到2012年,他将loopt以1200万美元卖掉了。为什么了?因为他有更大的梦想,要改变世界。与其花时间在loopt,不如拿到钱,寻找能改变世界的项目,于是他转头将钱投入到YC孵化器,也就是天使投资公司,主要投资初创公司,帮助从0到1的项目更快成长。
什么叫大神,干啥都会发光,去了YC仅仅两年,就被YC创始人看中,让奥特曼当了YC总裁。当然他也没辜负希望,几年时间,让YC成为全美最牛的风投之一,市值达到1500亿美元。
也就在YC当总裁这段期间,创办了OpenAI,直到2019年辞去YC总裁。因为他在Open AI看到了改变世界的希望,这不就是他用来改变世界的工具嘛——AGI。
但是自2015年创立一直都没在行业中有什么,奥特曼说过,公司长期以来对于推出新产品,都不太兴奋,只会说我们试试吧。试试有什么用,不够坚定,没有目标,做到一丁点,遇到困难就放弃。
2019年后,公司在奥特曼的带领下,开始聚焦chatGPT,最终一举成名推出chatGPT3.5。你以为奥特曼说改变世界是跟我们一样在老师面前说说玩嘛,人家可是定了三部曲。
- 第一部曲:大力发展通用人工智能AGI,让全球生产力大大提升。
- 第二部曲:可控性核聚变,AGI的大范围使用,会消耗很多能量,而可控性核聚变研发成功,就不会为资源而斗争,智能和资源的成本会趋近于0,从而可以让AGI投入到人类生活的方方面面。所以投资了全球第一家可控核聚变研发公司helion。
- 第三部曲:实现UBI计划,即无条件的给普通大众提供基本物质生活,包括全世界的公民,不论男女老少。未来大量的AGI使用,会导致大量的人失业,至少不用人类去工作了。那你会问这个钱从哪来了,由于大公司的使用了廉价的能源,AGI,就需要支付这笔钱,最终这些钱再发给所有普通民众,而且对于基本生活的物质条件,在大量AGI使用下,已经可以拥有无限的物质。
看到这里,你是不是觉得这不就是我们要的终极社会嘛,而且好像还有点靠谱。有时候我们不得不佩服这些拥有梦想的人,并且能够为了这些看不到,摸不着的东西奋斗着,致敬这些长期主义者。
对比国内,我们把时间线拨回openAI成立的2015年,彼时国内阿里巴巴刚上市一年,美团饿了么大战正酣,快手正在三四线攻城略地,拼多多、电动三傻刚刚成立,还有很多当今耳熟能详的企业很多才刚刚起步。
当然他们伴随着移动互联网的到来,再叠加国内14亿人口的红利面前,迅速发展壮大。但是他们到今天已经失去增长的潜力,openAI却引领了一个新的时代。
慢慢发现社会的推动就是这些人和公司在背后推动,为了也想做个长期主义者,我决定后面会更新出所有推动社会进步的公司,包括贝尔电话、通用汽车、仙童、苹果、特斯拉等所有公司及这些创始人的专栏。欢迎关注,一起探索这些伟大的公司及其背后的故事。