李开复：AI 2.0是有史以来最大的科技革命 可打造超级应用
雷递网 乐天 11月6日
创新工场董事长李开复博士带队创办的AI 2.0公司零一万物，今日正式开源发布首款预训练大模型 Yi-34B。
零一万物创始人及CEO李开复博士表示：“零一万物坚定进军全球第一梯队目标，从招的第一个人，写的第一行代码，设计的第一个模型开始，就一直抱着成为‘World's No.1’的初衷和决心。我们组成了一支有潜力对标 OpenAI、Google等一线大厂的团队，经历了近半年的厚积薄发，以稳定的节奏和全球齐平的研究工程能力，交出了第一张极具全球竞争力的耀眼成绩单。Yi-34B可以说不负众望，一鸣惊人。”
李开复在接受媒体采访时表示，零一万物（01.AI）经过一轮融资后，估值已超过10亿美元。
李开复还表示：“AI 2.0是有史以来最大的科技革命，它带来的改变世界的最大机会一定是平台和技术，正如PC时代的微软Office，移动互联网时代的微信、抖音、美团一样，商业化爆发式增长概率最高的一定是ToC应用。零一万物邀请开发者社群跟我们一起搭建Yi开源模型的应用生态系，协力打造AI 2.0时代的超级应用。”
以下是零一万物创始人兼CEO李开复博士演讲实录：
李开复：零一万物是我们在3月底官宣，团队逐渐到位，6、7月开始写的第一行代码，我们在短短的4个月时间之内，做出让我们非常自豪地宣布今天的一些产品亮相，我们会对未来的展望做一些分享。
开源对推动世界技术革命的发展有着非常重要的意义。从Linux开始，到各种AI技术，今天到AI 2.0，大模型一直有开源的力量在不断地推动一波波的技术浪潮，有赖于开源，包括创业者、科研工作者等越来越多的人都能成为其用户。
一个司空见惯的观点是，很多人觉得大模型需要超级多的资源，只有OpenAI、微软、谷歌、阿里、百度、腾讯这样的公司才能做，但是任何技术都是需要全球化的参与，开源的方向是让大家都有机会能够接触到大模型。而开源模型几个月前有重要的消息，就是Meta宣布花了数千万美金训练出来的LLaMa2给开源世界分享，也得到非常好的评价，之后还有更大的模型。
比如说在阿联酋的Falcon-180B，更超越了LLaMa2-70B的性能，今天我们要宣布的就是不仅仅在英文的Hugging Face Leaderboard——全球最有公信力的被第三方验证的评测上，我们不但超过了LLaMa2，在30多B的模型也超过了LLaMa2-70B的模型，甚至超过了Falcon-180B的模型。
做出200k上下文窗口，可处理40万字的文本
我们这个领域发展得很快，有些人觉得我们这五个月怎么还不出声，其实五个月开发出这个结果，并不是说我们花的五个月才第一次有结果，而是我们认为从创立零一万物第一天，我的目标就是要能做一个世界级的公司，能够进入世界的第一梯队，你们熟悉我的过去也可能知道，我无论是在微软亚洲研究院还是之后的工作，还有创新工场，我一直的理念和梦想就是要证明给全世界看，中国人也能做世界第一和世界一流的创新，这次左边的图可以看到，我们被大家认为是Yi鸣惊人，我们这样的技术在国际开发已经有不少的国际开发者在Hugging Face关注了我们，包括GitHub，也包括在国内的开源社区开始在分享，这是我们很自豪的事情。
我们憋了一个大招，直到我们有非常自豪的世界第一梯队的模型，我们不急着对外发声，今天我们非常高兴地跟大家分享，我们达到了这一个目标。
这两个模型考虑的绝对不只是怎么去打榜，怎么打冠军，这不是我们的目的，我们是针对了我们认为今天开源社区和世界的开发者最渴望最需求的技术的底层，这里面包括了几个比较大的重点。
第一点，就是做大模型其实很大的一个挑战，就是记忆力不行，有时候你问一个问题，它已经忘记你之前问的很多问题了，或者你要上传一个很大的文档，然后来做推理分析，但是我们的窗口不够长，所以比如说我们读一本很长的书，读到了最后一章已经把第一章忘记了，如何去做推理分析？
所以这次我们也做了一个全世界最长的200k上下文窗口，这200k基本可以处理40万字的文本，这个技术我们也开源。之前也有一些友商做了类似相当大的窗口，但是我们这个是开源的，如果要推动全球的大模型生态系统，我们不能只是每个公司闭门造车，而且我们是需要分享这样的技术，让更多的学术上的老师、研究员、学生、创业者、开发者都能够去使用，所以这200k相当重要，而且把它开源更重要。
我们内部同时也建立了一个 AI Infrastructure（人工智能基础设施技术，简称“Infra”）的团队，这个Infra团队在我们训练中，一方面从6B到34B的过程，练习了我们的scaling law，也就是说怎样能够在6B上做各种实验优化我们的算法和模型，能很丝滑的从6B推向34B，我们也很自豪的见到了，我们的34B模型相当开心的说，是第一次训练就出了这样的结果。
实测实现40%训练成本下降
我们不是做了各种试错，因为GPU资源非常昂贵，非常稀罕，所以我们是要能把规模化做好，就是当推到下一个尺寸时不要再摸索和试错了，因为尺寸越大成本越高，训练100B以上的模型有些公司可能花上几千万美金，我们能够把这个价格大大下降，我们现在看到34B的训练比很多友商，已经下降了我们训练成本40%。
也就是说别的公司如果需要2000台GPU训练这样一个模型，而我们可能只要1200张，别人用2000张我们1200张就可以做到。这一整套的训练平台我们称为基于科学训练科学训模，很多人把训练大模型当做炼丹，也有人说训练一下模型就训练飞了，因为它并没有收敛，并没有成长。我们做的规模预测用数学科学可以推理，小的尺寸如果能成功，大的尺寸也高概率可以成功。
所以这个实验也是成功的，以后我们逐渐的来扩大尺寸，从开源走向更低源和困难度更高的模型，我们有相当的信心可以做到的。
我们希望我们不鸣则已，Yi鸣惊人。我们绝对不是以今天作为一个最大的发布会，如果我们过半年，甚至过一年回头看，今天对我们来说，It is only the begining of begining，我们还会不断的开发推动宣布更多的让人惊艳的结果，这里包括了更大的尺寸，包括了对话的模型，包括了加强的数学代码的模型，包括多模态的模型，我们可以期待我们可以快节奏的几周之内会不断的有新的发布，来跟大家分享。
34B是黄金尺寸
为什么挑34B呢？这是一个黄金尺寸，这有好几个理由，虽然6B也能做出一个在有些领域可以用的模型，比如说做客服类的应用，但毕竟模型一定是越大越好，但是它的难度是当模型做得太大了，你的推理成本或者后续的训练，post train 也好、continual training 也好，都需要相当大的GPU资源。
34B属于一个黄金尺寸，它不会小到没有涌现或者涌现不够，是完全达到了涌现的门槛，但是它又没有太大，它还是可以允许一个高效率的单卡推理，而且做推理并不是一定需要H和A级别的卡，甚至你有4090，甚至3090，应该只要它的内存足够，都是可以使用。
所以既满足了精度的要求，训练推理成本友好，达到涌现的门槛，是属于非常多的商业应用都可以做的，所以如果一个开发者或国内的企业、国外的企业，因为我们是中英文都是世界第一，我们提供了一个非常好的LLaMa2的另外一个选项，对国外的来说，对国内的开发者来说同样的也是一个非常好的选项。
这个选项可以用来开发者想做一个好的新应用，无论面对国内还是全球的应用，我们都是一个适当的选择，或者一个公司，无论是银行、保险公司或任何一个企业，他如果想做一个企业内部的模型，而且很怕内部的数据对外能够被看到，那么把这样的一个34B的大模型从内部作为基础底座来做，也是相当好的一个选择。
而且有些公司现在在百模大战的推动中，可能因为GPU不够，或者因为其他的商机和其他的理由，选择了不要做一个底座的大模型，而要去做一个所谓的行业大模型，在我们34B的基础上来做，每个公司或每个行业想要做的行业大模型，我们这个底座应该也是最适合。
虽然行业大模型有相当大的价值，但是大的底座如果不好，底座是定位了一个天花板，要做的行业大模型、应用，如果你的底座不是非常优质，也不可能去超过底座不能做到的事情。所以选底座就要选表现最好的底座，今天我们在中英文上就是最好的底座，没有之一，也希望更多人选择 Yi-34B。
如能找对机会 可成AI 2.0时代的微信、抖音
今天的宣布之后，我们可以期待什么？
我们对于未来的一个愿景就是大模型时代，不仅仅是一个人类跨向AGI的重要一步，同时它也是一个巨大的平台机会，这个平台相比PC时代、移动互联网时代，现在我们是AI 2.0时代，如果PC时代赋予给开发者用户的机会，就是当时说的 computer on every desk，移动互联网带来的可能是随时随地的计算，而且它知道你是谁，你在什么地方，smartphone on every hand。今天，AI 2.0时代带来的巨大机会就是把一个超级大脑对接和赋能给每一个应用，AI for everyone。
所以我们认为在这样一个AI 2.0时代一定要开发最好的大模型底座，行业大模型，但是最大的商机应该是创造超级应用 Super APP。什么是超级应用呢？
我们可以把超级应用定位为大部分人需要花大部分时间，每天必须有它，才能得到自己的价值体现或者自己很开心的在新的时代里学到新的技术，用到新的产品。PC时代微软Office就是超级应用，在移动互联网时代，微信、抖音是相当好的超级应用，AI 2.0时代毫无疑问最大的商机也会是超级应用，所以这个方向是零一万物在努力的目标，因为在过去的两个时代可以值得借鉴，因为人类历史是不断重复，每一个时代最大的机会跟上一个时代是可以推延的，这也是为什么当时我加入了微软，参与了PC时代的革命，这也是为什么我在谷歌看到了移动互联网时代来临，也创立了创新工场，为了捕捉新时代的超级应用的投资与开发。
AI 2.0时代来到了，最大的一个商机一定是超级应用，而这超级应用一定也是在消费者级别的超级应用，这样应该给了大家足够的暗示。
除了我们的模型之外，还在做什么样的工作，而这样的一个Super App的雏形会在不久的将来跟大家分享。我们在这个阶段也不认为我们自己就能把所有的Super App就做了，因为Super App一定是一个很简单的开始，用精益创业的方法不断的迭代，就像抖音和微信的第一个版本并不是超级应用，而是捕捉到用户的需求并同时用到新平台的技术精髓，来做一个大家喜欢的简单的应用，然后不断根据用户的反馈不断调整应用，最终迭代成超级应用。
所以用迭代的模式、尝试的模式，但是针对真实用户的需求，而且能够不断迭代，尝试多个例子，这是我们自己做Super App的方法论，我们也认为这个方法论会被上万、上十万，甚至上百万的开发者去试，我们不能够保证最大的Super App一定是我们的。
但我们希望开发出这样一个Super App。同时今天创业者最好的机会AI 2.0上面来开发App，如果能找对机会，聪明快速勤奋的迭代，任何一个App应该都有机会成为Super App，成为AI 2.0时代的微信、抖音。
我们现在已经启动我们100B千亿参数模型的训练，应该在几个月之内会能够跟大家分享我们新的成果，我们也希望这个大的模型和它带来的各种的新的功能，还有之上可能产生的Super App潜力的应用，都会是我们下一次、下两次、下十次见面能跟大家分享的消息，以及我们的喜悦和自豪。
以下是李开复问答环节：
提问：零一万物在大模型演进路线上有哪些思考，认为大模型下一步应该往何处发展？除了更大参数的规模之外，在多模态等方向上是否有更多的投入？
李开复：首先尺寸一定是最重要的，因为简单来说，人类有史以来从来没有一个发明是当你投入更多的钱就可以有更聪明的大脑，我们看科学的发明发展，从牛顿、爱因斯坦等等都是一个又一个叠加在巨人的肩膀上经过千年累计才成为今天的状态，而今天大模型最了不起的地方是当你能够丢进去更多的数据和计算力，它就自然变成更聪明，这样一个技术可以是自我衍生，自动进步，能够超级迅速，为什么在短短一年我们看到了这么多的迭代，也是因为这样的功能，所以我们是深深相信，还需要训练更大尺寸的模型。
但是同时训练大尺寸的模型，不是傻傻的把模型做大就好，你的数据有多少，从哪里来，质量是否高，训练的scaling law，让它不要训练飞掉了，确保从一个尺寸A到一个更高的尺寸B，能够很丝滑做这样一个推进，这很重要。这会是我们未来重要的第一个方向。
当然做这个过程中，我们的Infra继续发展也更重要，因为随着数据量增大，模型尺寸增大，吞吐量和对网络的各种需求也变得更大更不合理。所以我们需要想办法能够克服这些问题，比如说今天很多模型的训练，包括今天发布的模型在小几千张卡上，大家都可以跑通，只是有快慢40%的差别，但是当你到了大几千张卡，甚至小万张卡，这个时候就需要各种Infra帮助，才能够训练出来一个模型，还不只是一个省多少时间，而是作出结果和不作出结果的问题，所以继续推动找更多的数学家加入，来帮我们指点应该怎么样确保我们的扩张是一个丝滑过程。还有怎么样能够有更多的Infra训练方面的发展，，让我们确保从小几千张，大几千张，小万张卡上都能够不断的扩展，这是第一部分。
多模态也非常重要，因为人类的学习和成长不是只看文字，我们从小变成我们今天拥有的大脑，是我们通过丰富的感知能力观察这个世界，我们了解图片、视频、声音、语音的能力，对学习是一样重要。我们可以换过来想，如果一个人他从来看不见、听不见，只是把文字塞到大脑里，他是不是能成为最聪明的自己，应该是不可能。所谓的多模态就是把真实世界的理解，从声音、图片到视频先做进来，会非常重要。
但是这也面临很多挑战，因为这些多模态的内容是非常大，它的尺寸会比文字潜在更大，所以我们怎么样合适的去做这样一个coding跟压缩，怎么样做一个代表，因为文字是人类几千年来人类的老祖宗遗留下来一个压缩到很小的浓缩知识代表，而且它流传几千年也不会变，而视频跟声音都是近几十年才有的这些数据，所以怎么去使用它，它那么大，还有它不是自带含义，这些问题都需要克服。
我们在多模态方面，已经有了超过十个人的团队，已经有一些技术在未来一两个月之内可以亮相，但是这是一个更长周期的规划，我们可以看到在美国白热化的竞争，DALL-E3、GPT-4V，还有即将推出的谷歌 Gemini，都把多模态当做这两家公司最大的竞争关注领域，我们肯定也要参与这样一个竞赛，希望也能作出亮眼的结果，所以我们是在文字模型Infra之上，加上多模态，肯定是我们未来同样重要，需要并进的方向。
提问：零一万物如何规划商业模式，YI模式如何进行落地的应用？
李开复：对于商业模式我们是采取下列的思维。我们认为一个新时代，它的Super APP超级应用是最大的商机，我们怎么定位这样一个商机呢，我们要考虑几件事情。第一，大模型本身不能是一个nice to have，它一定是一个must have。我们可以观察移动互联网时代，最成功的公司的，无论是微信、抖音、滴滴、美团，他们所做的一个巨大决定，就是all in全部赌在移动互联网，他们并没有花很多时间，甚至完全没有做PC应用。可以简单定义，我们所做的应用，如果把大模型拿掉了，整个应用就不成立，我们是绝对all in大模型，是必须有大模型，这个我们可以称为AI First、AI Native。
我们认为微软Copilot是很有价值的产品，如果我是微软我也会做它，因为它已经有这么大的一颗大树，能够在上面再开花结果，是能够短期赚最多钱的最好机会，但是我觉得未来我们所用的office，一定不会是今天office基础上去堆积功能，而会是一个从零做起的东西。也就是说内容的创造，不是说今天全是人创造，AI来帮一点小忙，就是一个最重要的方向。我觉得未来的内容应该主要是由AI来创造，人来帮忙，这个才是王道，所以我们对Super APP开发第一点，就是AI First、AI Native，没有大模型整个产品就不成立，我们需要谦虚向微信、抖音、美团这些公司在上一个移动互联网重大时代的成功学习。
第二，商业化非常重要，今天AI 1.0公司有些面临着挑战，就是收入没有做好。那些没有做好收入的，不能只是说有多少博士，有多少论文，有多少世界第一的比赛，最终资本市场还是要看你能不能挣钱，所以这是第一个考验。AI 1.0时代做不出收入的公司，很早就被淘汰了。第二个考验就是作出收入的公司，他们的收入是否可以持续化，他们的收入是否是高质量的，按月付费，或者说按使用付费，或者是持续付费，而不是说做一个项目拿一笔钱就没了，第二年有巨大的压力，要拿两倍的项目，三倍的项目。
最终这样一个项目，你拿到一亿收入要五个人，要拿十亿收入可能就要五千个人，就算不要五千个人，也要两千个人，这样一个项目是人力的项目，不是技术的项目。字节、阿里、百度、谷歌、Facebook能够成为伟大的公司，就是因为他们的收入是有质量，今天AI 1.0的公司，整体来说这个成绩单上并没有得到很好的分数，AI 2.0是有这个机会，所以我们做的应用一定是朝着能够快速有收入，而且能够产生非常好的利润，它的收入是高质量的可持续，而不是一次性的在某一个公司上打下一个单子，拿了几十万甚至几百万这种可能不是最好的收入，所以我们的APP和Super APP会用这两个原则去推动发展。
我们可以推动的主要领域是在 ToC消费者端，因为在国内今天的 ToC 应用，也就是我们可以理解为微信、抖音一类的应用，它的规模化和利润率，和它的收入质量都是要高于那些大部分做商业，做系统集成的，做 ToB的公司，所以我们选择坚定不移走消费者ToC 的路径。
最后一点，中国公司做ToC是很厉害的，国内很多人还不知道的事情，中国人做APP是远远超过美国，比如说微信可以彻底打败碾压 WhatsApp，我们的Tiktok远远要比Instagram更好，美团在美国更是打遍天下无敌手。
这些代表的是中国做consumers app的能力，在中国很厉害，赚了很多钱，有很多伟大的上市独角兽，在全世界的领域也是没有敌手，我们希望这些consumers app不但在国内能够成功的推出，而且在国外也可以推出。
在国内竞争对手还是很强，去国外竞争对手相对弱，在国内收费有一点难度，在国外收费可能相对容易。所以我们的consumers app会是一个面对中国，但会面对中国之外市场来做。
提问：目前国内以及您刚刚提到的mate都在做开源大模型平台，您如何看待目前大模型开源同质化竞争问题？开源对目前国内大模型行业更大的意义是什么？
李开复：是的，我觉得开源是一个特别伟大的技术选择，它让全世界都可以参与，都可以提供自己的知识智慧，它也让全世界变成一面镜子，可以看透每一个开源公司的代码质量是否是高的，它是否有安全问题，是否它的评测是公正的，这个可以让我们站在一个起跑线上去评估所有的公司，是一个巨大合作的社区，在全球范畴上合作。今天的linux还有很多其他的技术，包括AI 1.0技术，AI 2.0的技术都在做这件事情。
还有今天国际上不同的国家合作方面，现在碰到一些挑战，但是在开源社区，全球融合成为一个合作，彼此帮助的大家庭。
我们很乐于参加这样的大家庭。我们自己的发展，零一万物的发展也受益于之前此前开源社区的一些集体智慧，让我们有义务做我们的贡献。对于我们一个公司来说，它需要评估的是开源或闭源，开源对很多公司是非常好的选项，因为下面几个理由。
第一，有些应用并不需要特别巨大的模型，我们可以期待的是，世界第一梯队包括中国第一梯队的大公司，都会在往更大的模型去发展，他们会越做越大，越做越强，越做有更多的涌现。但是这些模型用起来会很贵，它带来更强的能力，但是不是每个应用都需要这样的能力，所以对很多相对需求比较简单的应用，比如说翻译、客服，做一个chat bot，还有一些其他的应用，开源模型其实就足够了，所以我们可以期待的是有很多不需要最最强技术的应用开发和企业，他们会在开源上面做开发。
第二，对于很多公司数据或者是技术，现在还在观望，有点担心用到比如说大厂的技术，在美国我们看到OpenAI的GPT用吸心大法把一些能力吸进去，慢慢让开发者越来越弱，平台越来越强，很多企业会担心这件事情。我的第一个回答，可以先从开源做起，也许开源就够了。之后如果需求更大，可以考虑用一个闭源模型，如果对大厂有担忧的话，创业公司像我们做出来的更大的模型也是可以使用，这也是选项。
最后有关同质化的问题，我觉得有竞争才会有进步，就像Hugging Face这样一个社区，它是独立第三方做测试。它的测试结果就会让大家有自然的关注，如果只是一千家，一万家公司，每家都放一个没什么价值的开源模型，这个社区就乱了。
但是就是因为有比较有公平，开放式的，大家都可以知道哪些开源模型是最好的，我相信这次发布就是一个验证开源社区和开源方法论，不是一个同质化的竞争，它是能够让有特点的或者优质技术能够脱颖而出。
提问：在训练大模型的过程中，零一万物如何解决数据和算力的问题？优质的数据从哪里来？算力如何解决？
李开复：是的，我们对于数据来说想尽各种方法和渠道，在外购买了很多数据，这每个大模型公司都有去做，我们也动用了网络的爬虫，合法获取允许的网站内容，我们也用了很多网上的Common Crawl等标准化、已经开源分享的数据，我觉得非常重要的一点是这些数据是有很多的重复，它的质量也是参差不齐的，我们对这些数据做了非常系统化的，而且是用了AI来做它的筛选，从里面用AI筛选再做人工评估，再不断迭代。
从这样的100多T数据里面挑选出3T，有一定比例的中文和英文，这也是我们用精炼出来的高质数据作为标准，来做中英文的平衡，这两个语言对我们来说都很重要，但是我们不愿意妥协质量。
所以我们通过实验来协助我们判断，是一定的比例用的中文，更多的还是英文，这也代表英文的质量整体还是更高一些，我们还是希望中国有更多这方面的资源开发。
所以我们刚才谈到了做整个大模型是一个科学的过程，我们做规模预测是科学，我们做模型的开发是科学，我们做数据的评估和筛选是科学，我们对系统的评估也是科学，是一个完整的科学，而不是过去AI常常谈的炼丹的做法，我们发现科学的做法带来很大的帮助，“科学训模” 是这么来的。
有关GPU大家都在最早的时候租到或买到了，我们这里可以分享的就是我们在初创时就判断GPU比黄金重要，所以很早在规划各种资源，我们的算力很幸运的是现在足够，应该用到18个月以后，主要是在国内和云厂商的一些合作。
我们也觉得国内的云厂商在GPU云上花了很多的力气，也让我们很感谢云厂商合作伙伴的支持和服务，让我们能训练出这次、还有下次更大的模型。
———————————————
雷递由媒体人雷建平创办，若转载请写明来源。