独家首发|杨立昆最新访谈:AI威胁论是蒙昧主义,控制欲只有人才有 每日视讯
《AI未来指北》栏目由腾讯新闻推出,邀约全球业内专家、创业者、投资人,探讨AI领域的技术发展、商业模式、应用场景、伦理及版权争议。
作者:城主 | 编辑:腾讯新闻 郝博阳
(资料图)
编辑导语
经过了前一段时间的辛顿(Hinton)离职事件和AI监管大讨论之后,整个舆论界都在围绕着“AI毁灭人类的100种方法”大出文章。在这种众口一词的大合唱里,其实一直都有一个不同的声音。它来自于和辛顿并称为“深度学习三巨头之一”的杨立昆。
在5月15日VC20博客节目中,杨立昆又一次坚定的表达了他对AI威胁论的不屑。并给出了两个相当有力的论据:1)人们不会给现阶段的AI以完全自主权 2)只有社会动物才因为进化的需求产生了控制欲,智力和控制欲毫无关联性。没有控制欲和自主权的AI为什么要颠覆人类文明?又靠什么颠覆人类文明呢?
目前身为Meta AI负责人的杨立昆一直都是个“唱反调的人”,在ChatGPT面世之后在推特上疯狂嘲讽;对现在大家趋之若鹜的GPT式自回归模型也并不认同。因此他在这次访谈中关于开源闭源,AI的能力,失业问题和模型规模等一系列涉及AI讨论前沿的问题中都有着和我们之前听到的大佬并不相同的新洞见。
作为发明出第一块GPU,研究出卷积神经网络的AI天才人物,他的来自反面的话也许能给我们比那些来自正面的主流话语更多的启发。
划重点
1自监督大语言模型在语言上表现的很好,但它们思考、理解世界运作和计划的能力非常有限,它们对世界的理解非常肤浅。原因是它们仅在语言上受过训练,而语言只包含人类所有知识的一小部分。2AI威胁论是蒙昧主义。因为首先我们不会授予这个系统自主性。其次,控制欲和能智力并不相关,认为他们相关是个重大谬误。3人工智能系统的欠缺和下一步发展:1)获得通过观察学习世界运作的方式的能力 2)获得制定目标的能力来达成目标的能力。超越当前,还需要设定子目标来达成更大目标的能力,这被称为层次化规划。4因为技术在经济中的传播速度实际上受限于人们掌握新技术的速度。按经济学家预测,社会完全应用新AI技术需要超过十年时间。所以不用担心当下的失业问题。以下为完整访谈内容:
开场白
Lecun:
AI将带来人类的新文艺复兴,一种新的启蒙运动,因为AI将放大每个人的智力。这就像每个人都有一群比自己更聪明,对大多数话题都更加熟悉的人在帮助自己。它将赋予我们每个人更大的权力。
Harry:
Yeah,我对此非常兴奋。我从我们的共同朋友David Marcus和Joshua Sokol获得了很多帮助。非常感谢您能加入我的对话。
Lecun:
很高兴见到您!
杨立昆的传奇AI行业履历
Harry:
现在,我很想从一开始讲起。我听说过一些早期的故事,但我想从David Marcus讲起。您是如何首次涉足AI世界并踏上这条道路的?
Lecun:
当我还是法国的工程学本科生时,我偶然看到一本哲学书,其中皮亚杰(认知心理学家)和诺姆·乔姆斯基(著名语言学家)在争辩“天生与习得”在语言中扮演的角色。乔姆斯基认为语言是与生俱来的,而皮亚杰则认为语言是习得的,具有某些内在结构。在皮亚杰一方,有一位名叫西摩尔·帕佩特的麻省理工学院教授。在他的论点中,他提到了“感知器”(即Perseptron,神经网络的基础节点)——一种早期的机器学习系统。我读到这篇文章后,发现人们一直在研究机器学习,我对此非常着迷。我开始深入研究相关文献,不久后发现大部分文献出自20世纪50年代和60年代,基本上在60年代早期停止,因为一本书彻底终结了这门学科。讽刺的是,西摩尔·帕佩特正是这本书的合著者之一。然而,在10年后,他竟然称感知器是一个惊人的概念。
我立即被这门学科吸引,开始对还未称之为机器学习的神经网络产生兴趣,这最终发展成深度学习。
Harry:
我可以问您一个问题吗,David? 在回顾您所取得的重大突破时,从最开始到重大突破需要多长时间?取得这些重大突破还需要解决哪些关键问题?
Lecun:
第一个突破出现在我还在攻读工程学学位时。我意识到要超越60年代被抛弃的那些系统(即感知器原型)的限制,必须找到能训练多层神经网络的学习算法。除了日本的少数人和一位叫杰夫·辛顿的人外,基本上没有人在研究这类问题。辛顿在1983年发表过一篇论文,讲述了所谓的“玻尔兹曼机”,这显然是一种超越这些限制的方法。
我方面也开发出一种训练多层神经网络的方法,与我们现在称之为“反向传播”非常接近,但并不完全相同,更接近我们现在称之为“目标传播”的方法。然后,我发表了几篇法语论文。1985年,在法国的一次会议上,我遇到了杰夫(辛顿昵称),我们意识到我们一直在研究同一件事,我们的想法非常相似。但当时我还在攻读博士学位,而他是卡内基梅隆大学的副教授。我们开始讨论这个问题,然后我访问了他在卡内基梅隆大学举办的暑期学校。当我完成博士学位后,我在他那里做了博士后研究,然后加入了贝尔实验室。在多伦多工作期间,我与杰夫开发了卷积神经网络,这现在是图像和语音处理的主要方法。所以,这就是我最著名的成就,但它的起源要早得多。
Harry:
我必须问您,约书亚(深度学习三巨头中的另一位)描述了AI和神经网络中存在的“兴奋周期”,其中存在着“没有人真正关心神经网络“的十年沙漠时期。您如何在没有人真正关心的情况下保持热情?
LeCun:
我们心里明白,这些方法最终会受到重视,我们需要打破人们对神经网络的成见。的确,1990年代初,约书亚和我一起在AT&T贝尔实验室工作。大约在1995年左右,学界对这些方法的兴趣开始减弱。的确有10年左右的时间,不仅没有人对神经网络感兴趣,人们甚至还在拿它开玩笑。然而,1996年,我的工作有所变化。我仍在AT&T的研究实验室工作,但成为了部门负责人。这是互联网早期,我的团队开始研究一些与机器学习或神经网络没有太大关系的其他事情,比如图像压缩。随着互联网的到来,我们应该有一种扫描现有纸质文件并将其上传到网络上的方法,以便人们可以访问它们。所以,我与长期合作者之一的麦克一起工作了5-6年。约书亚也参与了其中。
当我们基本上都离开AT&T时,该项目结束。之后,我重新开始研究(神经网络)剪枝,杰夫也回到加拿大,之前他在英国呆了一段时间。约书亚、杰夫和我决定在21世纪初合作“重振”学界对神经网络的兴趣,发现新的算法并使其发挥作用。这几乎花了10年的时间,但最终取得了成功。其他的梦想基本上是。。。
AI最近几年发展很快, 但它还远不如人类
Harry:
我会问您一系列不同深度、广度和明显与不明显的问题。请原谅如果有些问题显而易见,我只是想问当我听到您几十年来的历史背景时,今天看到的情况您有何感觉?我们是否处于AI发展的新拐点,或者这只是我们多年来见过的延续?
LeCun:
是这两者的结合。一方面,从研究的角度来看,今天我们看到的许多情况似乎是逻辑的延续,我没有像公众那样被最近的进展所吸引,因为我已经看到这些进展在过去几年中逐渐发生。另一方面,确实有一些事情令人惊讶。
自监督学习方法应用于Transformer架构的效果非常好,远远超出我们的预期。我们可以训练系统理解语言、翻译多种语言,然后继续生成文本或回答问题,这种效果令人惊讶,人们没有完全预料到这仅仅通过使其变大和在更多数据上训练就可以实现。这无疑给每个人带来了惊喜。这场革命发生在两年前。
虽然公众是通过最近推出的产品了解到这一点,但对我们来说,这更像是连续的进化。你会在许多技术进步的营销活动中或AI领域看到这一点,公众会关注其中的轰动性事件,但对许多人来说,这更像是连续的事情。它通常需要许多人采用已经存在的技术,稍稍推进一步,做些工程工作,然后展示一个演示来证明它的有效性。这就是深蓝国际象棋计算机在1990年代中期达成的情况,以及斯坦福大学塞巴斯蒂安·朱恩团队在DARPA大挑战赛中获得的100英里内自驾车的情况。还有AlphaGO、IBM的杰罗尼大战等。从远处看,这些似乎像跳跃,但在这个领域,这更像是一个连续的进化。
Harry:
我可以问您过去一年左右令人惊喜的其他积极发展吗?您说自监督学习和其效率。过去一年里还有其他超出预期的事情吗?
LeCun:
是的,我已经提到,仅仅训练一个 Seq2Seq(序列对序列)的模型来预测序列中最后一个单词,如果做得恰当,您会得到一个功能略微超出预期的系统。随着这些系统变大和在更大的数据上训练,这些(涌现)功能会出现。这无疑给每个人带来了惊喜。
现在,作为研究人员和科学家,我们总是在寻找下一个目标。我现在感兴趣的就是超越这一点。许多人将致力于应用大规模语言模型,这很好。后面将出现许多产品和人们可以做的新事情,这会很棒。但我已经开始对未来三到四年甚至五年的下一个阶段的思考了:在这些系统中缺乏什么?
Harry:
这将您的思考引向何方?
Lecun:
这些系统离人类智力水平还差得远。尽管您可能会这么认为(AI和人类智力差不多),因为这些系统在语言上很流畅;但它们思考、理解世界运作和计划的能力非常有限,它们对世界的理解非常肤浅。原因是它们仅在语言上受过训练,而语言只包含人类所有知识的一小部分。
人类的大部分知识不是语言学的,所有动物的知识也不是语言学的。我们理所当然地认为——这就是波拉尼悖论(人类所知远胜于其所能言传)。我们理所当然的所有能力和技能,比如计划或非常简单的事情,任何10岁的孩子都可以做,比如清理餐桌和装满洗碗机,任何17岁的孩子都可以学习驾驶,但我们没有家用机器人。
Harry:
如果它们不是语言学的,那么大多数——我很抱歉这些基本问题,但是那些我们目前AI模型和引擎无法摄取的知识又是什么?随着时间的推移,它们能否被AI模型和引擎摄取?
Lecun:
好吧,首先,毫无疑问,最终AI系统将以类似于人类的方式理解世界,以更好的方式。但它们不会是像我们现在讨论的那种类型的自动回归大语言模型,它们会有不同的原因很多。
但为了更直接地回答您的问题,任何与现实世界的养分有关的事情都需要对现实世界的体验或模拟版本,这些大语言模型没有,它们纯粹从文本中训练。您可以在那里添加一系列关于物理世界的问题,因为数据中有模板或与之非常相似的东西。同样适用于计划,您可以问他们计划一次旅行或类似的事情,他们会采用训练时学到的模板,但他们实际上没有思维模型来理解世界如何运转和允许他们计划复杂的行动序列或使用工具等。
AI威胁论就是蒙昧主义,监管应该学维基百科
Harry:
我能问一下为什么您说AI研究人员面对灭绝预言时会摇头吗?
LeCun:
这有两个不同的问题,这些概念(“人们为什么会觉得AI不可靠“和“AI到底有没有能力毁灭人类“)有些相互垂直。我的意思是,在当前的自回归模型中确实存在一些问题,即您只能通过两种方式控制他们的答案。
第一种方式是修改训练它们的数据的统计信息,可能使用人工反馈来获得具体的答案;第二种方式是更改提示和问题形式的结合,您问他们的问题的形式,训练数据的统计信息会完全决定系统产生的答案。
首先,它没有持久的记忆。其次,您无法控制系统,无法要求事实性或像让13岁的人可以理解的那样对其施加约束。您可以试图在提示中提到这一点,然后考虑您依赖训练数据的统计信息是否适当做这一点;但没有直接的方法来约束这些系统的答案以满足某些目标,这使得它们很难控制和引导。
这产生了一些担忧,因为人们某种程度上推断,如果我们让他们做任何我们连接到以太网的事情,他们可以随意使用(互联网的资源),他们会做疯狂的事情,愚蠢的事情,可能危险的事情,我们将无法控制他们,他们会逃脱或控制,因为他们更大,所以他们会变得更加聪明。这纯属胡说。
首先,因为这不是我们将授予其自主性的系统类型。最终将被授予自主性的系统应该能够组织一系列行动,那个系统将存在有需要被满足的目标,而因为存在这些目标,它们将易于控制。它们将比当前的系统更易于控制。所以我的预测是,在几年内,任何有理智的人都不会用完全自动性的大语言模型,他们会转向在理性上更复杂和可控制的东西,它可以计划其答案而不是只产生一个接一个的字符序列。好的,这是第一个谬误。
第二个谬误是,不知何故,(人们觉得)控制欲和能力与智力相关。许多人都在说这句话,包括我的朋友杰森最近也说"不知何故,一旦使命变得智能,它就会失控,因为它比我们更聪明,它可以以我们甚至无法想象的方式影响我们。"
我认为这是一个巨大的谬误,因为即使在人类物种内,最聪明的人也不一定想支配其他人。要支配其他实体,您不一定需要比它们更聪明,但您需要支配它们。这不是每个智能实体都会自发做的事情。
我们这样做是因为人类进化中建立了影响他人的欲望,因为我们是社会物种。这同样适用于狒狒、黑猩猩、狼、狗等。对长颈鹿来说不是这样的,长颈鹿没有支配任何人的欲望,因为它们是非社会动物,它们是独居动物,它们实际上是领土性的。
我们需要区分这两个概念:一方面是控制欲望和能力,另一方面是智力。我们将拥有超级国际机器作为我们的工具,这意味着我们每个人都将像一位企业领导者、政治家或一位学者,拥有比自己更聪明的人为他工作。
我的意思是,这很棒, 而不像是您感到被威胁......不是说因为您领导其他比您更聪明的人一起工作,您就不是一个好领导。
Harry:
我能听一下我们如何在模型中培养价值观,使它们没有支配欲望吗?
LeCun:
是的,我刚才跟你说过的目标。好吧,让我描述一下我看到的未来AI系统的架构或未来AI系统。我们将拥有AI系统,基本上它将计划自己的行动,行动可以包括您告诉AI的文字序列。但它们将计划这些行动或文字序列,以优化我们为其设置的一系列目标。
其中一个目标可以是它是否可以回答我刚才问的问题;另一个目标可能是,它是否能把这个答案转化成13岁小孩可以理解的水平。再下一个目标可能是,您知道,当我问它关于这个世界的问题时,他的回答要真实;或者当它谈昨天政治事件的时候,它能否与您今天早上读过的所有新闻报导相兼容。就是这样的事情,对吗?
所以,您将拥有那些系统,它们将有一系列目标,它们的输出,它们的答案,按构造,将必须满足这些目标。其中一些目标将是硬编码的(写进底层程序里的),以使这些系统足够安全,比如如果它是一个能烹饪晚餐并能在其手臂上挥舞厨房刀具的家用机器人,那么里面会有一个条款说不要在周围有人时移动手臂,因为您知道,它可能会伤害他们。这将是系统无法违反的目标,因为按构造,它必须满足它们。这就是构建安全AI系统的方法——使它们产生的答案必须按构造满足目标,您要设计这些目标,使其行为安全。
如何精确地做到这一点不是一个已经被解决了的问题,但您可以尝试在小规模部署,看看效果如何。并在它不起作用时进行纠正,逐步修复它。但这不像如果你犯了错,它就会毁灭人类。
Harry:
这取决于我那个烹饪机器人,您永远不知道。。。
您如何确定谁有能力设置这种目标?它的对错取决于谁去设计它。
LeCun:
说得对。所以这将必须有一个审查过程,我们允许某些人这样做。这和去审查谁可以给您看病,剪头发,修理水管或汽车的资格一样。所以肯定会一些审查过程,当然还有测试和市场部署程序,监管机构或潜在危险的东西,可能不是全部程序,但对许多应用程序来说是必要的,比如医疗保健、运输相关的程序。
然后,也许还可以做的是,让我们以智能助手为例:让我们想象一个未来,每个人都可以与他们的智能助手交谈,该系统将拥有接近人类智力的智力,可能比大多数人具有更丰富的知识。它们可以翻译任何语言,并给您快速总结昨天的报纸,解释数学概念给您,等等。所以人们可能几乎完全使用这个来与数字世界互动。您不会去谷歌或维基百科,您只会与您的助手交谈。
唯一正确做到这一点的方法是, 为这些助理提供基础设施,我的意思是,它们将如此普遍,如此多的东西将依赖于这些系统,我认为没有人会接受这些助手被那些藏在地平线之后的私人公司控制。他们会坚持基础设施开放,他们也会坚持关于如何训练这些系统的审核过程可能像维基百科一样,当一篇文章被修改时,某个编辑会检查它,然后更改会被接受或不被接受,这样的事情。
您可以想象,所有人类知识的公共知识库将是您的助手,将通过某种众包过程构建,也许类似于维基百科。将有许多人训练和调整这些系统,以便您知道,无论它们产生什么,都是正确的。
开源完胜闭源,众人拾材火焰高
Harry:
这么有趣,您说到开放方法与封闭方法相比带来的好处。我有点混乱,价值到底在封闭模型还是开放模型中产生?然后我们有来自谷歌员工的泄密内部备忘录,上面说,“我们不是领先者,OpenAI。还有第三个(潜在竞争者),它实际上更重要, 但我们没有注意到和总结出来。”
LeCun:
这(备忘录)是由我的同事在Fair整理的Llama模型引发的,它的代码是开源的。这一模型很遗憾的只能用于研究和非商业目的,原因基本上是训练数据的法律地位所引发的复杂法律问题,这超出了我的掌控。这并非是因为Meta缺乏开源的愿望,而是因为超出我理解范围的复杂法律问题。
Harry:
我可能太天真了,为什么开放会胜过更受控制的、资金雄厚的OpenAI或其他大型企业及其严谨但精简的团队?
LeCun:
这很简单,因为像Meta这样的组织没有独占好主意的垄断权。
如果采取开放方式,你基本上可以吸引全世界的智慧来为事物做出贡献和提供想法。您知道,一家拥有400人的公司几乎不可能考虑这些事情,甚至一家拥有50,000名员工的大公司可能也不愿意投入太多资源,因为他们可能不认为这在长期内有用,或者他们有更紧迫的事情要处理。
所以你把它交出去,然后你就有成吨成吨的人,有些人是本科生,有些人住在父母的地下室,他们会想出你永远不会想到的或不愿意花时间去解决的惊人想法,例如让70亿参数的llama模型在Mac笔记本电脑上运行。这真的很惊人。
所以我认为这就是开源项目得以成功的原因,特别是当它们涉及基础设施时。举个例子,互联网的早期,微软和Sun Microsystems为互联网提供基础设施而展开了竞争,比如操作系统、Web服务器等。在Sun方面,它有Solaris操作系统和Java语言等。在微软方面,它有Windows操作系统、IIS Web服务器和ASP程序。
结果,两家公司都输了。实际上,Sun几乎破产,被甲骨文收购。Linux和Apache完全开源,你可能会问,为什么整个互联网和技术行业都运行在Linux上?你的手机如果是Android系统,很可能也运行在Linux上,全世界约有四分之三的手机是这样的。原因是开源方式能更好地聚集志同道合的人才完成共同项目,即使动机不一定是营利。
Harry:
我同意你的观点。我喜欢你和David Marcus的对话。我的问题是Meta如何获胜?
LeCun:
事实上,Meta过去开源了它研发的几乎所有基础设施。例如,React用于Web和移动应用开发框架,PyTorch用于AI研发基础设施,现在PyTorch甚至不再属于Meta,所有权已转让给Linux基金会。ChatGPT就是基于PyTorch开发的。OpenAI也运行在PyTorch上。事实上,除谷歌外,全世界都运行在PyTorch上,因为谷歌有自己的系统。
Meta不仅开源这些,还开源了其服务器背板设计,以便硬件制造商可以根据其规范来制造。除了偶尔因最近的法律或政策决定而产生的法律问题外,Meta开源了几乎所有的内容。其他人可以使用你的技术,但你不能以同样的程度利用它。除Facebook外,谁能使用智能NLP系统进行翻译或内容审核?其他人有同样的技术并不重要。
模型大小不重要,能够设定子目标才是下一代AI核心
Harry:
我完全同意你的观点。这也引出我的下一个问题,你实际上也在Twitter上提到过,就是数据规模和数据可用性的问题。模型规模就是万能的吗?你如何看待小模型的价值?
LeCun:
不,不是模型规模就是万能的。Llama证明并向人们展示了这一点。Llama背后的人,特别是Édouard和他在巴黎的合作伙伴,证明你不需要非常大的模型就可以工作得很好。
我认为这为许多人带来了一定的启示,让他们意识到,也许你需要上千个GPU运行几周时间来训练基本系统,但训练完成后,你可以将其用于各种用途,并且很容易进行微调。最终,你可以在笔记本电脑上运行它,这真是太神奇了。或者在装有一两个GPU的台式机上运行它。我认为,它在某种程度上开启了人们的视野,让他们意识到之前认为不可能的巨大机遇。我认为这将带来更多进步,如果我们朝着我之前描述的人工智能系统设计方向前进,也许会稍微小一些。
Harry:
为什么会更小?请详细说明。
LeCun:
当前的模型需要海量的数据进行训练,远远超过任何人接受过的训练。例如,Llama模型训练的数据量高达140亿个标记,相当于互联网的四分之一,要花8小时每天正常速度阅读,需要22,000年。显然,这些系统可以从文本中积累大量知识,但我们不需要那么长时间就可以如此聪明和学习这么多。
我们的大脑在学习如驾驶汽车这种事情上远远高效于这些模型。一个青少年只需要约20小时的练习就可以学会驾驶,但我们仍没有达到五级自动驾驶汽车。显然,我们还缺少重要的东西。
我认为,人工智能系统学习的能力缺失的是通过观察学习世界运作的方式,然后是制定目标的能力来达成目标的能力。超越当前,还需要设定子目标来达成更大目标的能力,这被称为层次化规划。
人类有此能力,许多哺乳动物和鸟类也有一定程度的规划能力,或者只有非常简单的规划。
Meta打算怎么赢:开源;Meta过去为啥输:要脸
Harry:
你提到实际上较小的模型比预期的更有效率,模型规模并非万能。我们还谈到开放和封闭,我采访了许多领先的人工智能专家,他们说价值会流向现有企业,初创公司没有数据和模型,价值将流向现有企业。这是正确的吗?鉴于你刚才说的模型规模并非万能,初创公司也有可能获利,对吗?
LeCun:
取决于你相信哪种情景。我认为会发生并期待的情景是我之前描述的,有某种开放平台用于基本的语言模型。基本语言模型本质上被视为基础设施,如TCP、Linux和Apache。完全开源。
然后,将有一堆企业在此之上构建产品,用于垂直应用和特定用途。为这些系统定制,为企业应用和个人用途提供支持等。这将产生全新经济和就业机会,而不是使其消失。
我认为这种情景会发生,原因是这些系统本质上需要数百万人的贡献来使其准确和正确等,这种维基百科风格的方式。我认为专有(闭源)方法实际上会落后。
其次,你可以问自己这样一个问题:哪些公司最有条件产生ChatGPT这样的东西,显然是谷歌和Meta,但为什么是OpenAI?OpenAI当时只有400多人,现在更多,但实际上规模更小。原因不是因为谷歌或Meta没有能力或技术,而是因为当这些产品会带来很大风险的情况下,他们没有生产全新产品的压力。
我们知道风险在哪里,因为在ChatGPT面世几周前,Meta旗下的Fair推出了Galactica模型,这是一个实验系统,他们推出了演示,以证明Galactica是一个大型生成模型。训练于整个科学文献,其目的是帮助科学家写论文。你开始写一个段落或其他内容来描述段落的主题,然后Galactica会完成该段落,它不会完全正确,你需要修正它,但它可以根据你所在的主题,在文献中已知结果的基础上构建表格结果或完成化学公式等。这对科学家非常有用。
但演示一推出,Twitter上就有人痛斥该系统,说这会破坏科学出版,因为任何人都可以写出似乎权威的科学论文,但实际上毫无意义。该系统受到如此强烈谴责,建立该系统的人无法承受,取消了演示,说他们无法安然入睡。
这里是一个非常有用的系统示例,一个本可以极其有用的系统,特别是对非英语母语的科学论文作者,但基本上被AI悲观主义者摧毁,他们没有做风险和收益分析。文献被无意义内容淹没的风险太可笑了,因为论文需要评审等,它没有明显危险。
两周后,ChatGPT问世,被视为救世主降临。几个月后,谷歌推出了Bart,在演示中,Bart对某个天文事实做出了小错误,导致谷歌股票下跌8%。这说明,当大公司推出某件事,特别是那些有声誉要维护的公司,他们不可以推出看似无意义的东西,但对小公司来说却可以接受。
这就是现状,这就是为什么我认为存在一定的悖论,那就是拥有最佳技术的公司基本上可能难以推出新技术,这是因为法律问题和公共形象问题。
Harry:
你不也认为这里存在一个很酷的商业模式挑战吗?
这就是典型的创新者困境。为什么谷歌不这样做?因为这会杀死谷歌广告这个绝对的现金奶牛。服务一个搜索查询的成本与此相比差异巨大,与保留一个很好的业务相比,你会杀死这个现金奶牛业务,而且收益未知。
LeCun:
你别无选择。
毫无疑问,在一段时间内,我们可以采取措施,这可能需要很长时间,但毫无疑问,人们与数字世界的交互将会主要通过人工智能助手完成。他们可能会嵌入你的增强现实眼镜,或者类似的东西,就像斯派克·琼斯的电影《她》中的情景,这不是一个不错的未来发展预测。
所以,如果你假设这将发生,你必须尽快建立它。它可能会使你的新闻推荐算法失效,或者由于谷歌搜索引擎而失效,但你必须这样做。
Meta过去被称为作出这种选择,例如移动业务的转变,短视频业务的转变,例如TikTok在这方面非常成功。尽管从中获得的收入低于传统的新闻推送,因为视频广告难以投放。
AI带来失业?至少等十年
Harry:
你提到了创造就业的元素,我想补充一点就业方面,这是典型的人工智能末日论,我们都将失业,实施全民基本收入。
在一个乐观的世界,你提到人工智能会创造就业,我们没听说过人工智能创造就业。你认为这个新生态系统会创造什么工作?就业前景会是什么样子?
LeCun:
大约100年前,或者120年前,世界上大多数人从事农业生产。发达国家的人口中,现在从事农业生产的仅为1-2%。这导致人口流入城市,服务业发展。20-30年前,制造业自动化引起了大规模失业。许多制造业工作机会消失,但被其他工作替代。20年前,谁会想到播客可以生存?
Harry:
5年前,我也不这么认为。
LeCun:
许多工作出现了,30年前没有网页设计师这个职业,现在几乎所有工程师都从事这个工作。
我接触的许多经济学家都告诉我,我们不会失业,因为人工智能不会取代我们所有人。因为没有经济学家相信AI会解决人类创造力和交流的需求。这将产生与消失的工作一样多的工作。这些工作将更高效,其他条件相同,同样的工作时间可以产生更多财富。
但是,除非伴随政治和社会变革,否则每次技术革命通常都会暂时使少数人获益。19世纪后期的工业革命使少数人极富裕,许多人受到剥削。然后,社会发生变化,实施社会计划,收入税,对富人征收高税,但美国取消了这些,欧洲和英国没有。
问题在于如何分配财富,如何组织社会使每个人都能从中获益。这是一个政治问题,不是技术问题,也不是人工智能造成的新问题,而是技术进化造成的。这不是最近的现象。
Harry:
这听起来不太公平,但这些工作是什么样子的?它们富有创造性,但这到底意味着什么?我知道这是一个非常难的问题,但我只是试图理解我们实际上如何度过时间,我的孩子将来会做什么?比如雕塑或绘画?
LeCun:
我不知道,这是一个好问题,但这不意味着将来不会发生。因为看看今天有多少人运用创造力,这些工具10-20年前或30年前不可用,比如3D艺术家或游戏设计师等等。我认为,创意工作和其他工作有光明的未来,创意工作无论在科学、技术、教育或艺术方面,都与交流密切相关,与人类情感的交流密切相关,这在本质上是人性的。
另一类是个人服务,你需要真实的人与你互动。
Harry:
我完全同意,我们拭目以待。我唯一担心的是过渡速度。当你看过去的工业革命,甚至是个人电脑进入工作环境,这需要几十年的过渡。坦率地说,某些行业今天的人工智能感觉像是高速过渡,这将导致短期高失业率。你认为如此吗?
LeCun:
我曾经非常担心技术进步速度会让某些人落后,他们无法足够快地接受再培训,或者太老而无法重新培训适应新世界。我谈过许多经济学家,他们说不会真的如此,因为技术在经济中的传播速度实际上受限于人们掌握新技术的速度。斯坦福的埃里克·布罗宁是谈论这个话题的好人选。他说,当引入新技术时,例如上世纪90年代中期的个人电脑,图形用户界面,鼠标等,要花多长时间才会对生产力产生可测量的影响?通常是15-20年,原因是人们基本上需要这么长时间来学习使用新技术。
Harry:
但是,人们对提示相当熟练,社交媒体内容管理员可以高效地使用提示在半小时内产生内容计划和内容创意。
LeCun:
但是这将如何影响生产力,就业市场?它会立即使人们失业吗?不,这需要一段时间,大约10-15年,可能更长,这取决于你从何时开始计算。人工智能革命可能开始于10年前,所以如果从那时开始计算,可能还需要10年。我不认为你应低估商界的保守性。事情的变化并不会那么快。如果那么易学,人们会学习它,然后创造新的职业,或者自己更高效。
Harry:
你为什么觉得我们热衷于末日论?我喜欢你的方法和心态,并同意,但为什么我们似乎被“我们都将失业”和末日论吸引?
LeCun:
我认为有几个原因。显然,我们天生关注可能危及我们的事物,因为这意味着世界有我们不完全理解的方面,我们必须注意并小心。
例如,向5个月大的婴儿展示一个小车从平台上推下去的场景,车子似乎漂浮在空中,5个月大的婴儿几乎不会注意;但10个月大的婴儿会睁大眼睛盯着它很长时间,想知道发生了什么。同时,6-9个月大的婴儿了解了重力,知道没有支撑的物体应该下落。他们看到似乎漂浮在空中的物体,会说:“世界上有我不理解的方面,我需要研究它。”
我们天生如此,因为这是我们学习世界模型的方式,这使我们可以预测会发生什么,规划行动,这就是智力的基础,预测能力。所以,我们自然会注意令人惊讶或危险的事物,这就是为什么你会说服自己不要点击某些网站底部引人注目的新闻。
AI三巨头的朋友圈和杨立昆在Meta胡说的特权
Harry:
我可以问你几个更直接的问题吗?我太感兴趣了,如果需要,我们可以删除它们。
嗯,当你听说杰夫很明显采取了他这样的行动(指退出谷歌,发表警告)时,你对他说了什么?我相信你跟他进行了交谈,你对他说了什么?
LeCun:
我们实际上还没有谈过。我们将进行谈话,以便相互了解对此的看法。我不认为他知道我的看法,因为我不认为他关注了我在推特上发布的内容,尽管他自己也在推特上。所以我认为我们需要讨论。
我以前和约书亚•本吉奥讨论过这个话题,但没有和杰夫讨论过。对我来说,他离开谷歌这一事实并不特别让人惊讶。我认为不让人惊讶的是,他离开谷歌就可以畅所欲言。
我有非常不同的看法,我会说任何我想说的话。我不受传媒部或其他部门严格控制。我只是说我的真实想法。
Harry:
但是你是如何得到这个权限的?认真地,我的许多朋友在Meta高层工作,你也知道我们有共同的朋友,他们没有那个权限。
LeCun:
我的确处于一个相当特殊的位置,因为我有相当多的粉丝,他们相信我或想听我说的话,即使他们根本不相信我。同时,我不是高管,所以我不会像高管那样有法律问题或财务问题而无法说某些话。
我是副总裁,但是我的职位低于必须非常非常小心和控制信息的那个级别。这里存在利弊权衡,人工智能是一个复杂的快速发展的问题,你基本上需要有人可以自由发言。我认为杰夫觉得在谷歌没有这个选项,可能有各种原因。所以我理解为什么他可能想离开,但我并不完全同意他关于人类灭绝的优先顺序或其他方面的看法。
Harry:
在Meta 的角色是否限制了你的公正性?
LeCun:
我不这么认为。我的意思是,我在社交媒体上发布的某些内容会抨击我的同事们的工作,这是显而易见的,因为我了解这项工作,他们是朋友和同事,我认为这很有意思,可能是因为我一直关注这方面的合作伙伴。对这类事情,我可能存在偏见,要以极小心谨慎的态度对待,你不必相信我。但这也让我了解了事物是如何构建的,存在什么问题。
例如,有一个非常普遍的叙述,人工智能是社交网络许多负面效应的罪魁祸首。事实上,这完全是倒错的,人工智能是解决这些问题的解决方案。
让我告诉你,回到12年前或更早,甚至在我加入Meta之前,Meta开始试验新闻推送,新闻推送是一种算法,它会选择要向每个人展示的新闻片段。最初,它的决定是基于你与发布帖子的人的关系有多密切以及你与该人的互动次数等。
后来,在我加入Meta之前不久,在其中加入了一些机器学习,当时是最简单的方法,比如logistic回归,以及大量的工程和手工修补和特殊情况。基本上,它是logistic回归,一些大的向量描述了你单击的次数,你花在特定内容上的时间等等。然后,它会给所有内容打分。
这被部署后,人们花更多时间在Facebook上,但它也产生了像信息泡沫和政治话语中的问题,以及人们倾向于单击更加离谱的内容。
我们意识到了这些。Facebook当时有大组研究这些效应,并进行了纠正。
这就是使这些系统工作的方式,你尝试小规模,看看效果如何,如果有副作用,你就纠正它,然后比较两个系统,有时会发生意外,你必须全部撤回并完全改变做事方式。
这是在2016年美国总统选举后发生的,2017年主要的使用算法被完全改变,没有任何点击诱惑,没有任何可以推动宣传内容的新闻媒体,更大力度删除假账号和破坏民主体制的企图等,我们纠正了它, 过去几年AI的进展是系统部署,以便可以从上百个不同的语言中去除仇恨言论和保证真实性,这是之前无法做到的。
马斯克的AI威胁论就是科幻小说看多了
Harry:
我最后一个问题,然后我们会进行快速问答。
伊隆•马斯克和塔可•卡尔森说,人工智能的麻烦在于一旦发布就无法纠正,与所有先前的技术进步不同,它一旦发布就太强大了,无法将其收回箱子,无法以那种方式修正。这不是真的吗?
LeCun:
这不是真的,这完全是错误的。它做出了一个假设,伊隆和其他一些人可能通过阅读尼克•博斯特罗姆的《超级智能》或阅读伊莱亚斯或尤科夫斯基的著作而确信的一个假设。这假定存在硬起飞。也就是说,一旦开启超级智能AI系统,它就会接管世界,摆脱你的控制,使自己更加智能,世界将被毁灭。
这简直荒谬,完全荒谬,因为现实世界中没有这样的过程。这不会持续很长时间,你知道,这些系统将不得不招募世界上的所有资源,它们需要获得无限的权力和代理,为什么我们要这么做?
更重要的是,它们必须建立在渴望掌控的基础上。系统不会仅仅因为它们很智能就接管一切,再次,即使在人类种群中,也不是我们中最聪明的人想支配别人。
Harry:
他和许多其他(意见)领袖渴望防止任何进一步发展和现在就管制人工智能是胡说八道。
LeCun:
这是愚昧主义。
这就像那些想停止印刷机和印刷书籍传播的人,因为如果人们能自己读圣经,就不必再和牧师说话,然后会有自己对宗教的看法。这正是后来发生的事。人们自己读圣经,这引发了欧洲的新教运动,并引发了200年的宗教冲突,但它也带来了启蒙运动,科学理性主义,民主理念的哲学,然后是法国大革命和美国独立战争。
你可以把这些比作奥斯曼帝国,由于想控制自己的人口,基本上禁止使用印刷机,从而开始了300年的衰退。他们在中世纪统治着科学,穆斯林世界,这就是为什么天空中的每颗星星都有阿拉伯名字。
Harry:
我喜欢你说的这些。我现在要与你进行快速提问。我说一句短语,你给出您的直接看法,然后我们开始聊天,听起来怎么样?
LeCun:
听起来不错。
全球AI发展大考察:欧洲不给钱,中国爱造假
Harry:
哪个地区最需要改变其模式方法进行科学研究和激励机制实践?
LeCun:
哪个地区?
噢,恐怕每个地区都有不同的原因。你看,中国有一定的“不良科学流行病”,中国有很多非常聪明的人,许多非常优秀的研究人员,许多来自中国的非常优秀工作,特别是在人工智能和计算机视觉方面,但也有大量绝对糟糕的工作,在初版后必须在几个月后撤回。部分原因在于中国学术和体制中的激励机制。这很重要。
我可以转到欧洲。在欧洲,有好的方面。欧洲的本科教育系统非常好,因为它部分免费,所以即使他们不是富人,也允许有天赋的人上学,这在美国不是这样,至少不是同样的程度。这对欧洲有好处。这是许多欧洲工程师和科学家在世界上很优秀的原因。但那些想从事科学研究的人有什么机会?大多数欧洲国家实际上没有真正鼓励这一点和激励最有天赋的人和学生从事科学研究的体制。其中一些人去了北美。像我,35年前来了。
现在一些研究实验室,如巴黎的Facebook AI实验室或谷歌在巴黎也有实验室,提供了机会。我弟弟在巴黎的谷歌工作。所以,这给那些真正想要富有成效,但在法国和欧洲其他国家的公共研究和学术体制中找不到机会的人提供了机会。
欧洲仅有的能与美国相媲美的国家在学术或科学家工作质量方面是瑞士。
Harry:
你认为他们能与之竞争的原因是什么?这与他们的激励机制结构有关,这给他们带来这种能力。
LeCun:
有两点(潜在的可能):他们给人支付更好的报酬。第二点是,他们给他们提供研究资源,他们可以通过补助金和类似的方式获得额外资源,效果很好。然后,(通过这些措施)他们也吸引了一些世界各地的学生。你就得到了只有在北美的前30所大学所能得到的理想人才组合。
Harry:
我们有中国,有欧洲,美国又如何?他们可以做些什么不同或改进的地方?
LeCun:
美国也在研究方面做得很对,这在很大程度上部分解释了美国技术产业,特别是科技产业的成功。我认为,部分原因是美国投入大量资源进行基础研究,如NSF,NIH和各种其他机构,可能比欧洲大学支付给他们的教职员工更多。特别是在计算机科学和人工智能领域。
这也有缺点。缺点是在美国学习费用高昂。这是一个权衡。瑞士找出办法如何向学者支付相当丰厚的报酬,同时实际上向学生提供免费教育。加拿大也找出了一个相当不错的权衡。
美国做得对的其他方面是,美国体系或类似机构愿意承担风险,投资于似乎有点疯狂的想法,但基本上这是硅谷和美国其他地方如纽约和波士顿活跃的创业环境的一部分,美国现在正在领导世界。
现在,你开始在欧洲看到类似的情况,例如,在法国巴黎地区和法国更广泛地区的科技初创公司出现了巨大增长。欧洲大陆和英国也是如此。我认为这是一件好事,但在欧洲获得投资资金仍然比在美国更困难。
这就是我来这里的原因。
结束语
Harry:
很高兴提供帮助。(笑)
最后一个问题,当你思考最希望听众带走的内容时,会是什么?当他们听到这段话时,你希望他们带走的第一件事是什么?
LeCun:
人工智能将为人类带来一场新文艺复兴,一种新形式的启蒙,因为人工智能将放大每个人的智力。
对每一个人来说,这就像有一群比我们更聪明的人知道大多数事物和大多数话题。它将赋予我们每个人创造力,因为我们能够在不一定需要目前所需技能的情况下产生文本,艺术,音乐和视频。
这是积极的一面,无可置疑存在风险,但不像那些声称这些风险是不可避免的或必然导致灾难的人所说的那样。把自己放在1920年,谁会想到仅50年后,你可以安全快速穿越大西洋,近乎音速?人们真的想禁止航空或要求在喷气发动机存在之前管制喷气发动机吗?
我的意思是这有点疯狂。所以,我不反对监管,人工智能产品应该受到监管,特别是那些涉及为人们做出关键决定的产品,但监管或减缓研究完全无稽之谈,这只是愚昧主义。
Harry:
当你看到亚马逊、Facebook和谷歌时,你最尊敬和钦佩的现有团队在内部和外部采取哪种方法和人才?
LeCun:
这正在发生很大变化,变化的原因是许多人离开大公司和大实验室。之所以这样做,是因为直到最近,许多人工智能研究实际上是探索性的,现在许多事情都有商业化的道路,所以人们认为自己更好地离开大公司自行解决,做自己的初创公司等等。
所以,你看到定期大规模运动的应用研究工程师,一些科学家基本上离开这些实验室去创业,这在各个领域都是这样的。
所以,你看谷歌最初关于Bert或Transformers的论文,这件事改变了NLP,他们都离开了,都去创业了。Meta开源的Llama的一些人也已经离开,去创业了。是的,有一个叫Mistral的公司,是的,在这个领域有大量资金。所以,祝他们好运,但我很遗憾他们必须这样做。
Harry:
但是现有的团队呢, 恩,他们也很棒。
LeCun:
但我认为,就基本能力而言,以及将推进科学的人来说,我们现在需要的不是研究LLM的应用。有许多人有能力这么做,他们会做得很好。
我们需要做的,像我这样重新研究的人,是提出新的概念,让我们拥有有基本常识,对真实世界有体验,基本上达到人类智力水平的机器。在我看来,最适合做出这一点的玩家,就是和谷歌大脑合并之后新的DeepMind部门。那里有许多人对这个问题感兴趣,我认为他们可能是最好的,与Meta和Facebook AI一起,是真正产生影响的最佳位置,所有人都在相当长一段时间内一直在致力于此。
Harry:
如果我们在10年后,也就是2033年,重新进行一次采访,Yann你会在哪里?
LeCun:
那时我63岁,所以从现在开始的10年或12年后,我会很老。
我不知道,我现在像青少年一样激动,因为我看到人工智能的下一步和机会,也许能达到我很多年前开始研究人工智能时为自己设定的目标。当然,当时我很天真对理解智能(抱有热情),这首先是科学问题,什么是智能,什么是人类智慧。
作为一名工程师,理解智能的好方法是构建一个实际上在某种程度上重现它的小部件。
我现在对此很兴奋。我会找到最好的贡献方式,目前这正好是在Facebook AI。我在学术界保持一定的联系,因为我认为这非常互补,也很重要,在学术界和产业界开展不同类型的项目是互补的。我喜欢这两者的结合,只要我的大脑继续运转,我认为我可以做出贡献,而且我有机会做出贡献,我会继续工作。然后,在某个时候,我的大脑会变成白色酱汁,或者我完全不在状态,我会停下来。
Harry:
我想亲自谢谢你,我相信我代表许多人说。
我们从你的公开演讲和论述中学到了那么多,你愿意开放地演讲,很少有人像你这样开放地演讲。谢谢你教育了我们这么多人,谢谢你今天加入我。
LeCun:
非常感谢你,Harry,这真的很有趣。谢谢你邀请我。