解释：生成式 AI的工作机制与差异

像 ChatGPT 这样强大的生成式 AI 系统是如何工作的，它们与其他类型的人工智能有何不同？

快速浏览一下头条新闻，就会发现生成式人工智能如今无处不在。事实上，其中一些标题实际上可能是由生成式人工智能撰写的，例如 OpenAI 的 ChatGPT，这是一种聊天机器人，它展示了一种不可思议的能力，可以生成似乎是由人类编写的文本。

但是，当人们说“生成式人工智能”时，他们到底是什么意思？

在过去几年的生成式人工智能热潮之前，当人们谈论人工智能时，他们通常谈论的是机器学习模型，这些模型可以学习根据数据进行预测。例如，使用数百万个示例对此类模型进行训练，以预测某种X射线是否显示出肿瘤的迹象，或者特定借款人是否可能拖欠贷款。

生成式 AI 可以被认为是一种机器学习模型，经过训练可以创建新数据，而不是对特定数据集进行预测。生成式 AI 系统是一种学习生成更多对象的系统，这些对象看起来像它所训练的数据。

“当涉及到生成式人工智能和其他类型的人工智能背后的实际机制时，区别可能有点模糊。通常，相同的算法可以用于两者，“麻省理工学院电气工程和计算机科学副教授、计算机科学和人工智能实验室（CSAIL）成员Phillip Isola说。

尽管 ChatGPT 及其同类产品的发布带来了炒作，但该技术本身并不是全新的。这些强大的机器学习模型借鉴了 50 多年前的研究和计算进步。

复杂性增加

生成式人工智能的一个早期例子是一个更简单的模型，称为马尔可夫链。该技术以俄罗斯数学家安德烈·马尔科夫（Andrey Markov）的名字命名，他在1906年引入了这种统计方法来模拟随机过程的行为。在机器学习中，马尔可夫模型长期以来一直被用于下一个单词的预测任务，例如电子邮件程序中的自动完成功能。

在文本预测中，马尔可夫模型通过查看前一个单词或几个前一个单词来生成句子中的下一个单词。但是，由于这些简单的模型只能回顾那么远，它们不擅长生成合理的文本，麻省理工学院电气工程和计算机科学的Thomas Siebel教授Tommi Jaakkola说，他也是CSAIL和数据，系统和社会研究所（IDSS）的成员。

“我们在过去十年之前就开始生成东西，但这里的主要区别在于我们可以生成的对象的复杂性以及我们可以训练这些模型的规模，”他解释道。

就在几年前，研究人员倾向于专注于寻找一种能够充分利用特定数据集的机器学习算法。但这种关注点已经发生了一些变化，许多研究人员现在正在使用更大的数据集，可能有数亿甚至数十亿个数据点，来训练能够取得令人印象深刻的结果的模型。

ChatGPT 和类似系统的基础模型的工作方式与马尔可夫模型大致相同。但一个很大的区别是，ChatGPT 更大、更复杂，有数十亿个参数。它已经在大量数据上进行了训练——在这种情况下，互联网上的大部分公开文本。

在这个庞大的文本语料库中，单词和句子以具有某些依赖关系的顺序出现。这种重复性有助于模型了解如何将文本切割为具有一定可预测性的统计块。它学习这些文本块的模式，并利用这些知识提出接下来可能发生的事情。

更强大的架构

虽然更大的数据集是导致生成式人工智能热潮的催化剂之一，但各种重大研究进展也导致了更复杂的深度学习架构。

2014 年，蒙特利尔大学的研究人员提出了一种称为生成对抗网络 （GAN） 的机器学习架构。GAN使用两个协同工作的模型：一个学习生成目标输出（如图像），另一个学习从生成器的输出中区分真实数据。生成器试图欺骗鉴别器，并在此过程中学会做出更真实的输出。图像生成器 StyleGAN 基于这些类型的模型。

一年后，斯坦福大学和加州大学伯克利分校的研究人员引入了Diffusion模型。通过迭代优化其输出，这些模型可以学习生成类似于训练数据集中样本的新数据样本，并已用于创建逼真的图像。Stable Diffusion模型是文本到图像生成系统稳定扩散的核心。

2017 年，谷歌的研究人员推出了 transformer 架构，该架构已被用于开发大型语言模型，例如为 ChatGPT 提供支持的模型。在自然语言处理中，转换器将文本语料库中的每个单词编码为标记，然后生成注意力图，该图捕获每个标记与所有其他标记的关系。此注意力图可帮助转换器在生成新文本时理解上下文。

这些只是可用于生成式 AI 的众多方法中的一小部分。

应用范围广泛

所有这些方法的共同点是，它们将输入转换为一组标记，这些标记是数据块的数字表示。只要你的数据可以转换为这种标准的令牌格式，那么理论上，你可以应用这些方法来生成看起来相似的新数据。

“你的里程可能会有所不同，这取决于你的数据有多嘈杂，以及信号提取的难度，但它确实越来越接近通用CPU可以接收任何类型的数据并开始以统一的方式处理它的方式，”Isola说。

这为生成式人工智能开辟了大量的应用。

例如，Isola的团队正在使用生成式人工智能来创建合成图像数据，这些数据可用于训练另一个智能系统，例如通过教计算机视觉模型如何识别物体。

Jaakkola的团队正在使用生成式人工智能来设计新的蛋白质结构或有效的晶体结构，以指定新材料。他解释说，就像生成模型学习语言的依赖关系一样，如果它显示的是晶体结构，它就可以学习使结构稳定和可实现的关系。

但是，虽然生成模型可以取得令人难以置信的结果，但它们并不是所有类型数据的最佳选择。对于涉及对结构化数据进行预测的任务，例如电子表格中的表格数据，生成式AI模型往往优于传统的机器学习方法，麻省理工学院电气工程和计算机科学的Andrew和Erna Viterbi教授Devavrat Shah说，IDSS和信息与决策系统实验室的成员。

“在我看来，它们的最高价值是成为人类友好机器的绝佳接口。以前，人类必须用机器的语言与机器交谈才能使事情发生。现在，这个界面已经弄清楚了如何与人类和机器交谈，“Shah说。

危险的信号

生成式人工智能聊天机器人现在被用于呼叫中心，以回答人类客户的问题，但这个应用程序强调了实施这些模型的一个潜在危险信号——工人流离失所。

此外，生成式人工智能可以继承和扩散训练数据中存在的偏见，或放大仇恨言论和虚假陈述。这些模型具有剽窃能力，并且可以生成看起来像是由特定人类创作者制作的内容，从而引发潜在的版权问题。

另一方面，Shah提出，生成式人工智能可以赋予艺术家权力，他们可以使用生成工具来帮助他们制作创意内容，否则他们可能没有办法制作。

在未来，他认为生成式人工智能将改变许多学科的经济状况。

Isola认为生成式人工智能的一个有前途的未来方向是将其用于制造。与其让模型制作椅子的图像，不如为可以生产的椅子生成一个计划。

他还认为，生成式人工智能系统未来将用于开发更通用的智能人工智能代理。

“这些模型的工作方式以及我们认为人脑的工作方式存在差异，但我认为也有相似之处。我们有能力在脑海中思考和梦想，提出有趣的想法或计划，我认为生成式人工智能也是使代理能够做到这一点的工具之一，“Isola说。