人工智能写作程序将如何开始一篇关于人工智能写作未来的文章？好吧，有一个简单的方法可以找到答案：我使用了这些工具中最着名的OpenAI的GPT-3来为我完成这项工作。

使用 GPT-3 非常简单。你有一个文本框可以输入到，侧面有一个菜单来调整参数，比如响应的“温度”（本质上等同于随机性）。您键入，按回车键，GPT-3就会完成您所写的内容，无论是诗歌，小说还是代码。我尝试输入一个简单的标题和关于这个主题的几句话，GPT-3开始填写细节。它告诉我，人工智能使用“一系列类似自动完成的程序来学习语言”，这些程序分析“语言的统计属性”，以“根据你之前输入的单词进行有根据的猜测”。

到目前为止，一切都很好，我想。我再次点击了enter，该程序引用了谷歌人工智能主管杰夫·迪恩（Jeff Dean）的话，然后引用了1960年代的一个实验性软件，然后承诺“人工智能革命”即将到来，这将在科学、技术和医学领域获得巨大的回报。

媒介包括合理的捏造;无尽的输出;而且，至关重要的是，有机会回应机器人作家

好吧，我想。然后我想了一会儿，做了一些谷歌搜索。我很快发现迪恩的话是编造的，实验软件从未存在过，虽然“人工智能革命”的承诺很好，但它与炒作的新闻稿中发现的模糊废话没有任何不同。实际上，人工智能未来最能揭示的不是GPT-3说了什么，而是它是如何说的。正如马歇尔·麦克卢汉（Marshall McLuhan）多年前指出的那样，媒介就是信息。在这里，媒介包括合理的捏造;无尽的输出;而且，至关重要的是，这是一个回应机器人作家的机会。

如果我们展望未来10年的人工智能发展，试图预测我们将如何与日益智能的软件进行交互，那么考虑那些可以回话的工具会有所帮助。AI书写模型可能只是数字鹦鹉，能够在不理解意义的情况下复制形式，但它们依旧与用户进行对话。这是人工智能系统引入时经常缺少的东西，比如面部识别算法（强加给我们）或自动驾驶汽车（公众成为危险实验中的测试对象）。使用AI编写工具，可以进行对话。

如果您使用Gmail或Google Docs，那么您可能已经遇到过这项技术。在谷歌的产品中，人工智能编辑潜伏在光标前的空白处，表现出文本幽灵，建议如何完成一个句子或回复一封电子邮件。通常，他们的提示只是简单的陈词滥调 - “谢谢！”，“好主意！”，“让我们下周谈谈！”-但有时这些工具似乎采取了更强大的编辑路线，将你的反应推向某个方向。当然，这些建议是有帮助的，但它们似乎经常引起烦恼，就像感激一样。

要了解AI系统如何学习生成此类建议，想象一下给定两个单词列表。一个从“鸡蛋，面粉，铲子”开始，另一个从“油漆，蜡笔，剪刀”开始。如果您必须将“牛奶”和“闪光”项目添加到这些列表中，您会选择哪一个，并且有多大的信心？如果这个词是“刷子”呢？这是否属于厨房，在那里它可能使用蛋洗，还是更牢固地位于艺术和手工艺品的世界中？量化这种背景是人工智能写作工具如何学会提出建议。他们挖掘大量的文本数据来创建单词之间关系的统计映射，并使用这些信息来完成你写的内容。当你开始打字时，他们开始预测接下来应该出现哪些单词。

他们真正理解语言的能力是一个热门辩论的话题，但他们的跨流派的流利程度是不可否认的。

Gmail的智能回复等功能只是这些系统（通常称为大型语言模型）如何进入书面世界的最明显例子。专为陪伴而设计的AI聊天机器人越来越受欢迎，其中一些，如微软的中国小冰，吸引了数千万用户。使用AI地牢大师选择自己的冒险风格的文本游戏通过让人们与计算机协作讲故事来吸引用户。许多初创公司提供多用途的AI文本工具，这些工具可以总结，改写，扩展和改变用户的不同程度的能力输入。他们可以帮助您撰写小说或学校论文，他们的创作者说，或者他们可能只是用无休止的垃圾邮件填充网络。

底层软件实际理解语言的能力是一个热门的话题。（一个倾向于一次又一次地到达同一个问题：我们所说的“理解”到底是什么意思？但他们在各种流派中的流畅性是不可否认的。对于那些迷恋这项技术的人来说，规模是他们成功的关键。正是通过使这些模型及其训练数据越来越大，它们才能够如此迅速地改进。以用于创建 GPT-3 的训练数据为例。输入的确切大小很难计算，但一项估计表明，整个英语维基百科（39亿字和超过600万篇文章）仅占总数的0.6%。

依靠规模来构建这些系统既有好处也有弊。从工程角度来看，它可以快速提高质量：只需添加更多数据和计算即可获得快速奖励。大型语言模型的大小通常以它们的连接数或参数来衡量，并且通过这个指标，这些系统的复杂性已经非常迅速地增加。2019年发布的GPT-2有15亿个参数，而其2020年的继任者GPT-3的参数是其100多倍，约为1750亿个参数。今年早些时候，谷歌宣布已经训练了一个具有1.6万亿个参数的语言模型。

把他们推到任何给定的话题上，或者偏离最明显的领域，他们会不假思索地撒谎。

随着系统变得越来越大，质量的差异是值得注意的，但目前还不清楚这些扩展工作将在多长时间内获得质量回报。Boosters认为天空是极限 - 这些系统将变得越来越智能，它们甚至可能是创建通用人工智能或AGI的第一步。但怀疑论者认为，随着人工智能领域的规模不断扩大，它总体上开始获得递减的回报。

然而，对规模的依赖与统计方法密不可分，这种方法在这些模型的产出中造成了不确定性。这些系统没有公认的“真理”的集中存储;没有对“人类世界是什么样的”的具体理解，因此，没有办法区分事实与虚构或运用常识。

用简单的琐事来测验他们，比如首都城市或美国总统的生日，他们大部分时间都是对的。但对于这些系统来说，真相只是其训练数据的统计特征。他们正确地回答问题，因为他们被喂食的文本已经以足够的频率向他们提供了正确的信息。这意味着，如果你把他们推到任何给定的话题上，或者偏离最明显的领域，他们会轻率地撒谎，编造引文，日期，传记细节，以及你想听到的任何其他东西。同样的概率方法也意味着他们可能会绊倒常识问题。开始用略带幻想的查询来测验他们，他们会自信地断言，例如，铅笔比烤面包机重，或者草叶只有一只眼睛。这样的答案揭示了统计和具体智能之间的鸿沟。

为了更好地理解这些AI语言模型，在过去的几周里，我一直在玩各种语言模型。从销售到撰稿人的工具，再到 GPT-3 等灵活的多用途系统。这种经历令人眼花缭乱。通常，我对这些系统的流畅性，洞察力和创造力感到惊讶。例如，作为The Verge成立10周年项目的一部分，我使用GPT-3为杂志编写了technopagan咒语，给它一个提示（下面以粗体显示），它完成了一个四步仪式（我只展示了第一步）：

技术异教徒是一种新的魔法，它将传统的巫术与一直在线的力量融为一体。以下是一个技术异教徒咒语，旨在保护您的手机免受垃圾邮件的侵害并提高您收到的消息的质量。步骤1）拿起手机出门。闭上眼睛，把设备放在你面前，然后说：“我向你提供，技术幽灵魔法，我与网络的永恒和无休止的电子连接。作为回报，我要求你发挥魔法，将我的意志与系统的意志结合起来——让我不受流入收件箱的垃圾的影响。让所有信息一起流动，我会从中选择适合我看到的东西。给我互联网的手指，我会打击垃圾邮件，并将垃圾邮件发送者赶回他们来自的黑暗地方。

但其他时候，我对这些程序的局限性感到震惊。经常被忽视的是，需要多少人工策展来塑造他们的产出。上面的文字并不是我从GPT-3收到的第一个回复，我必须经历几次迭代才能产生一个既有说服力又有趣的回复。当然，我设定的GPT-3任务是富有想象力和开放式的：它发挥了程序的优势（我认为GPT-3在这些任务中的成功导致一些用户和观察者夸大了这些系统的智能）。然而，在其他时候，该软件即使在我给它的幻想框架中也会产生荒谬的内容。它为响应同一提示而生成的另一个“咒语”不那么集中，在咒语的说明中添加了虚构的社交媒体句柄，技术标题和不存在的URL：

执行仪式，将冠圈密封到设备中。愿众神帮助我们所有人，苹果iPhone X的参考被打破了！摧毁神圣的象征！—tianong xiong （@tianongxiong） 2018年9月13日 为了证实谣言：Facebook Messenger的搜索栏旁边确实隐藏着一个搜索栏 pic.twitter.com/DghBL5DmhU — Warl Darkh （@dkpt） 2018年9月12日

你可以争辩说，这只是另一种创造力，当然，一个合适的技术异教徒咒语会包括URL。但同样明显的是，这台机器已经脱离了滑雪道。

尽管有这些弱点，但已经有传言称人工智能系统接管了作家的工作。当然，我想知道计算机是否可以为The Verge（而不仅仅是这篇）撰写文章。我尝试了不同的模型，在这些系统中输入开头段落并询问故事创意。以下是GPT-3在大型语言模型上的更多内容：

“人脑只是一台非常花哨的计算机，”谷歌硬件工程师和人工智能专家杰夫·迪恩（Jeff Dean）在2016年的一次公司活动中说。“这是一台用肉做的电脑。

要了解GPT-3，您首先必须了解大脑如何学习。大脑不是天生就知道如何说话或理解言语的。它必须首先通过接触外部世界来获得这种能力，这就是为什么孩子们倾向于如此迅速地学习语言，以及为什么在一个不讲语言的家庭中长大会成为一个主要障碍。

正如神经科学家马克·樟宜子（Mark Changizi）所表明的那样，学习一门语言的过程是一个巨大的项目。“语言是大脑能做的最复杂的事情之一，”他写道，“它来自大脑更基本的技能，如视觉、听觉和运动控制。

但是大脑是如何获得所有这些知识的呢？简短的答案是：通过自动完成。

如果你没有集中注意力太重，所有这些点都是有道理的，但它们不会从一个句子流到另一个句子。他们从不遵循论点或建立结论。再一次，制造是一个问题。杰夫·迪恩（Jeff Dean）和马克·樟宜子（Mark Changizi）都是真实的人，他们或多或少地被正确识别（尽管迪恩现在是谷歌的人工智能主管，而樟宜子是一名认知科学家，而不是神经科学家）。但据我所知，两个人都没有说过GPT-3归因于他们的话。然而，尽管存在这些问题，但也有很多东西需要留下深刻的印象。例如，使用“autocomplete”作为比喻来描述AI语言模型既准确又易于理解。我自己做过！但这是因为它只是其他人以前部署过的常见隐喻吗？那么，说GPT-3是“聪明的”来使用这个短语是正确的，还是只是巧妙地抄袭了别人？（见鬼，我对自己的写作问同样的问题。

人工智能语言模型似乎最适合的地方是创建死记硬背的文本，而不是定制的，就像Gmail建议的回复一样。就新闻业而言，自动化系统已经集成到新闻编辑室中，以撰写有关地震，体育赛事等的“填补空白”故事。随着大型AI语言模型的兴起，可以以这种方式解决的内容范围正在扩大。

“大多数情况下，内容营销行业的人有公司博客需要填补，他们需要创建内容。

Samanyou Garg是一家名为Writesonic的人工智能写作初创公司的创始人，并表示他的服务主要由电子商务公司使用。“它确实有助于大规模地进行产品描述，”Garg说。“一些接近我们的公司在他们的网站上有1000万种产品，一个人不可能写那么多产品。一家名为AI Writer的类似公司的创始人Fabian Langer告诉The Verge，他的工具通常用于填充“seo农场” - 纯粹为了捕捉Google搜索而存在的网站，并通过将访问者重定向到广告或附属公司来创造收入。“大多数情况下，内容营销行业的人有公司博客需要填补，他们需要创建内容，”兰格说。“说实话，对于这些[SEO]农场，我不指望人们真的读过它。一旦你点击，你就可以展示你的广告，这就足够了。

人工智能将首先接管这种写作，我开始将其视为“低注意力”文本 - 这种描述适用于创建和阅读它所需的努力。注意力不集中的文本不是对我们的智力有巨大要求的写作，而是主要是功能性的，快速传达信息或只是填充空间。它也构成了书面世界的更大一部分，而不是你想象的，不仅包括营销博客，还包括工作互动和闲聊。这就是为什么Gmail和Google Docs正在整合AI语言模型的建议：他们正在挑选唾手可得的果实。

选择大规模使用这种填料将产生结构性影响

然而，一个大问题是，这些人工智能书写系统将对人类书写产生什么影响，进而对我们的文化产生什么影响？我对大型语言模型的输出考虑得越多，它就越让我想起geofaum。这是一种由发泡聚苯乙烯制成的建筑材料，生产成本低廉，易于处理，并包装在建筑项目留下的空隙中。它非常有用，但有些争议，因为它作为巨型聚苯乙烯块的不可思议的外观。对一些人来说，土工泡沫是一种环保材料，可以实现特定目的。对其他人来说，这是我们与地球剥削关系的可怕象征。土方泡沫是通过将石油从地下抽出，将其精炼成廉价物质，然后将其塞回进步留下的空白空间而制成的。大型语言模型的工作方式类似：将数字文本的考古层处理成合成语音，以填补我们注意力不足的空白。

对于那些担心互联网的大部分已经是“假的”——由僵尸网络、流量农场和自动生成的内容维持——的人来说，这只会标志着现有趋势的延续。但就像土工泡沫一样，选择大规模使用这种填料会产生结构性影响。例如，有充分的证据表明，大型语言模型编码和放大了社会偏见，产生了种族主义和性别歧视的文本，或者重复了有害的陈规定型观念。控制这些模式的公司对这些问题只字不提，但并不认为它们会带来严重的问题。（谷歌解雇了两名人工智能研究人员，因为他们发表了一篇描述这些问题的详细论文。随着我们将更多的写作认知负担卸载到机器上，使我们的低注意力文本成为无注意力文本，我们似乎有可能反过来会被这些模型的输出所塑造。谷歌已经使用其AI自动完成工具来建议性别中立的语言（例如，用“主席”代替“主席”），无论你对这种推动的政治观点如何，都值得讨论这些系统的终点可能是什么。

换句话说：当训练我们写作的人工智能系统开始训练我们时会发生什么？

尽管大型语言模型存在问题和局限性，但它们已经被许多任务所接受。谷歌正在将语言模型作为其各种搜索产品的核心;微软正在使用它们来构建大型语言模型的问题和局限性，它们已经被许多任务所接受。谷歌正在将语言模型作为其核心，而像Xiaoice和AI Dungeon这样的应用程序的普及表明，AI编写程序的自由流动本质并不妨碍它们的采用。

与许多其他AI系统一样，大型语言模型与充满炒作的演示文稿相比具有严重的局限性。一些人预测，承诺和绩效之间的这种广泛差距意味着我们将进入另一个人工智能幻灭的时期。正如机器人专家罗德尼·布鲁克斯（Rodney Brooks）所说：“几乎每一次成功的人工智能部署都有以下两种权宜之一：如果系统失误，它有一个人在圈子里，或者失败的成本非常低。但人工智能写作工具可以在一定程度上避免这些问题：如果它们犯了错误，没有人会受到伤害，它们的协作性质意味着人类的策展经常被纳入其中。

“统治沟通的神灵是一种无形的语言力量。

有趣的是，考虑如何利用这些工具的特定特征来发挥我们的优势，展示我们如何与机器学习系统进行交互，不是以纯粹的功能方式，而是作为探索性和协作性的东西。也许迄今为止大型语言模型最有趣的单一使用是一本名为Phamarko AI的书：由艺术家和程序员K Allado-McDowell撰写的文本，作为与GPT-3的扩展对话。

为了创建Phamarko AI，Allado-McDowell写道，GPT-3做出了回应。“我会写进一个文本字段，我会写一个提示，有时是几个段落，有时它会很短，然后我会从提示中生成一些文本，”Allado-McDowell告诉The Verge。“我会在输出输出时对其进行编辑，如果我对它所说的内容不感兴趣，我会剪切该部分并再生，因此我将其与修剪植物进行了比较。

由此产生的文本是深奥而晦涩的，讨论了从语言本身的根源到“超维”概念的所有内容。它也很精彩，很有启发性，展示了与机器一起写作如何塑造思想和表达。在不同的地方，Allado-McDowell将使用GPT-3写作的体验与服用蘑菇并与神灵交流进行了比较。他们写道：“统治沟通的神灵是一种无形的语言力量。现代的这种概念可能读作：一种来自物质性之外的语言力量。Allado-McDowell认为，这种力量很可能是思考人工智能的有用方法。他们告诉我，与它交流的结果是一种“涌现”，一种“成为比人类个体或机器更大的生态系统的一部分”的体验。

这种交换不可能只对我们有益

我认为，这就是为什么人工智能写作比人工智能的许多其他应用更令人兴奋：因为它提供了沟通和协作的机会。与比我们自己更伟大的东西交谈的冲动在早期采用者如何接受这些程序中显而易见。例如，许多人使用GPT-3与死去的亲人交谈，将其统计智能转换为算法ouija板。虽然这样的实验也揭示了局限性。在其中一个案例中，OpenAI关闭了一个形状类似于开发人员已故未婚妻的聊天机器人，因为该程序不符合公司的服务条款。这是这些系统的另一个不太有希望的现实：绝大多数是由有自己利益的公司拥有和运营的，它们将按照他们认为合适的方式塑造他们的程序（反过来，他们的用户）。

尽管如此，我对人工智能写作的未来充满希望，或者至少是好奇。这将是与我们的机器的对话;一个是分散和微妙的，发生在多个平台上，人工智能程序徘徊在语言的边缘。这些程序将是新闻报道和博客文章的隐形编辑，它们将在电子邮件和文档中建议评论，它们将成为我们甚至直接与之交谈的对话者。这种交流不可能只对我们有利，而且这些系统的部署不会没有问题和挑战。但它至少将是一次对话。

原文标题：THE FUTURE OF AI IS A CONVERSATION WITH A COMPUTER

原文链接：https://www.theverge.com/22734662/ai-language-artificial-intelligence-future-models-gpt-3-limitations-bias

作者：James Vincent

编译：LCR