被捧上天的GPT-3，商业化之路怎么走？

图片来源@视觉中国

对于我个人来说，刚刚步入媒体圈，职业生涯就将遭遇一次非常严重的AI威胁。

今年5月，已经得到微软Azure算力加持的OpenAI放出了GPT-3这个巨型NLP模型怪兽，包含1750亿参数，比2月份微软刚推出的全球最大深度学习模型Turing NLG大上十倍，是其前身GPT-2参数的100倍。

我们可以用一张图表来直观感受下GPT-3所处在位置，是不是有点高处不胜寒的感觉？

有人惊呼“真正的AI已经到来”、“GPT-3可以改变世界了”，也有人说“GPT-3是一种形象工程”、“一种赤裸裸的炫富”。

无论评价如何，人们其实都并未过多注意到OpenAI现在发布GPT-3的API接口的一大原因是推动这一技术的商业化。现在，GPT-3模型已经广泛应用的领域当中，有哪些领域更好地进行商业化尝试，又有哪些领域仍然差强人意，这些也许是更值得我们去探讨的地方。

GPT-3到底有多厉害？

相较于之前的GPT-2，这次GPT-3有哪些明显的进步呢？

从训练方式来说，与之前版本并没有什么不同，GPT-3依旧延续之前的单向语言模型训练方式，只不过就是训练数据和参数有了几个数量级的提升。但从实际的效果来看，GPT-3的尝试至少验证了一点，就是将一个深度神经网络不断增大，它确实可以变得更加的聪明。

相较于当前的BERT模型，GPT-3主要能够解决两个问题，一个是避免对各领域内的标注数据的过分依赖，一个是避免对各领域数据分布的过度拟合，从而调教出一个更通用、更泛化的NLP模型。GPT-3的主要目标是用更少的领域数据，还有去掉微调步骤去解决问题。

（图源：李宏毅《深度学习人类语言处理》）

直观来理解就是如图所示，GPT-3就是要拿掉Fine-tune（微调）这个环节，也拿到Task-Specific的示例资料，来直接对特殊的领域问题进行回答。

基于此，研究者们使用GPT-3在不同形式下进行了推理效果的测试，包括Zero-shot、One-shot、Few-shot三种，但是这三种形式都是不需要经过Fine-tuning的。因为GPT-3选择的是单向transformer，所以它在预测新的token时，会对之前的examples进行编码。

那么，测试结果如何呢？

从各领域的42项基准测试中的平均表现来看，随着参数量的不断加大，其正确率在不断提升（当然有人会质疑，模型提升了10倍参数量，正确率才提升不到1倍），其中Few Shot的表现是最好的。

那么，在当前人们调用OpenAI开放的API接口之后，我们已经可以看到GPT-3的一系列的有趣案例了。

（GPT-3将自然语言生成了代码和图形按钮）

在和人类的多轮对话中，GPT-3表现也相当出色。比如下面这个名为Kosmopol的程序员和GPT-3展开了一段关于人类、AI与神的存在关系的“神秘”讨论。

（聊到最后程序员表示，“我现在已经没有任何疑问”）

那么GPT-3在商业化方面的前途如何呢？

GPT-3有哪些商业化前景？

我们记得，在GPT-2发布时，OpenAI还不愿意一下子把GPT2的模型完整地放出来，而是选择挤牙膏似的一点点公布完整版本，当时的理由是认为GPT-2太过危险，会被人用来制造假新闻，用来做邮件诈骗等坏事。当然，可怕的后果并没有发生，也许是坏人的技术能力不够，更主要可能是应用的成本门槛太高。

这一次，OpenAI选择了发布API接口邀请测试，而非直接开源模型的方式，同样也有这方面的考虑。如果模型开源，一旦有人在此基础上开发带有危险性的应用程序，官方将很难制止。通过API方式就可以很好应对人们对技术的滥用。

与此同时，由于GPT-3如此庞大体量的基础模型，除了少数大公司之外，很少有机构和个人能够对其进行开发和部署，运行费用也将极其昂贵。

其实更重要一点则是，OpenAI希望通过API方式来推动GPT-3的技术商业化，未来在安全可靠、政策合规的基础上进行相关AI产品的开发，并实现商业化的盈利。

比如，一家初创搜索公司Algolia正在使用GPT-3来进行自然语言的复杂搜索，具体表现在能够将预测时间缩短到100毫秒左右，并以比BERT快4倍的速度准确地回答复杂的自然语言问题。

在这一过程中，我们不可能说完全去掉人类的审查和订正就直接使用和发布。显然，无论哪个机构或个人都不会让AI模型来承担其发布内容的责任。当然，当一些人能够更好地与GPT-3这样的人工智能工具进行高效协作，提升企业组织的生产效率，随之而来的是企业对基础职位人数需求的减少。从这个意义上，GPT-3作为职位大杀器的作用会间接显现。

不过，现在的GPT-3已经能堪当大任吗？从一些开发者测试后的反馈和一些专家的评论来看，GPT-3距离真正的商业化还有一定的距离，其中一些问题必须要解决。

GPT-3的商业化难题

当外界对于GPT-3的能力表现发出更多赞誉的时候，OpenAI联合创始人Sam Altman则在Twitter站出来表示，“GPT-3被吹捧得太过了”。

比如，在上面这些反事实提问或者无意义的语言重复下，GPT-3就开启了“尬聊”模式。用纽约大学副教授Julian Togelius的话来说就是，“GPT-3常常表现的像一个没有完成阅读的聪明学生，在考试中胡言乱语试图蒙混过关。一些众所周知的事实，一些半真半假的事，还有一些直接的谎言，串在一起乍一看像是流畅的叙事。”

GPT-3在一些输出上也会犯一些带有偏向性的低级错误。比如有人在通过GPT-3与虚拟的乔布斯谈话中，在问到乔帮主现在身处何处，GPT-3给出的答案是“苹果总部”，并且还报了地名。不过，大家都知道这个答案并不正确，回答说乔帮主现在活在我们心中，都比上面检索来的答案更靠谱。

这些低级的、误导性、偏见性的错误，仍然会让企业的商业应用顾虑重重。如果一旦全权交给AI来行使工作沟通、客服等工作，难免会造成企业的利益损失，或者增加诸如审核之类的经营成本。

虽然GPT-3在通用性上面的能力表现出“大力出奇迹”的良好特性，但其如何能够更有效地发挥商业价值，OPenAI还任重道远，这需要在此后的模型优化中“慢工出细活”。

现在，在接受微软的10亿美元的投资之后，OpenAI的商业化进程已经提升比较急迫的日程了。依托巨大算力资源才能跑起来的AI模型必须推进商业化的脚步。

所以，GPT-3首当其冲。

总体来说，GPT-3的商业化开放有着非常积极的意义。由于这样巨型的模型训练是一般小企业和个人用户根本无力承担的，那么API的开放可以使得这些用户用比较少的成本付费使用AI的功能。不过从另一个角度来看，AI领域的科研垄断也正在形成。当年在操作系统、搜索引擎等领域形成垄断的巨头，如今又通过算力霸权占据了AI领域的数据富矿的基础开采权。

我们看到，GPT-3一开始的商业化过程并不会那么顺利。但是这样的基础性工程，无论本身的结果如何，其在完成项目的过程中，OpenAI所取得的技术经验和技术能力，其实是更重要的一笔财富。关键是GPT-3仍然是目前AI正确的前进方向。

当年，美国在阿波罗登月计划的时候，也耗费了无数的人力和财富，其结果不过是在与当时苏联的“星球大战”中赢得一个头筹而已。不过这些浩大工程的一些副产品，诸如空间通信、材料科学、自动控制、集成电路、计算机科学方面，至今让美国的科技和商业受益匪浅。

更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体App