刚刚进入2023年开年。ChatGpt一度进热门话题,网络热度飙升。而ChatGPT是美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具,。OpenAI训练的这个ChatGPT的模型,它以对话方式进行交互。它能够通过学习和理解人类的语言来进行对话,真正像人类一样来聊天交流。目前,OpenAI将ChatGPT免费开放给大众使用,以获取用户的反馈,为后续改进做好准备。
![OpenAI的发展史,带着ChatGpt一路狂飙!](https://img-blog.csdnimg.cn/img_convert/e9ab67148b114a8e9cf0daa95d32a1b5.png)
OpenAI
而ChatGPT的到来更令人震惊。作为基于GPT-3.5的对话式AI,ChatGPT最大的特点即是能够“理解”对话者的语义,能够进行更有效的反馈,并进行连续对话。基于对超大规模数据的深度学习,ChatGPT在文本生成领域几乎能“以假乱真”,让你认为其真的拥有了意识。此外,ChatGPT不仅能答疑解惑,还能写故事、作诗,甚至编程,生成内容的能力空前提高,可谓是大放光彩。
要说起OpenAI的发展史,不得不提一下"GAN":
GAN(生成式对抗网络)的诞生。据说人工智能专家Ian Goodfellow在一次酒后想到了这一深度模型概念,基于CNN(深度卷积神经网络),GAN创造性地将两个神经网络进行对抗,即生成器与鉴别器。生成器用于生成“造假数据”,鉴别器用于判断数据的真伪,在两者的对抗中,逐渐演化出强大的“造假能力”,而这种造假能力则用于图像的合成。
![OpenAI的发展史,带着ChatGpt一路狂飙!](https://img-blog.csdnimg.cn/img_convert/87a3ba0392394906be34ba2736a71b89.jpeg)
GAN之父Ian Goodfellow,图源网络
GAN被称为21世纪最强大的算法模型之一,Ian Goodfellow也一跃成为AI领域最知名的专家之一。2015年开始,GAN开始被投入实际运用中,相关的论文也爆发式增长,也成为AI生成图像、处理图像任务里最常见的存在。
在GAN大放异彩的2015年,一家公司在美国硅谷成立,其背后站着“钢铁侠”埃隆·马斯克、Y Combinator总裁阿尔特曼、天使投资人彼得·泰尔等一众硅谷大佬,这家公司就是ChatGPT的缔造者——OpenAI。
OpenAI创立的初衷是预防人工智能带来的灾难性影响,推动人工智能发挥积极作用,虽为公司,但OpenAI是一家非营利机构,是马斯克等大佬用爱发电的产物,在创立之初,大佬们投入了10亿美元用于AI的开发。2016年,OpenAI进一步明确了自己的目标,即向AGI(通用人工智能)研究发力,致力于让AI成为改变人类生活的新技术。
OpenAI最大的特点即是“Open”,即开放AI能力,全球研发者都可以通过其提供的开发与研究框架投入AI开发中,共同促进AI技术的发展。也是从2016年开始,OpenAI推出了自己的AI平台Universe。故事轰轰烈烈地开始了。
时间来到2018年,Transformer 架构的发展改变了NLP(自然语言处理)技术的发展,预训练模型的引入改变了一切。GPT系列正是OpenAI在NLP(自然语言处理)领域打造的模型,其第一款产品GPT-1也是在2018年正式推出。GPT-1的独特之处在于“半监督”,在此前的NLP模型中,AI需要基于特定任务对大规模数据集进行学习,而这些数据是需要“监督”的,即人为地对数据进行标注。
基于文本预训练的GPT-1,GPT-2,GPT-3三代模型都是采用的以Transformer为核心结构的模型(图1),不同的是模型的层数和词向量长度等超参。
GPT-1则可以在开始进行无监督学习的预训练,通过对数据的学习增强语言能力,最后进行部分有监督的微调。简单来说,GPT-1可以用更少的资源和数据进行更具效率的学习,但GPT-1仍旧是青涩的,一方面碍于训练数据的有限,AI的“世界观”很有限,另一方面其性能仍旧不够好,远远达不到对话的能力。
下面小编就是GPT-1 – GPT-3的预训练模型量。
表1:历代GPT的发布时间,参数量以及训练量
模型 | 发布时间 | 层数 | 头数 | 词向量长度 | 参数量 | 预训练数据量 |
GPT-1 | 2018 年 6 月 | 12 | 12 | 768 | 1.17 亿 | 约 5GB |
GPT-2 | 2019 年 2 月 | 48 | – | 1600 | 15 亿 | 40GB |
GPT-3 | 2020 年 5 月 | 96 | 96 | 12888 | 1,750 亿 | 45TB |
2020年是翻天覆地的一年。彼时,OpenAI推出了GPT-3,相比前两代,这一次GPT实现了进化,GPT-3的参数超过1750亿个,是人脑神经连结的十分之一,与此同时GPT-3的性能也更强,它能够识别更深层次的文本含义,并进行反馈。GPT-3的推出是一场革新。ChatGPT是InstructGPT的兄弟模型,它经过训练可以按照提示中的说明进行操作并提供详细的响应。
与此同时,在图像生成领域,一场革命也在发生。尽管GAN已经能生成较高质量的图片及内容,但相较来说,其效率较低,同时生成的图像始终难以令人满意。而Transformer架构的出现改变了一切,自此开始,图像合成领域告别了GAN时代,NLP与计算机视觉技术搭配的新时代来临了。
文章出处登录后可见!