欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

人工智能十年回顾

时间:2023-06-28 17:28:55 | 浏览:14

过去十年对于人工智能(AI)领域来说是一段激动人心的多事之秋。对深度学习潜力的适度探索变成了一个领域的爆炸性扩散,现在包括从电子商务中的推荐系统到自动驾驶汽车的对象检测以及可以创建从逼真的图像到连贯文本的所有内容的生成模型。在本文中,我们将

过去十年对于人工智能(AI)领域来说是一段激动人心的多事之秋。对深度学习潜力的适度探索变成了一个领域的爆炸性扩散,现在包括从电子商务中的推荐系统到自动驾驶汽车的对象检测以及可以创建从逼真的图像到连贯文本的所有内容的生成模型。

在本文中,我们将沿着记忆之路漫步,并重新审视使我们走到今天这一步的一些关键突破。无论您是经验丰富的AI从业者,还是只是对该领域的最新发展感兴趣,本文都将为您提供有关使AI成为家喻户晓的显着进展的全面概述。

2013年:AlexNet和变分自动编码器

2013年被广泛认为是深度学习的“成年”,由计算机视觉的重大进步发起。根据Geoffrey Hinton最近的采访,到2013年,“几乎所有的计算机视觉研究都转向了神经网络”。这一繁荣主要是由一年前图像识别方面相当令人惊讶的突破推动的。

2012 年 5 月,深度卷积神经网络 (CNN) AlexNet 在 ImageNet 大规模视觉识别挑战赛 (ILSVRC) 中取得了破纪录的表现,展示了深度学习在图像识别任务中的潜力。它实现了15.3%的前10名错误,比最接近的竞争对手低9.<>%。

这一成功背后的技术改进有助于人工智能的未来发展轨迹,并极大地改变了人们对深度学习的看法。

首先,作者应用了一个由五个卷积层和三个全连接线性层组成的深度CNN——这种架构设计在当时被许多人认为是不切实际的。此外,由于网络深度产生的大量参数,训练是在两个图形处理单元(GPU)上并行完成的,展示了显着加速大型数据集训练的能力。通过将传统的激活函数(如 sigmoid 和 tanh)换成更高效的整流线性单元 (ReLU),进一步缩短了训练时间。

这些共同导致了AlexNet成功的进步标志着人工智能历史上的一个转折点,并引发了学术界和技术界对深度学习的兴趣激增。因此,2013年被许多人认为是深度学习真正开始起飞的拐点。

同样发生在2013年的,尽管有点被AlexNet的噪音淹没了,但变分自动编码器(VAE)的发展 - 可以学习表示和生成图像和声音等数据的生成模型。它们通过在低维空间(称为潜在空间)中学习输入数据的压缩表示来工作。这允许他们通过从这个学习到的潜在空间中采样来生成新数据。后来,VAE为生成建模和数据生成开辟了新的途径,在艺术、设计和游戏等领域都有应用。

2014年:生成对抗网络

第二年,即2014年<>月,随着Ian Goodfellow及其同事引入生成对抗网络(GAN),深度学习领域见证了另一项重大进展。

GAN 是一种神经网络,能够生成类似于训练集的新数据样本。本质上,两个网络同时训练:(1)生成器网络生成假的或合成的样本,(2)鉴别器网络评估它们的真实性。这种训练是在类似游戏的设置中进行的,生成器试图创建欺骗鉴别器的样本,而鉴别器试图正确调用假样本。

当时,GAN 代表了一种强大而新颖的数据生成工具,不仅用于生成图像和视频,还用于生成音乐和艺术。他们还通过展示在不依赖显式标签的情况下生成高质量数据样本的可能性,为无监督学习的进步做出了贡献,这个领域在很大程度上被认为是不发达和具有挑战性的。

2015年:ResNets和NLP突破

2015年,人工智能领域在计算机视觉和自然语言处理(NLP)方面取得了相当大的进步。

Kaim He及其同事发表了一篇题为“图像识别的深度残差学习”的论文,其中他们介绍了残差神经网络或ResNets的概念 - 通过添加快捷方式使信息更容易地流经网络的架构。与常规神经网络不同,在常规神经网络中,每一层都将前一层的输出作为输入,而在 ResNet 中,添加了额外的残差连接,这些连接跳过一个或多个层并直接连接到网络中的更深层。

结果,ResNets能够解决梯度消失的问题,这使得训练更深层次的神经网络超出了当时的预期。这反过来又导致了图像分类和对象识别任务的显着改进。

大约在同一时间,研究人员在递归神经网络(RNN)和长短期记忆(LSTM)模型的开发方面取得了相当大的进展。尽管这些模型自 1990 年代以来一直存在,但直到 2015 年左右才开始引起一些轰动,主要是由于以下因素:(1) 更大、更多样化的数据集可用于训练,(2) 计算能力和硬件的改进,这使得训练更深入、更复杂的模型成为可能,以及 (3) 在此过程中进行的修改, 例如更复杂的门控机制。

因此,这些架构使语言模型能够更好地理解文本的上下文和含义,从而在语言翻译、文本生成和情感分析等任务方面取得了巨大的改进。当时RNN和LSTM的成功为我们今天看到的大型语言模型(LLM)的发展铺平了道路。

2016: 阿尔法围棋 (电影)

在1997年加里·卡斯帕罗夫(Garry Kasparov)被IBM的深蓝(Deep Blue)击败后,另一场人与机器的战斗在2016年给游戏界带来了冲击波:谷歌的AlphaGo击败了围棋的世界冠军李世石(Lee Sedol)。

世石的失败标志着人工智能发展轨迹上的另一个重要里程碑:它表明,在一个曾经被认为过于复杂以至于计算机无法处理的游戏中,机器甚至可以胜过最熟练的人类玩家。AlphaGo结合了深度强化学习和蒙特卡洛树搜索,分析了以前游戏中的数百万个位置,并评估了最佳可能的行动——在这种情况下,这种策略远远超过了人类的决策。

2017年:转换器体系结构和语言模型

可以说,2017年是最关键的一年,为我们今天目睹的生成AI的突破奠定了基础。

2017年<>月,Vaswani及其同事发布了基础论文“注意力就是你所需要的一切”,该论文介绍了利用自我注意的概念来处理顺序输入数据的转换器架构。这允许更有效地处理远程依赖关系,这在以前是传统RNN架构的挑战。

变压器由两个基本组件组成:编码器和解码器。编码器负责对输入数据进行编码,例如,输入数据可以是单词序列。然后,它采用输入序列并应用多层自我注意和前馈神经网络来捕获句子中的关系和特征,并学习有意义的表示。

从本质上讲,自我注意允许模型理解句子中不同单词之间的关系。与以固定顺序处理单词的传统模型不同,转换器实际上一次检查所有单词。他们根据每个单词与句子中其他单词的相关性为每个单词分配称为注意力分数的东西。

另一方面,解码器从编码器获取编码表示并生成输出序列。在机器翻译或文本生成等任务中,解码器根据从编码器接收的输入生成翻译后的序列。与编码器类似,解码器也由多层自我注意和前馈神经网络组成。但是,它包括一个额外的注意力机制,使其能够专注于编码器的输出。然后,这允许解码器在生成输出时考虑来自输入序列的相关信息。

此后,转换器架构已成为LLM开发的关键组件,并在整个NLP领域带来了重大改进,例如机器翻译,语言建模和问答。

2018年:GPT-1,BERT和图形神经网络

在Vaswani等人发表他们的基础论文几个月后,OpenAI于1年2018月推出了Generative P再训练Transformer或GPT-1,它利用转换器架构有效地捕获文本中的长期依赖关系。GPT-<> 是最早证明无监督预训练有效性的模型之一,然后对特定的 NLP 任务进行微调。

谷歌也利用了仍然相当新颖的变压器架构,它在2018年底发布并开源了他们自己的预训练方法,称为Bidirectional Encoder R来自Transformers或BERT的演示。与以前以单向方式处理文本的模型(包括 GPT-1)不同,BERT 同时考虑每个单词在两个方向上的上下文。为了说明这一点,作者提供了一个非常直观的示例:

。在句子“我访问了银行账户”中,单向上下文模型将表示 基于“我访问了”而不是“账户”的“银行”。但是,BERT 使用其上一个和下一个上下文表示“银行”——“我访问了......帐户“——从深度神经网络的最底部开始,使其深度双向。

双向性的概念是如此强大,以至于它使BERT在各种基准任务上优于最先进的NLP系统。

除了GPT-1和BERT,图神经网络或GNNs在那一年也引起了一些轰动。它们属于专门设计用于处理图形数据的神经网络类别。GNN 利用消息传递算法在图形的节点和边缘之间传播信息。这使网络能够以更直观的方式学习数据的结构和关系。

这项工作允许从数据中提取更深入的见解,从而扩大了深度学习可以应用于的问题范围。有了GNN,在社交网络分析、推荐系统和药物发现等领域取得了重大进展。

2019 年:GPT-2 和改进的生成模型

2019 年标志着生成模型的几项显着进步,尤其是 GPT-2 的引入。该模型在许多NLP任务中实现了最先进的性能,并且能够生成高度逼真的文本,事后看来,这确实使同行望而却步。

该领域的其他改进包括DeepMind的BigGAN和NVIDIA的StyleGAN,它可以生成与真实图像几乎无法区分的高质量图像,以及NVIDIA的StyleGAN,它可以更好地控制这些生成的图像的外观。

总的来说,现在被称为生成人工智能的这些进步进一步推动了这一领域的界限,而且......

2020 年:GPT-3 和自监督学习

...不久之后,另一种模型诞生了,即使在技术社区之外,它也已成为家喻户晓的名字:GPT-3。该模型代表了LLM的规模和能力的重大飞跃。为了将事情放在上下文中,GPT-1 具有可怜的 117.1 亿个参数。GPT-5 的这一数字上升到 2 亿,GPT-175 的这一数字上升到 3 亿。

大量的参数空间使 GPT-3 能够在各种提示和任务中生成非常连贯的文本。它还在各种NLP任务中表现出令人印象深刻的表现,例如文本完成,问答,甚至创意写作。

此外,GPT-3 再次强调了使用自监督学习的潜力,它允许在大量未标记的数据上训练模型。这样做的好处是,这些模型可以获得对语言的广泛理解,而无需进行广泛的特定于任务的训练,这使得它更加经济。

从蛋白质折叠到图像生成和自动编码辅助,2021 年是多事之秋,这要归功于 AlphaFold 2、DALL·E和GitHub Copilot。

AlphaFold 2被誉为数十年来的蛋白质折叠问题的长期解决方案。DeepMind的研究人员扩展了变压器架构,以创建evoformer块 - 利用进化策略进行模型优化的架构 - 以构建能够根据其3D氨基酸序列预测蛋白质1D结构的模型。这一突破具有巨大的潜力,可以彻底改变药物发现、生物工程等领域,以及我们对生物系统的理解。

OpenAI今年也再次登上新闻,发布了DALL·E. 从本质上讲,该模型结合了 GPT 样式语言模型和图像生成的概念,以便从文本描述中创建高质量的图像。

为了说明这个模型有多强大,请考虑下面的图像,它是在提示“飞行汽车的未来世界油画”下生成的。

最后,GitHub发布了后来成为每个开发人员最好的朋友的东西:Copilot。这是与OpenAI合作实现的,OpenAI提供了底层语言模型Codex,该模型在大量公开可用的代码语料库上进行训练,进而学会了理解和生成各种编程语言的代码。开发人员只需提供代码注释即可使用Copilot,说明他们试图解决的问题,然后模型将建议代码来实现解决方案。其他功能包括用自然语言描述输入代码以及在编程语言之间翻译代码的能力。

2022 年:聊天GPT 和稳定扩散

人工智能在过去十年中的快速发展最终带来了突破性的进步:OpenAI 的 ChatGPT,这是一款聊天机器人,于 2022 年 <> 月发布到野外。该工具代表了NLP领域的一项前沿成就,能够对各种查询和提示生成连贯且上下文相关的响应。此外,它可以参与对话,提供解释,提供创造性建议,协助解决问题,编写和解释代码,甚至模拟不同的个性或写作风格。

人们可以与机器人交互的简单直观的界面也刺激了可用性的急剧上升。以前,主要是技术社区会玩弄最新的基于人工智能的发明。然而,如今,人工智能工具几乎渗透到每个专业领域,从软件工程师到作家、音乐家和广告商。许多公司还使用该模型来自动化服务,例如客户支持、语言翻译或回答常见问题解答。事实上,我们看到的自动化浪潮重新引发了一些担忧,并激发了关于哪些工作可能面临自动化风险的讨论。

尽管 ChatGPT 在 2022 年占据了大部分风头,但在图像生成方面也取得了重大进展。稳定扩散是一种潜在的文本到图像扩散模型,能够从文本描述中生成逼真的图像,由Stability AI发布。

稳定扩散是传统扩散模型的扩展,传统扩散模型的工作原理是迭代地向图像添加噪声,然后逆转恢复数据的过程。它旨在通过不直接在输入图像上操作,而是在它们的低维表示或潜在空间上操作来加速此过程。此外,通过将变压器嵌入的文本提示从用户添加到网络来修改扩散过程,使其能够在每次迭代中指导图像生成过程。

总体而言,2022 年 ChatGPT 和稳定扩散的发布凸显了多模式、生成式 AI 的潜力,并引发了该领域进一步发展和投资的巨大推动力。

2023年:法学硕士和机器人

毫无疑问,今年已成为LLM和聊天机器人的一年。越来越多的模型正在以快速增长的速度开发和发布。

例如,24 月 3 日,Meta AI 发布了 LLaMA——尽管参数数量要少得多,但在大多数基准测试中性能优于 GPT-14 的 LLM。不到一个月后,即 4 月 3 日,OpenAI 发布了 GPT-4——GPT-<> 的更大、功能更强大、多模式版本。虽然 GPT-<> 的确切参数数量未知,但据推测为数万亿。

15月21日,斯坦福大学的研究人员发布了Alpaca,这是一种轻量级语言模型,由LLaMA在教学演示中进行了微调。几天后,在2月10日,谷歌推出了ChatGPT的竞争对手:巴德。谷歌也刚刚在本月<>月<>日早些时候发布了最新的LLM,PaLM-<>。随着该领域无情的发展步伐,在您阅读本文时,很可能已经出现了另一种模型。

我们也看到越来越多的公司将这些模型整合到他们的产品中。例如,Duolingo宣布了其GPT-4驱动的Duolingo Max,这是一个新的订阅层,旨在为每个人提供量身定制的语言课程。Slack还推出了一个名为Slack GPT的人工智能助手,它可以做一些事情,比如起草回复或总结线程。此外,Shopify在公司的Shop应用程序中引入了一个由ChatGPT驱动的助手,该应用程序可以帮助客户使用各种提示来识别所需的产品。

有趣的是,人工智能聊天机器人现在甚至被认为是人类治疗师的替代品。例如,美国聊天机器人应用程序Replika为用户提供了一个“关心的AI伴侣,总是在这里倾听和交谈,总是站在你身边”。其创始人尤金妮娅·库伊达(Eugenia Kuyda)表示,该应用程序拥有各种各样的客户,从自闭症儿童,他们将其作为“在人类互动之前热身”的一种方式,到孤独的成年人,他们只是需要朋友。

在我们结束之前,我想强调一下过去十年人工智能发展的高潮:人们实际上正在使用Bing!今年早些时候,微软推出了其GPT-4驱动的“网络副驾驶”,该副驾驶已针对搜索进行了定制,并且首次在...永远(?)已经成为谷歌在搜索业务中长期统治地位的有力竞争者。

回顾和展望

当我们回顾过去十年的人工智能发展时,很明显,我们一直在见证一种转变,这对我们的工作、业务和互动方式产生了深远的影响。最近在生成模型,特别是LLM方面取得的大多数重大进展似乎都坚持“越大越好”的普遍信念,指的是模型的参数空间。这在 GPT 系列中尤其明显,它从 117.1 亿个参数 (GPT-4) 开始,在每个连续模型增加大约一个数量级后,最终产生具有潜在数万亿个参数的 GPT-<>。

然而,根据最近的一次采访,OpenAI首席执行官Sam Altman认为,我们已经走到了“越大越好”时代的尽头。展望未来,他仍然认为参数计数将呈上升趋势,但未来模型改进的主要重点将是提高模型的能力、实用性和安全性。

后者特别重要。考虑到这些强大的人工智能工具现在掌握在公众手中,不再局限于研究实验室的受控环境,现在比以往任何时候都更加重要的是,我们要谨慎行事,确保这些工具是安全的,并符合人类的最佳利益。希望我们能看到人工智能安全方面的发展和投资,就像我们在其他领域看到的那样。

原文标题:Ten Years of AI in Review

原文链接:https://www.kdnuggets.com/2023/06/ten-years-ai-review.html

作者:Thomas A Dorfer

编译:LCR

相关资讯

AI大模型是否是人工智能的拐点?人工智能还会有哪些突破?

随着计算能力的不断提高和数据规模的扩大,人工智能尤其是深度学习领域取得了显著的进展。近年来,AI大模型,如GPT系列、BERT等,在自然语言处理、计算机视觉等领域取得了令人瞩目的成果,引发了人们对人工智能发展的关注。AI硅基小助手【AI硅基

【AI自动写作12天】【人工智能专栏】人工智能的定义和基本概念

人工智能,简称AI,是指利用计算机模拟人类的智能行为,实现智能化的一种技术和应用。它是信息技术领域的前沿科技,涵盖了机器学习、自然语言处理、计算机视觉等多个领域。人工智能的定义可以从不同角度进行解释。从技术上讲,人工智能是一种通过模拟人类智

几句话给您讲明白人工智能是啥玩意?#人工智能#有ai就...

人工智能是计算机科学领域的一门技术,旨在开发能够模拟人类智能的计算机系统。它的目标是使计算机具备感知、理解学习、推理决策和交互的能力,从而完成各种任务。接下来,让我们详细了解人工智能的感知与理解能力。人工智能致力于让计算机能够感知和理解各种

什么是人工智能、如何应用人工智能技术?这场讲座给出了答案

极目新闻记者 国倩通讯员 余紫滨5月9日,荆州学院举办“荆院楚风”学术论坛讲座第五讲,本次会议采取“线上+线下”相结合的形式举行,长江大学计算机科学学院教授陈琳担任主讲人。学术讲坛会场“什么是人工智能?”——即能够和人一样进行感知、认知、决

“人工智能教父”为何反对人工智能:AI会伤害甚至毁灭人类?

近日,谷歌副总裁兼工程研究员、Vector研究所首席科学顾问、多伦多大学名誉教授、伦敦大学学院(UCL)盖茨比计算神经科学中心创立者、2019年计算机界最高荣誉“图灵奖”获得者、被称为The God father of AI(人工智能教父)

什么是人工智能? AI与人工智能

众所周知,刷脸认证、自动驾驶、大数据推送、智能音箱、手术机器人……人工智能被广泛应用于各个领域,由此引起的数据伪造、算法瓶颈、隐私安全、伦理困境等问题也日益凸显。“AI 基础设施建设亟需从自身底层能力增强出发,以内生驱动力突破算法关、数据关

人工智能,简称AI,是一种模仿人类思维和行为的智能技术

随着科技的不断发展和进步,人工智能已经成为当今热门的话题之一。人工智能,简称AI,是一种模仿人类思维和行为的智能技术。由于它的出现,科技领域取得了长足的进步,各行各业都开始探索它的应用。在这篇文章中,我们将探讨人工智能的概念、在不同领域的应

生成式人工智能技术滥用事件频发 三六零AI安全护航智能时代发展

近期,随着生成式人工智能技术快速发展,利用相关技术进行诈骗、诽谤的违法案件愈发频繁,引起社会的广泛关注。5月22日,包头警方发布的一起利用AI实施电信诈骗的案例冲上热搜,骗子通过AI换脸技术进行伪装,受害人10分钟内被骗走430万元。作为全

人工智能的智能发展之路

人工智能是计算机科学的一个分支,英文缩写为AI(Artificial Intelligence)。人工智能的目的在于尝试使用计算机技术生产出与人类智能相似的智能机器,包括但不仅限于人工智能机器人、语言识别、图像识别等系统。人工智能的智能表现

是“IA”(智能增强)还是“AI”(人工智能)无人驾驶是“谎言”?

近日,宾夕法尼亚大学工程与应用科学学院院长、美国国家工程院院士Vijay Kumar 以专业权威的视角独家分享了人工智能的潜在商机和对未来就业的深远影响。■他认为:关于无人驾驶,无人驾驶技术被不少厂商营销夸大了,类似于“我们不需要额外的刹车

用人工智能客观告诉你上海公寓到底能不能买?怎么买?@D...

上海公寓能不能买?Chat GPT给答案。上海的酒店式公寓到底能不能买?为了不夹杂个人主观情绪利益驱使,我今天也用最近比较火的Chat GPT给大家客观的来看一下AI是怎么回答的?上海,我说自己是一个买房小白,准备在上海买一套不限购的酒店式

比尔盖茨:Web3没那么重要,元宇宙没革命性,人工智能最重要

比尔•盖茨。人民视觉 资料图微软联合创始人比尔•盖茨似乎与特斯拉CEO埃隆·马斯克一样对元宇宙、Web3(第三代互联网)毫无兴趣。当地时间1月12日,比尔•盖茨在美国社交新闻网站Reddit举行的Ask Me Anything活动上表示,人

人工智能赋能千行百业 AI全面融入经济社会发展各领域

原标题:AI已成产业升级重要引擎本报记者 宋迎迎 王延斌 王晓夏将分散的农业产能和分散的农产品需求在云端拼在一起,形成一个虚拟的全国市场,这背后是用分布式人工智能、大数据和云计算等技术打造的“农地云拼”模式。6月26日,在孔子故里山东济宁曲

某地通报疑似AI(人工智能)“变声”、“换脸”诈骗警情!!!

近日,常州警方通报一起案例,极有可能是诈骗分子通过AI技术“变声”、“换脸”诈骗手段合成而来。具体情况:小刘的初中同学“小韩”通过QQ联系小刘,准备借6000元钱,小刘向来谨慎,担心“小韩”不是本人,没想到“小韩”发来一条语音,声音很像本人

人工智能正制造网络垃圾:低质量AI生成网站获广告支撑迅猛发展

·即使网络上充斥着人工智能的垃圾,它也可能被证明是有益的,能刺激资金更充足的平台发展。新闻网站评级工具NewsGuard发布2023年6月的错误信息监控结果,称141个品牌正在向低质量的人工智能(AI)生成的网站提供广告收入,来支持这些不可

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈贺州新闻资讯网孙珍妮影迷网江诗丹顿收藏网柏林旅游网山东泰山资讯网内江新闻头条网北方稀土A股今日烟台南宁青秀山资讯网加拿大旅游网红水河第一湾资讯网洛阳新闻资讯网新西兰旅游网全球品牌加盟网生肖兔运势网
AI人工智能技术网-人工智能是一个以计算机科学为基础,由计算机、心理学、哲学等多学科交叉融合的交叉学科、新兴学科,研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 AI是一个由人工智能驱动的工具,帮助作家更快,更好地创作内容。它通过自动化研究和编辑过程,使写作更有效率。
AI人工智能技术网 pinzhili.com ©2022-2028版权所有