首页 > 自考资讯 > 自考知识

循环神经⽹络(RNN)介绍

头条共创 2024-07-05

什么是循环神经网络?

RNN的思想是利用序列化的信息。传统的神经网络假设所有输入和输出都是相互独立的。 然而,对于许多任务来说,这种假设是有问题的。例如,如果您想预测句子中的下一个单词,您需要知道哪个单词出现在该单词之前。 RNN 被称为循环网络,因为它们对序列的每个元素执行相同的任务,并根据先前的计算生成输出。 RNN 的另一个优点是它们具有收集先前计算的信息的“记忆”能力。 理论上,RNN 可以使用任意长度序列中的信息,但在实际使用中它们只能记录回退几步。典型的RNN 如下所示:

ac73d30731cf4a77a76be362f350db72~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1720773788&x-signature=E8OLlFzLughvhMlvRpa88x3VDWw%3D 该图显示了循环神经网络前向计算过程中循环按时间顺序展开的情况。这里展开意味着查看网络的完整序列。例如,如果感兴趣的序列是一个5 个单词的句子,则网络将扩展为5 层神经网络,每个单词一层。 “在路上”一词解释如下:

be5861cb37d6450cb6edfda2fe311209~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1720773788&x-signature=OzlnYMcO9mcbWbaJADaQXuvAnmk%3D 这里有几点需要注意。

89b817e12a6748c2aee748d7e1886d3a~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1720773788&x-signature=vD00ZC%2FyR4kBqLv0ndYQypi%2FqRY%3DRNN 你能做什么?

RNN 在许多NLP 任务中取得了巨大成功。 该领域最常用的RNN 类型是LSTM。这在捕获长期依赖性方面比常规RNN 好得多。但不用担心。 LSTM 和RNN 基本相同,只是计算隐藏状态的方式不同。以下是RNP 在NLP 中应用的一些示例。

语言模型和生成文本

给定一个单词序列,我们希望根据前一个单词来预测下一个单词的概率。基于语言模型,你可以计算一个句子的概率,这是机器翻译的重要输入(因为概率高的句子通常是正确的)。能够预测下一个单词的副作用是,我们现在有了一个生成模型,可以从输出概率中进行采样并生成新文本。您可以根据训练数据生成各种内容。在语言模型中,输入通常是单词序列(编码为one-hot),输出是预测单词序列。训练网络时,将当前输出设置为下一个输入。

机器翻译

机器翻译与语言模型类似,输入是源语言(例如德语)中的单词序列。我想以目标语言(例如英语)输出一组单词。主要区别在于,待翻译句子的第一个单词可能需要从完整的输入序列中获取信息,因此输出仅在输入完成后发生。

c1d1ec2ae0c04dc891a317ca5331332f~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1720773788&x-signature=wN6hkbWbO0d3vWpI5Dm9NY3quHU%3D 用于机器翻译的RNN

语音识别给定来自声波的声学信号的输入序列,可以预测一组语音片段及其概率。生成图像描述RNN 作为模型的一部分,与卷积神经网络一起生成未标记图像的描述。

这个组合模型相当惊人,效果也非常好。 组合模型还可以将生成的单词映射到图像中的特征。

2c6906fe2091409b8b1b00bb524e8ee3~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1720773788&x-signature=Mi8YvFRDK%2FYr%2Bgb14QRN%2Bexl1Yw%3D bdfcdce7a38d474298accc69b3102bfb~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1720773788&x-signature=UExe61II41qs2bVLipGKooBDkqU%3D 87e1b64b62464bdd8af599a742514d4d~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1720773788&x-signature=RPf%2FykQ%2BTDBWXNLiy3nKRHe8wRo%3D a7fa276821d246afab6714df849a1450~noop.image?_iz=58558&from=article.pc_detail&lk3s=953192f4&x-expires=1720773788&x-signature=wBI6eZ6yFMi7vh62ZCtoOcOFzY4%3D LSTM 网络目前非常流行。我在这里简单解释一下。 LSTM 与RNN 具有相同的基本架构,只是它使用不同的函数来计算隐藏状态。 LSTM 的记忆单元称为,可以将其视为一个以先前状态和当前输入作为输入的黑匣子。该单位内部决定保留什么。 然后它结合先前的状态、当前的记忆和输入。事实证明,这些单元在获得长期依赖性方面非常有效。

版权声明:本文由今日头条转载,如有侵犯您的版权,请联系本站编辑删除。

猜你喜欢

  • 循环神经⽹络(RNN)介绍

    循环神经⽹络(RNN)介绍

    什么是RNN?RNN的思想是利⽤序列化的信息。在传统的神经⽹络中,我们假设所有输⼊和输出彼此独⽴。

    来源:中国自考网 2024-07-05
  • rng 小明,小明rng哪里人

    rng 小明,小明rng哪里人

    【关注残影游戏,看LOL最新资讯,来看下这一期的撸圈日报吧!】TOP1继小明离队后,Wei也不想打了

    来源:中国自考网 2024-07-05
  • rng最强阵容五个人,rng什么水平

    rng最强阵容五个人,rng什么水平

    【关注残影游戏,看LOL最新资讯,今天咱们聊聊RNG小明断连一事】在此次LPL夏季赛中,由于赛制进行

    来源:中国自考网 2024-07-05
  • rng老牌队员,rng建队元老

    rng老牌队员,rng建队元老

    LPL夏季赛定组赛的比赛全部结束,RNG战队在经过转会期的人员调整后,夏季赛依然表现不佳,定组赛阶段

    来源:中国自考网 2024-07-05
  • rng战队阵容,lpl rng阵容

    rng战队阵容,lpl rng阵容

    LPL夏季赛的比赛正在进行中,组内赛即将于5号正式开赛。这几天关于RNG战队人员变动的消息很多,主要

    来源:中国自考网 2024-07-05
  • 大学专属日历,日历2024年日历表

    大学专属日历,日历2024年日历表

    2024年,深圳计划新开通5条地铁线路,共28公里,将进一步缓解龙岗坪地、南山科技园、宝安北部等片区

    来源:中国自考网 2024-07-05
  • 日历表2024日历全年黄道吉日,日历桌面显示

    日历表2024日历全年黄道吉日,日历桌面显示

    我喜欢用日历,不用月历。为什么?厚厚一本日历是整整一年的日子。每扯下一页,它新的一页——光亮而开阔的

    来源:中国自考网 2024-07-05
  • 山东省淄博第一中学举行新老高三对接交流活动

    山东省淄博第一中学举行新老高三对接交流活动

    中国高校之窗 为传承经验、创新教学,共享备考资源,集众智、开新局,7月2日至3日,山东省淄博第一中学举行了新老高三对接交流活动。新老高三年级领导小组聚焦教育教学管理的问题

    来源:中国自考网 2024-07-05
  • 理查德米尔中国官网,理查德米尔是什么牌子来的

    理查德米尔中国官网,理查德米尔是什么牌子来的

    ✨品牌介绍:品牌名:RICHARD MILLE中文名:理查米尔/理查德米勒创立地点:瑞士创始人:Ri

    来源:中国自考网 2024-07-05
  • rgb的数值,rgb用法

    rgb的数值,rgb用法

    干货|2019第一课:不懂这些,后期白学(一)在上一期我们讲解了什么是RGB以及RGB的由来,今天我

    来源:中国自考网 2024-07-05