Recurrent Neural Network,RNN。大家好,讓我們開始課程。

好的,讓我們談談 Recurrent Neural Network。

Recurrent Neural Network 其實可以做我們在上一堂課程中提到的事情。

Sequence Labeling。最後,我們會談論

它們之間的差異。

The example we are going to give is slot filling.We know that.AI customer service is very popular now.For instance, AI ticket booking systems.These customer services or ticket booking systems would often use slot filling.So, what does slot filling refer to?Slot filling refers to, for example, if someone tells your booking system.I would like to arrive Taipei on November 2nd, then your system should automatically send you a ticket.

I would like to arrive Taipei on November 2nd, then your system should automatically know that.There are some slots in itself.For example.In the booking system, there should be a slot named destination.And another slot named time of arrival.Your system needs to automatically know.The slot every word listed here belongs.Your system should know that Taipei belongs to the destination slot.And it should also know that November 2nd belongs to the time of arrival.

As for the other words, they don't belong to any slot.How do we solve this problem?Actually, for this problem.Of course, you can also use a feed-forward neural network to solve it.In other words, all stack one.Feed-forward neural network.And its input is a word.For example, if you turn Taipei into a vector and throw it into this neural network.If you want to throw a word into a vector, you can use the feed-forward neural network.

But if you want to throw a word into a neural network, you must first transform it.Into a vector.How do we represent a word using a vector?There are too many ways to do it and the most naive way.Is one of n encoding.I think we don't need to elaborate this more.Of course, you could use word vector to represent a word.Or there are also some.Methods beyond one of n encoding.For example.Sometimes, if you only use one of n encoding to describe a word.Then you can use a n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n-n

你会遇到一些问题

由于有那么多语言

你可能从来没有见过

你需要添加一个

更多的面积

与一个n引语

这个面积代表

Other 和所有语言

不在语文中

会被分成Other

例如Gandalf

不在语文中

所以它被分为Other

或者Sauron

它不在语文中

所以它也被分为这个面积

你也可以用

某种语言的语言来表达

它的面积

如果你用

一个语言的n引语

来代表那个面积

你不会有问题

有些语言不在语文中

例如你会有一个词叫Apple

在语文中

Apple 出现在了

ppl 出现在了

在这个面积中

这个面积的导向

导向Apple 是1

导向ppl 和ple

导向ppl 和ple 是1

导向ppl 和ple 是0

无论如何

假设我们可以用语言来代表一个面积

那你可以把这个面积

放在一个导向网络

结果你会希望

你的出口是一个

语文的准数

这个语文的准数

代表了语言里的准数

语言的准数

比如

台湾的准数

代表了目的地

台湾的准数

代表了出口时间

等等

但是

这并不是足够的

来代表导向网络

解决这个问题

为什么

假设一个用户说

到达是另一个

台湾是目的地

到达是另一个

11月2日是所有时间

但如果另一个用户说

离开台湾11月2日

那么台湾这次

应该是出口的地方

应该是出口的地方

而不是目的地

但对于语言网络来说

当输入是一样的时候

出口应该是一样的

当你输入台湾

当输入应该是目的地

当输入应该是目的地

或者是出口的地方

只有一个可以有最高的可能性

你不能让它

有时出口有最高的可能性

有时目的地

有最高的可能性

那么我们该怎么办

在这一刻

我们希望我们的讯息网络有记忆

我们希望我们的讯息网络有记忆

假设讯息网络有记忆

它记得之前

它看到了这个红的东西

它已经看见了

它已经看见了

它已经看见了

它已经看见了

它已经看见了

它的语言即将到达

它已经记得

它的语言即将到达

它已经记得

它已经记得

它已经记得

它已经记得

它已经记得

它已经记得

它已经记得

在你记得

在你记得

而你记待

而你记待

而你记待

和ал

war

然后它记得

和稀

和稀

和稀

和稀

和稀

和稀

和稀

和稀

和稀

如果人工智能网络有记忆,它可以解决同一词的输入问题。

但是有不同的输出。

好的,这种人工智能网络与记忆,叫做循环人工智能网络。

它的绰号是RNN。

在循环人工智能网络中,

每当我们的隐藏层次,

每当我们的隐藏层次中的 neuron 生成了输出,

输出都会存在记忆中。

在这里,我们使用蓝色的方块来代表记忆。

当这些隐藏层次中的 neuron 生成了输出时,

它们将被存在这些蓝色方块中。

下一次,

当这些隐藏层次中的输出时,

这些 neuron 不仅会考虑

输出 x1 和 x2,

它还会考虑

这些记忆中的数值。

对于 RNN 而言,除了 x1 和 x2,

记忆中的数值,

a1 和 a2 也会影响输出。

为了更好的理解,

我会直接举例。

假设所有组织的重量在图表上是 1,

所有 neuron 都没有偏差值。

我们也假设所有的启动功能都是线性的。

这样计算就不会太复杂了。

现在,假设我们的输入是一个系统。

我们的输入是 11 11 22。

然后我们输入系统 11 11 22

进入这个线性的 neuron 组织。

会发生什么?

首先,

在你开始时,

使用这个线性的 neuron 组织。

你必须给记忆中的数值。

你必须给记忆中的数值。

在输入任何东西之前,

你必须给它最初的数值。

例如,

我们假设记忆中的数值是 0 。

在输入任何东西之前。

现在我们输入第一个输入 11 。

接下来会发生什么?

对于这个 neuron 组织,

除了输入 11,

它还会输入 00 从记忆中。

因为我们说所有的重量是 1,

所以输出是 2,

而这个 neuron 组织的输出也是 2。

接下来会发生什么?

接下来,

因为所有的重量是 1,

输出的绿 neuron 组织是 4.

当我们输入 11,

输出是 44.

然后,

线性的 neuron 组织会存储

绿 neuron 组织的输出到记忆中。

结果,

记忆中的数值被更新为 2.

这 2 将被写入记忆中,

这 2 将被写入记忆中。

记忆中的数值被更新为 2.

之后,

我们会输入 1 和 1.

绿 neuron 组织的输出会是什么?

它有 4 个输入,

11 和 22,

然后所有的重量都是 1,

所以你加 2 加 2 加 1 加 1,

结果是 6.

最后,

红 neuron 组织的输出是 6 加 6 加 12,

因此当输入是 11,

当输入 11 第二次时,

输出是 12 12.

因此,在绿 neuron 组织中,

即使你输入同样的东西,

即使你输入同样的输出,

在这种情况下,

它是 1 和 1.

即使你输入同样的输出,

它将是 1 和 1.

在这种情况下,

输出可能会不一样,

因为记忆中的数值不同。

那么原始的数值呢?

绿 neuron 组织的输出是 6 和 6.

这些 6 和 6 将被存在记忆中,

并且将被存在记忆中。

因此 2 将被更新成 6.

接下来,我们的输入是

2 和 2,

假设输入是 22,

每个绿 neuron 组织都在这里。

我们会考虑 4 个输入, 2 和 2, 6 和 6.

那么 6 加 6 加 2 加 2,

答案是 16.

绿 neuron 组织的输出是 32.

因此,当输入是 2 和 2,

输出是 32.

当使用绿 neuron 组织时,

一件非常重要的事情是,

输入的细节

并非统一

当绿 neuron 组织考虑它时。

如果您随意改变输入组织的命令,

例如,将 2 和 2 移到顶端,

输出将完全不同。

因此,绿 neuron 组织

将考虑输入组织的命令。

如果我们想使用绿 neuron 组织

来解决缺口的问题,

它会看起来像这样。

一位用户说,

到达台湾在11月2日,

然后到达,

变成了一个绿 neuron 组织,

然后我们把它放入绿 neuron 组织。

绿 neuron 组织的隐藏层数的输出

写在这里是 A1。

这 A1 是绿 neuron 组织的输出,

因此,它实际上是绿 neuron 组织。

然后我们生产 Y1 基于这 A1。

这 Y1 是绿 neuron 组织的可能性。

然后, A1 将存在记忆中。

然后, Taipei 将成为输出。

然后,这隐藏层数会考虑

两个输出 Taipei 和 A1,

这两个输出 Taipei 和 A1,

这两个输出 Taipei 和 A1,

是存在记忆中的 A2。

然后我们生产 Y2 基于 A2。

Y2 是 Taipei 的可能性。

这个过程将再次重复。

我们再次重复。

我们再次重复。

我们再次重复。

我们再次重复。

这隐藏层数会考虑

两个输出 Taipei 和 A1。

还有 A2 在记忆中存在,

所以我们可以生产 Y3 基于 A3。

这层数代表了

这里属于的 Taipei 和 A1 存在的可能性。

这里有一个小记念,

有些人可能会说

在这张图片看过后

这里有三个网络。

不过,这不是三个网络,

这就是一个相同的网络。

被用了三次在三个不同的时间段

我用同样的颜色来代表同样的重量在这里的目的

同样的重量被同样的颜色代表

我希望您可以看到

因此,当我们有记忆

进入同一个词的问题

但希望有不同的效果

现在可以解决

例如,如果我们双方进入词体

因为红色的颜色代表离开

而绿色的颜色代表到达

离开和到达都有不同的方向

所以隐藏层的效果会有所不同

结果,记忆中的数值会有所不同

虽然X2的数值完全相同

但记忆中的数值会有所不同

所以隐藏层的效果会有所不同

最终的效果也会有所不同

好的,这是纯粹的

线路虚拟计划的概念

当然,您可以随意

设计线路虚拟计划的建筑

确实,它可以很深

我们刚才看到

线路虚拟计划只有一个隐藏层

它肯定可以是一个

深度的线路虚拟计划

例如,当我们进入X1

它可以通过一个隐藏层

然后通过第二个隐藏层

然后通过很多隐藏层

最终我们得到最终的效果

每个隐藏层的效果

都会存在记忆中

在下一段时间

每个隐藏层

会认识之前存在记忆中的数值

它会认识之前存在记忆中的数值

最终得到

最终效果

这个过程继续

您可以填满许多层

您可以填满许多层

如您愿意

线路虚拟计划

有不同类型的变化

我们刚才谈到的

叫做Ellman Network

如果我们保存隐藏层的数值

现在使用它

下一次

这就叫做Ellman Network

另一个叫

Jordan Network

Jordan Network

保存整个网络的效果

然后它会使用这个效果

在下一段时间

它保存记忆中最终效果

传说中

Jordan Network

可以有更好的表现

因为

这里的隐藏层

没有目标

所以很难控制

它会学习什么隐藏信息

以及它会把什么东西

放在记忆中

但是这个Y

它有目标

所以我们可以有更好的理解

把我们放在记忆中的东西

另外

线路虚拟计划

可以双方向

这意味着什么

我们刚才看到

在线路虚拟计划中

如果你进入一个句子

它会从开始读起

直到句子结束

假设我们用XT

来代表每个字在句子中

它会先读XT

然后XT加1

然后XT加2

然而

它的读取方向

可以

实际上

被反过来

它可以先读XT加2

然后XT加1

然后XT

你可以训练一个

前进的恢复虚拟计划

和一个后退的恢复虚拟计划

同时

然后取出隐藏层

从两个恢复虚拟计划

连接它们到一个处理层

来取得最终的Y

所以你把前进的恢复虚拟计划的处理层

当XT是入口

和后退的恢复虚拟计划的处理层

当XT是入口

连接到处理层

然后生成YT

然后生成YT加1

YT加2

之类

利用方向虚拟计划的好处是

当恢复虚拟计划的处理层

它会考虑更广泛的范围

如果你只有一个前进的组织

当生成YT和YT加1

你的组织只会看到X1到XT加1的部分

但是如果我们使用方向虚拟计划

当YT加1生成

你的组织不仅会考虑

所有从X1到XT加1的进口

也会考虑

XT加1

你的组织现在会考虑整个进口连接

假设你正在进行处理处理

你的组织是相等于考虑整个文字

在决定每个词的处理处

它会有更好的表现

相比于一个只是考虑半个文字

我们刚才谈到的恢复虚拟计划其实只是

恢复虚拟计划最简单的版本

这其实只是最简单的版本

我们刚才谈到的记忆是最简单的

也就是我们可以随时存取记忆中的价值

并随时读取记忆中的价值

但是现在更常用的记忆

叫做长短时间记忆

这个长短时间记忆的统称是LSTM

这个长短时间记忆比较复杂

这个长短时间记忆有三个门

考虑外在世界

当其他部位的脑络

当一个脑络的输出

想要写入记忆树

它必须先通过一个门

进口门

只有当这个进口门

快要被打开时

你才能写入记忆树的价值

如果它被锁住

没有办法写入其他脑络中的价值

至于进口门是否打开或关闭

这都是由脑络学习的

所以它可以学习打开进口门

和关闭进口门

如果进口门被关闭

那进出口呢

也有进出口门在进出口的位置

这个进出口门会决定

其他脑络能否从记忆中读取价值

当进出口门被关闭

没有办法读取价值

只有当进出口门被打开

价值才能被读

这和进出口门

被关闭是由脑络学习的

有一个第三个门叫做忘记门

忘记门决定

忘记过去记忆的东西

或者记忆的格式

当这个忘记门格式

记忆中存在的价值

或者保留存在的价值

是由脑络学习的

整个LSTM有四个进出口

和一个出口

这四个进出口是什么

一个是你想保留的价值

在记忆中

但它可能不能被保留

这取决于进出口门

决定是否让这些信息通过

和信号控制进出口门

和信号控制出口门

和信号控制忘记门

所以一个LSTM车

有四个进出口

但它只会生成一个出口

这里有一个词

你认为这个格式应该在哪里

我把它放在这个图片上

但这并不意味着我的图片是正确的

我可能突然发现

我犯了错误

如果您认为这个格式应该

放在长和短之间

提起你的手

不

如果您认为它应该

放在短和长之间

提起你的手

好的

把你的手放下

是的

它应该放在短和长之间

有时候我看到

有人把它放在长和短之间

实际上

这并不合理

它应该放在短和长之间

因为它实际上是一个短和长的记忆

它只是一个相对长和短的记忆

因此

根据这种语言的意义

它是一个相对长和短的记忆

因为我们之前提到的

恢复脑络

它的记忆会被清理

在每一刻

只要新的进口每次都出现

恢复脑络

恢复脑络会清理记忆

因此这个短和长是非常短的

它仅仅记忆

事情从前的时间点

但如果它是一个

长和短的记忆

它可以记住

长和长的记忆

只要ForgetGate

并没有决定

组成记忆

它的价值可以存储

好的

那么记忆树

如果您看它的

解释更仔细

它看起来像这样

这是从外面的进口

需要存储到车内

这是进口门

这是ForgetGate

这是出口门

假设

车内存储的进口

叫做Z

控制进口门的信号

叫做Z

这个所谓的信号

控制进口门

其实是一个扩大器

也是一个价值

我们将谈论

这个价值是从哪里来的

无论如何

这里有一个价值

它被视为

这个车内的进口

和这个ForgetGate

这里有一个价值

ZF

控制了它

还有一个价值

ZO

控制了出口门

组成这些东西之后

您最终会得到一个出口

写一个这里

好的

假设

这里有一个价值

已经存储在车内

正在进口这四个价值

哪个叫做Z

现在

假设您想进口

进口价值

叫做Z

这三个门

控制了Z

ZF

ZO

相互

会出现什么样子

我们把Z

通过一个启动功能

取得G

Z

然后通过Z

另一个启动功能

取得F

Z

这里

启动功能F

这些Z

ZF

ZO通过

通常我们选择SIGMOID功能

它的意思是

SIGMOID功能的出口价值

在0到1之间

和这个价值

代表了

关门有多大

如果F的出口

启动功能的出口是1

这意味着

关门现在在开放状态

相反

这意味着

关门

接下来

我们把G

Z

通过这个出口价值

F

Z

也就是

G

Z

Asterisk

F

Z

那ZF

这个忘记门的ZF呢

ZF的信号也通过了SIGMOID启动功能

取得F

ZF

然后

我们把F

ZF

通过记忆中存在的C价值

取得C

Asterisk

F

ZF

然后

加入C

Asterisk

F

ZF

到G

Z

Asterisk

F

Z

加入这两个一起取得C

C

是记忆中存在的新价值

记忆中存在的新价值

是C

所以

根据目前的计算

我们可以发现

这个F

Z

控制了G

Z

是否存在记忆中

因为当

F

Z

等于0

那么

G

Z

Asterisk

F

Z

等于0

就像没有存在

如果

F

Z

等于1

那么

G

Z

直接用作存在

那么

这个

F

Z

F

就是决定我们应不应该

清洗

记忆中存在的价值

如果

F

Z

F

是1

那么

当

FORGET GATE

开了

当

FORGET GATE

开了

C

会直接通过

这就等于

记忆中存在的价值

之前

如果

F

Z

F

等于0

那么

当

FORGET GATE

关闭了

那么

0

被C

与

记忆中存在的价值

一起

我们加上这两个价值

写在记忆中

以取得C

FORGET GATE

的转换

是相反的

对于我们的

理性思考

当

FORGET GATE

开了

它代表

记忆

当

它

关闭了

它代表

忘记

所以

我觉得

它的名字

有点奇怪

也许

它不应该

叫

FORGET GATE

接下来

这里有一个出口锁

这个出口锁

是由

ZO

控制的

并取得

F

ZO

通过F

如果

F

ZO

是1

那么我们会

乘以

F

ZO

由

H

C

如果

F

ZO

是1

这意味着

H

C

可以通过

出口锁

并

被

阅读

也许

你仍然不明白

所以

之后

我打算

制作一个

手写

LSTM

我从来没有

看过

手写

LSTM

在其他地方

所以

你可以

认为

我做了

这个页

很久

了

让我们

先说

我们想

给的

例子

我们的

进口

全是三个

面积

出口

全是

一个

面积

这三个

面积

之间的

关系

是什么

在

出口

和

记忆

这

关系

是什么

支持

当

第二个

面积

的

价值

X2

是

1

价值

X1

会被

存在

记忆

假设

价值

X2

是

-1

记忆

会被

重置

价值

存在

记忆

会被

忘记

假设

价值

3

是

1

你会

打开

出口

出口

当

1

在

这里

当

X2

是

1

3

会被

存在

记忆

价值

在这里

变成

3

然后

1

又

出现

在

这里

所以

4

会被

存在

记忆

所以

我们

可以

看到

1

6

会

存在

所以

价值

是

6

这里

1

是

出口

所以

价值

是

6

然后

我们

来

做

计算

这是

一个

记忆

价值

记忆

价值

漂亮

4

1

2

3

4

1

4

1

4

4

1

4

4

4

4

4

4

4

4

4

4

4

4

4

4

4

4

4

哪个价值应该被增加,并且哪个价值应该是偏差价值?

它是通过训练数据和线权线学习的。

我们只是假设我们已经知道这些价值。

然后我使用这些输入来得到输出。

让我们进行计算,但是在计算之前,

根据它的输入,根据这些设定,

让我们分析我们可能得到的结果。

您可以在这里看到,

X1是乘以1,所有其他东西是乘以0,

因此,在这里,我们只是使用X1作为输入,

然后我们看看输入门,

它是X2**100。

偏差是-10,也就是说,当X2没有价值,

因为偏差是-10,输入门通常会关闭。

如果偏差是-10,那么在启动功能之后,

这里是sigmoid,它的价值将接近0。

因此,输入门将关闭。

然后,如果X2有价值,

它将超过-10的偏差。

例如,如果X2是1,

它将大于偏差。

在此时,输入将是一个大的正数。

然后,输入门将开启。

那么忘记门呢?

忘记门通常会开启。

您会发现,由于偏差是10,

它通常会开启。

因此,它总是记住一些东西。

只有当X2是一个大的负面价值,

它将压抑偏差10并关闭忘记门。

那么输出门呢?

输出门通常会关闭,

它将超过-10的偏差。

如果X3有一个大的负面价值,

它可以压抑偏差并开启输出门。

那么让我们通过这个软件进行一些输入。

我们假设G和H都是线性的,

为了计算方便。

假设记忆中存在的最初价值是0。

好的,让我们输入第一个数字,310。

310的输入数字会发生什么?

310的输入数字会变成1,

因此这里的数值是3。

然后1×100-10,

因此这里的输入门大约是1。

因此它开了。

1×3,输入门通过后得到的数值是3。

那忘记门呢?

输入数字是310。

由于输入数字是310,

因此忘记门开了。

乘以0乘以1加3,

因此忘记门开了。

它没有价值,

因此它没有效果。

然后,0×1加3,

因此记忆中的价值变成3。

接下来,我们来看看输出门,

输入数字是310。

因此输出门仍然关闭,

3不能通过,因此输出是0。

接下来输入数字是410。

输入数字仍然是4。

然后这个410会打开输入门。

忘记门也会打开。

当忘记门打开后,

记忆中的价值是3×1加4,

即7。

输出门仍然关闭。

因此整个记忆中的输出仍然是0。

接下来会发生什么?

接下来的输入数字是200。

现在输入变成了2。

这输入门会发生什么?

输入门的启动功能是-10,

因此结果接近0,

0×2等于0。

因此输入门封锁了输入2。

那忘记门呢?

当我们输入200进入忘记门时,

启动功能的输入是10。

因此忘记门仍然是打开的。

然后7×1加0。

结果记忆中的价值并没有改变,

仍然是7。

然后这个7无法输出,

因为输出门仍然是关闭的。

因此输出仍然是0。

好,接下来输入数字是101。

什么会发生?

输入数字101,

这里的输入仍然是1。

输入门封锁了。

那忘记门呢?

因此忘记门仍然是同样的,

它是打开的。

因此记忆中的价值仍然是不改变的。

那输出门呢?

当输入101时,

你会打开输出门,

然后启动功能的输入变成90。

通过启动功能后,我们得到1。

然后1乘7等于7。

因此它将输出一个价值从记忆中。

记忆中的7价值将被读出。

最后,让我们试试3-1-0。

这个3被读入为输入。

输入门将被关闭。

那忘记门呢?

因为这个价值是-1,

忘记门的启动功能输入是-90。

启动功能输出是0。

因此,记忆中存在的价值将被清除。

记忆中存在的价值将被增加

忘记门的输出并变成0。

对于输出门来说,

它仍然被关闭,

但这并不重要是否被关闭,

因为记忆中的价值仍然是0。

那么它读出的价值也仍然是0。

这就是整个计算机的过程。

现在你可能会疑问,

这很不一样于我们之前看到的脑组织。

它和原始的脑组织有什么关系?

你可以这么想。

我们原始的脑组织里有很多的脉络。

我们将以不同重量积分进入脉络,

然后将它们作为不同的脉络的进口。

另外,每个脉络都有一个功能,

这将带入一种重量积分,

并释放另一种重量积分。

那么LSTM呢?

你可以想象LSTM的记忆组织是一个脉络。

所以如果我们今天想使用一个LSTM网络,

你只需要更换一个简单的脉络,

与一颗LSTM的脉络,

现在的进口X1和X2将被不同重量积分,

作为不同的LSTM的进口,

也就是说,

假设我们现在只有两个脉络在这个隐藏的层面上,

也就是说,只有两个LSTM,

但实际上你将有超过两个脉络。

你可能有,说,1000个脉络和1000个LSTM的记忆组织,

现在假设只有两个LSTM,

那么X1和X2将被一组重量积分,

来控制第一个LSTM的出口门。

再次,把它们分成另一组重量积分来控制第一个LSTM的进口门,

并把它们分成另一组重量积分来作为第一个LSTM的进口,

并把它们分成另一组重量积分来控制第一个LSTM的出口门。

第二个LSTM同样进行同样的过程。

X1和X2将被一组重量积分来控制第一个LSTM的出口门,

并且相同。

为了出口门,为了进口门,为了进口,为了忘记门。

现在,我们刚才提到LSTM有四个进口和一个出口,

而为了一个LSTM,四个进口都不一样。

第一个LSTM的四个进口都不一样,

第二个LSTM的四个进口都不一样。

在原始的智能网络中,

智能网络只有一个进口和一个出口。

LSTM需要四个进口来生产出口。

就像一些机器一样,它只需要一根力线来运行机器。

LSTM需要四根力线来运行LSTM机器。

LSTM需要四个进口,

而这四个进口都不一样。

LSTM需要的几个准备准备是

假设LSTM的网络有同样的数量的智能。

就像原始的智能网络,

LSTM需要的准备准备

将是四倍的一般智能网络。

从这个图片,您可以明显地看到

原始的智能网络只需要这部分的准备

来生产出口给智能网络。

但LSTM还需要控制三个其他进口,

所以它需要四倍的准备。

但这样,您可能仍然无法想象如何。

这与原始的智能网络有关。

这张图片并不像我们刚才学习的原始智能网络

因此,我们必须画出另一张图片来展示它。

假设我们现在有一个整个LSTM图片。

在这个LSTM图片的图片中,在每个记忆中,

有一个图片存在每个LSTM图片中。

击击所有图片一起,

我们会得到一个图片,C-T1。

每个图片存在一个记忆图片中,

代表一个面积在图片中C-T1。

现在,在时间T,

进入一个图片,X-T。

这个图片是首先通过一个线变化,

我们将它分解成一个图片来变成另一个图片Z。

您将X-T分解成一个图片来变成Z。

然后Z也是一个图片。

那么Z图片代表什么?

该图片的每个面积是什么?

每个Z面积,该图片操纵

每个LSTM的进口。

所以Z面积是正确的。

记忆图片的数字。

然后第一个Z面积控制了第一个图片的进口,

第二个面积控制了第二个图片,

之类的。

希望你们都明白我的意思。

好的,这个X-T将被另一个变化变化。

来得到ZI,而这个ZI,其面积也同样是图片的数字。

ZI的每个面积

会控制记忆图片。

例如,ZI的第一个面积控制了

第一个图片的进口,

第二个面积控制了第二个图片的进口,

以及最后一个面积控制了最后一个图片的进口。

那么忘记图片和出口图片呢?

它和之前一样。

乘以XT乘以一个变化来得到ZF,

ZF会控制每个忘记图片。

XT乘以另一个变化来得到ZO,

ZO会控制每个图片的出口图片。

好的,所以我们乘以XT乘以四个不同变化。

来得到四个不同的图片,

这四个图片的大小

正是类似于图片的数量。

这四个图片加起来会控制

这些记忆细胞的运作。

好的,我们知道记忆细胞像这样,

进口是Z,ZI,ZF,ZO。

注意这四个Z其实是图片。

进口的价值其实只是每个图片的面积。

因为每个图片的进口来自于图片的不同面积。

它们的进口价值会不同。

然而,所有图片都可以一起计算。

如何呢?

我们说Z应该被ZI的价值乘以。

ZI通过一个启动功能。

所以我们首先通过启动功能通过ZI,

并与Z乘以。

注意这里的乘以是Y的乘以。

这个ZF也应该通过。

忘记门的启动功能。

它被积累在记忆细胞的价值中。

它被积累在记忆细胞的原始价值中。

接下来,加入这两个价值。

你只需要加入ZI和Z的乘以。

与ZF和C的乘以,T1。

加入它们。

好的,对于出口的出口,

ZO通过启动功能,

并与

之前的增加的结果乘以。

并得到最终的出口YT。

这次增加的结果

是记忆中存在的价值,

也就是CT。

然后这个过程会在下一个时间表中重复。

在下一个时间表中,

输入XT加1。

然后,你乘以Z出口的出口。

你乘以忘记的出口

与记忆中存在的价值。

然后加入这个价值

这个价值

并乘以出口的价值。

然后得到出口

在下一个时间点像这样。

然后你可能会觉得

这已经很复杂了。

如果你自己制作一个视频表,

这显然会需要很长的时间。

然而,这并不是最终的LSTM版本。

这只是一个简单的版本。

什么是一个真正的LSTM呢?

它会把出口发送到下一个时间表中。

它会把这个隐藏层的出口

作为下一个时间表的进口。

换言之,

两个时间表的进口

在前一个时间表的出口

影响了这些出口的计算。

事实上,

不仅如此,

人们还加入了一个叫出口的东西。

什么是出口呢?

THP出口

也是把价值发送到记忆中。

到下一个时间表。

所以当你操作LSTM的四个出口时,

你同时要考虑X,H,C。

你组合这三个数字

并将它们分成四个不同的转变

以获得这四个不同的数字。

来控制LSTM。

通常,LSTM并没有只有一个层。

现在是常规的五或六层,

所以它看起来像这样。

而每个人第一次看到这个,

他的反应就像这样,

我刚才看到了什么?

我记得最远的,

系统模式的作者,

他曾经对我说过一句话。

他说第一次看到LSTM,

他的反应就像这个图片一样。

这太复杂了。

这并不会成功。

我知道所有人都觉得这并不会成功。

第一次看到LSTM,

但现在实际上已经很常见了。

所以当有人告诉你,

他们解决了RNN的问题,

你会问他为什么不使用LSTM?

因为他实际上使用LSTM。

现在当你说你使用RNN时,

你实际上是在说使用LSTM。

所以这其实很普通。

其实Keras支持LSTM,

所以即使你不明白

我们刚才说的复杂的事情,

你只需要在Keras中

写下L, S, T, M, 然后就结束了。

Keras实际上支援三种

复杂的脑络组织。

一个是LSTM,

一个是GRU。

GRU是一个比较简单的版本LSTM。

它只有两个门。

与LSTM相比,

它有一个更少的门,

但它的表现与LSTM相似,

因为它有三分之一的缺点。

它可以阻挡一些复杂的东西。

如果你想使用最简单的RNN,

我们在这堂课的开始时

已经讲过了。

你必须明确地告诉Keras

你想使用简单的RNN。

那我想我们今天就先说到这里。

谢谢。

台湾国际大学

人工智能研究中心,

科学和技术部门,

人工智能技术组织研究中心,

人工智能研究中心,

科学和技术部门,

台湾国际大学