01.srt

1
00:00:00,000 --> 00:00:01,600
字幕组：赵含霖 谢鑫鑫

4
00:00:06,573 --> 00:00:08,685
Hello,大家好,我是ZOM酱

5
00:00:09,365 --> 00:00:11,390
欢迎来到ZOMI的课堂

6
00:00:11,675 --> 00:00:15,261
这一期视频已经拖更快半年了

7
00:00:15,261 --> 00:00:17,112
PPT也写好了有半年了

8
00:00:18,211 --> 00:00:22,237
而这一节里面主要是围绕AI框架

9
00:00:22,237 --> 00:00:25,625
或者训练平台的自动微分的功能

10
00:00:26,777 --> 00:00:29,584
这些内容主要是我在华为昇腾训练平台所积累的一些知识

11
00:00:29,584 --> 00:00:32,153
训练平台所积累的一些知识

12
00:00:32,153 --> 00:00:34,644
然后希望给大家去分享

13
00:00:35,412 --> 00:00:37,955
那在这个课程里面去聊一聊

14
00:00:37,955 --> 00:00:41,620
AI框架关于自动微分的一个重要性

15
00:00:42,652 --> 00:00:44,464
可以知道自动微分是贯穿整个AI框架的全流程

16
00:00:44,464 --> 00:00:47,566
贯穿整个AI框架的全流程

17
00:00:47,566 --> 00:00:49,072
没有了自动微分,也就没有了AI框架最核心的功能

18
00:00:49,072 --> 00:00:52,146
也就没有了AI框架最核心的功能

19
00:00:52,269 --> 00:00:54,675
大家可以想象一下

20
00:00:54,675 --> 00:00:57,614
假设在写一个神经网络的时候

21
00:00:57,614 --> 00:01:01,189
一般只会写一个正向的网络表达式

22
00:01:01,189 --> 00:01:02,992
后向的怎么办呢?反向的怎么办呢?

23
00:01:02,992 --> 00:01:04,753
反向的怎么办呢?

24
00:01:04,753 --> 00:01:06,210
这些其实都是由

25
00:01:06,210 --> 00:01:10,818
AI框架里面的自动微分功能去帮实现的

26
00:01:10,818 --> 00:01:13,840
所以刚才说自动微分这个功能在AI框架里面是非常非常的重要

27
00:01:13,840 --> 00:01:14,475
在AI框架里面是非常非常的重要

28
00:01:14,475 --> 00:01:16,225
 21 00:01:16,750 --> 00:01:18,914 那讲完这个课程背景

29
00:01:16,225 --> 00:01:16,282
之后

30
00:01:16,282 --> 00:01:18,914
 21 00:01:16,750 --> 00:01:18,914 那讲完这个课程背景

31
00:01:18,914 --> 00:01:22,050
来看看可能在这半个小时到一个小时的内容

32
00:01:22,050 --> 00:01:25,433
会学到或者了解到些什么东西

33
00:01:25,433 --> 00:01:28,816
首先第一个是微分的基本概念

34
00:01:28,816 --> 00:01:30,525
那微分其实分为很多种

35
00:01:30,525 --> 00:01:33,000
有数字微分,符号微分,自动微分 

36
00:01:33,000 --> 00:01:36,797
说白了,所谓的微分也就是求导嘛

37
00:01:36,797 --> 00:01:39,000
对FX进行求导这么一个过程

38
00:01:39,000 --> 00:01:45,000
而导术这个概念就是由天才牛顿发明的

39
00:01:46,000 --> 00:01:48,573
回到这个课程里面

40
00:01:48,573 --> 00:01:52,000
看看实际上自动微分的一个模式

41
00:01:52,000 --> 00:01:55,301
自动微分的模式有点复杂

42
00:01:55,301 --> 00:01:58,000
第一个有两种,向前还有向后

43
00:01:58,000 --> 00:02:01,189
一般在学术上

44
00:02:01,189 --> 00:02:04,000
称为前向微分和后向微分

45
00:02:04,000 --> 00:02:08,800
而前向微分和后向微分为了在数学上方便表达

46
00:02:08,800 --> 00:02:11,488
,会引入一个亚克比原理

47
00:02:11,488 --> 00:02:13,000
或者叫做亚克比矩阵

48
00:02:13,000 --> 00:02:16,000
去对微分进行表示 

49
00:02:16,000 --> 00:02:20,192
但是数学表示归数学表示

50
00:02:20,192 --> 00:02:23,000
实际上实现起来还是很复杂的

51
00:02:23,000 --> 00:02:25,440
可以这么说

52
00:02:25,440 --> 00:02:28,640
具体的实现方式有很多种

53
00:02:28,640 --> 00:02:32,000
这里面有其中三种是比较著名的 

54
00:02:32,000 --> 00:02:35,000
第一种就是表达式或者图的方式 

55
00:02:36,000 --> 00:02:38,880
第二种就是操作符从载

56
00:02:38,880 --> 00:02:44,000
操作符从载主要是依托一些语言的高级特性去实现的 

57
00:02:44,000 --> 00:02:49,000
第三种就是原码转换叫AST的一种方式 

58
00:02:49,000 --> 00:02:53,728
最后面两种方式可能是现在PyTorch

59
00:02:53,728 --> 00:02:56,000
Tensorflow或者MindSpore用的比较多的 

60
00:02:56,000 --> 00:03:00,000
在前面讲完基本原理之后

61
00:03:00,000 --> 00:03:07,000
会在后面的两小节里面去介绍一下基于表达式的前一项自动微分 

62
00:03:07,000 --> 00:03:11,136
也就是把刚才前一项的表达式

63
00:03:11,136 --> 00:03:14,720
连接起来,去实现一个自动微分

64
00:03:14,720 --> 00:03:18,000
告诉大家怎么去基于一个表达式实现自动微分

65
00:03:18,300 --> 00:03:23,652
第二个就是基于操作符从载的后项自动微分

66
00:03:23,652 --> 00:03:28,000
来去实现的。这种最典型的代表就是PyTorch 

67
00:03:28,000 --> 00:03:32,100
在最后一项当中就会去畅想一下

68
00:03:32,100 --> 00:03:35,750
大家也可以踊跃的去发言或者弹幕

69
00:03:35,750 --> 00:03:38,000
自动微分的一个未来和挑战 

70
00:03:42,800 --> 00:03:46,246
学习完这一堂课

71
00:03:46,246 --> 00:03:50,982
有一个目标,就是希望让大家了解到AI框架

72
00:03:50,982 --> 00:03:54,350
里面最重要的一个核心的原理

73
00:03:54,350 --> 00:03:55,800
就是自动微分 

74
00:03:55,800 --> 00:03:58,375
所以很多时候有同学会问我

75
00:03:58,375 --> 00:04:00,807
要不要学一个AI框架呢?

76
00:04:00,807 --> 00:04:04,000
学AI框架里面的核心算法和原理才是核心 

77
00:04:05,000 --> 00:04:10,151
第二个就是知道华为昇腾全场景AI框架

78
00:04:10,151 --> 00:04:12,875
MindSpore具体的实现方式 

79
00:04:13,275 --> 00:04:16,127
第三个就是去了解自动微分

80
00:04:16,127 --> 00:04:19,900
的发展的动向和未来要面临的挑战

81
00:04:19,900 --> 00:04:22,025
这就是学习这门课

82
00:04:22,025 --> 00:04:25,850
或者了解这个视频的一个最核心的目标