TensorFlow可微编程实践1---自动微分简介

在程序中求导数和微分一般有四种方式：
1. 手动求微分：采用纯人工方式，与计算机无关，这种我们不进行讨论
2. 数值方法：这种方式利用导数的定义，直接求解微分值
3. 符号微分法：通过解析式找到函数导数的表达式，将其转化为计算机程序
4. 自动微分：采用类似有向图的计算来求解微分值

在这里我们以一个较为复杂的多项式函数为例，来说明三种计算方式的不同。函数定义为：

l1=x$l_1=x$

ln+1=4⋅ln⋅(1−ln)$l_{n+1}=4\cdot l_n\cdot (1-l_n)$

f(x)=l4=64⋅x⋅(1−x)⋅(1−2x)2⋅(1−8x+8x2)2$f\left(x\right)=l_4=64\cdot x\cdot (1-x)\cdot (1-2x{)}^2\cdot (1-8x+8x^2{)}^2$

程序中可以定义为：

@tf.custom_gradientdef f3(x, n):
    v = tf.pow(x, n)    def grad(dy):
        return (dy* (n*tf.pow(x, n-1)) ).numpy()    return v.numpy(), graddef dp1_f1(x):
    return 64*x*(1-x)*f3(1-2*x,2)*f3(1-8*x+8*x*x, 2)

这里需要特别注意，TensorFlow Eager Execution API不能处理诸如math.pow这类函数的导数，因此需要我们定义新的函数，告诉TensorFlow怎样求导，所以我们定义了f3函数，并定义了其导数的计算方法。
- 数值方法
我们知道在高等数学中，对函数y=f(x)的导数定义为：

dydx=limΔx0f(x+Δx)−f(x)Δx$\frac{dy}{dx}=\underset{\Delta x0}{lim}\frac{f(x+\Delta x)-f\left(x\right)}{\Delta x}$

根据这个定义，我们可以求任意复杂函数的导数，但是对于复杂的尤其是多维函数，由于计算机数字表示的有限精度问题，这种方式存在运算量大而且精度不高的问题，通常只用于验证我们用其他方法求出的微分值的正确性。

def dp_numeric_diff(x):
    delta_x = 0.0001
    return (dp1_f1(x+delta_x)-dp1_f1(x))/delta_x

• 符号微分法
  这种方法的核心是通过人工求出函数的微分的解析式，然后编制为程序，最后通过程序来计算函数的微分值。这种方式的精度最高，但是通常函数微分解析式非常复杂，求解过程中极易出错，同时这种方式仅适合可以写出解析式的情况，对于隐式方程形式，就无法求解了。
  我们可以求出导数的解析表达式为：
  

  dydx=128x(1−x)(−8+16x)(1−2x)2+64(1−x)(1−2x)2(1−8x+8x2)2−64x(1−2x)2(1−8x+8x2)2−256x(1−x)(1−2x)(1−8x+8x2)2$\frac{dy}{dx}=128x(1-x)(-8+16x)(1-2x{)}^2+64(1-x\left)\right(1-2x{)}^2(1-8x+8x^2{)}^2-64x(1-2x{)}^2(1-8x+8x^2{)}^2-256x(1-x\left)\right(1-2x\left)\right(1-8x+8x^2{)}^2$

  
  具体的程序实现为：

def dp_symbolic_diff(x):
    return 128*x*(1 - x)*(-8 + 16*x)*( math.pow((1 - 2*x), 2) )*
            (1 - 8*x + 8*x*x)+ 
            (64*x* math.pow((1 -2*x), 2) )*math.pow((1 - 8*x + 8*x*x), 2) -            256*x*(1 - x)*(1 - 2*x)*math.pow((1 - 8*x+ 8*x*x), 2)

• 自动微分
  下面我们来用自动微分方法来求解这个问题。首先我们画出这个问题对应的计算图，如下图所示：
  

图中的l1就是自变量x，根据定义可知l2=4⋅l1⋅(1−l1)$l_2=4\cdot l_1\cdot (1-l_1)$，我们一方面可以根据这个值求出l2$l_2$的值，同时也可以求出

dl2dl1=(4⋅l1⋅(1−l1))′=(4⋅l1−4⋅l21)′=4l′1−8l1l′1$\frac{d{l}_2}{d{l}_1}=(4\cdot l_1\cdot (1-l_1){)}^{{}^{\prime }}=(4\cdot l_1-4\cdot l_1^2{)}^{{}^{\prime }}=4l_1^{{}^{\prime }}-8l_1{l}_1^{{}^{\prime }}$

其余过程以此类推。
根据上面的计算图，我们采用普通的Python程序即可计算出导数值：

def dp_ad_python(x):
    (v, dv) = (x, 1)    for i in range(3):
        (v, dv) = (4*v*(1-v), 4*dv-8*v*dv)    return (v, dv)

运行以上程序，计算结果为：

如图所示，符号微分和自动微分算出的结果是一致的，而数据微分的结果与其略有不同，说明数值微分还是有误差的。
如果采用TensorFlow Eager Execution API来进行计算，代码如下所示：

def dp_ad_tfe(x):
    #tf.enable_eager_execution()
    tfe = tf.contrib.eager
    grad_lx = tfe.gradients_function(dp1_f1)
    x = 3.0
    y = dp1_f1(x)
    rst = grad_lx(x)    return y, rst[0]

我们采用如下代码来调用这些微分方法：

def test(args={}):
    x = 3.0
    y = dp1_f1(x)
    print('函数值：{0}'.format(y))
    numeric_diff = dp_numeric_diff(x)
    print('数值微分：{0}'.format(numeric_diff))
    symbolic_diff = dp_symbolic_diff(x)
    print('符号微分：{0}'.format(symbolic_diff))
    y, dv = dp_ad_python(x)
    print('自动微分：{0}'.format(dv))
    v, d = dp_ad_tfe(x)
    print('TFE：{0}'.format(d))

其结果如下所示：

由此可以看出，采用符号微分、纯Python自动微分、TensorFlow Eager Execution API求出的结果是一致的，都是比较精确的结果，而数值微分的结果会有一定的误差。

原文出处