• p99 UCB1 算法公式两项的含义

    image-20220620222856389

    image-20220620222610471

    image-20220620223211284

  • A*

    image-20220621103752077

    image-20220621103832037

  • 3.4.3 蒙特卡洛树搜索算法 p103 图 3.24, 3.25, 3.26

    image-20220621124955132

    image-20220621125025580

    image-20220621125404271

    image-20220621130016095

    image-20220621130226727

    UCB 值的分母都为当前结点的被访问次数（右），开方外的分子为收益分数，开方内 ln 后的为父节点的被访问次数

    image-20220621130723401

    image-20220621130754727

  • Alpha-Beta 剪枝算法 p102 图 3.16 例题：MIN 更新上界，MAX 更新下界

    image-20220621111558025

    image-20220621112355664

    image-20220621112953625

  • p269 Q 学习算法 图 7.10 例题

    image-20220621131654623

  • P43 内生变量，外生变量

    image-20220620225820304

    image-20220620225823514

    image-20220620230159874

  • P45 乘积分解规则 例 2.20

    image-20220620232813240

    image-20220620233200681

  • p50 D - 分离 例 2.25

image-20220621002520991

  • 什么是深度学习中的梯度爆炸和梯度消失？产生的原因分别是什么？分别有哪些方法可以缓解？

    我们最优的权值就是为了寻找下图中的最小值点，对于这种数学寻找最小值问题，采用梯度下降的方法再适合不过了。因此，对于神经网络这种参数式的方法，使用梯度更新可以用来寻找最优的参数。

    梯度爆炸一般出现在深层网络和权值初始化值太大的情况下

    image-20220621114703950

    梯度剪切这个方案主要是针对梯度爆炸提出的，其思想是设置一个梯度剪切阈值，然后更新梯度的时候，如果梯度超过这个阈值，那么就将其强制限制在这个范围之内。这可以防止梯度爆炸。

    relu 等激活函数

  • 什么是 SVM 分类器的核函数，为什么要使用核函数？

    1. 在实际数据上经常遇到线性不可分的情况 而解决方法是将特征映射到更高维的空间去
    2. 凡是遇到线性不可分的情况 一律映射到高维度空间 会出现维度爆炸的情况
    3. 核函数虽然也是将特征进行从低维到高维的转化 但是是在低维上进行计算 而实际的效果表现在高维上 解决了维度爆炸的问题

  • SVM 初始优化问题为什么要引入软间隔，并解释等价的 hinge 损失函数。

    有些时候，有噪声点数据是线性不可分的，这样的话就无法以用硬间隔去做，只能用软间隔 SVM。（目的：为了去解决一些线性不可分的数据集）

    1. 实现了软间隔分类（这个 Loss 函数都可以做到）
    2. 保持了支持向量机解的稀疏性
    3. HingeLoss 的零区域对应的正是非支持向量的普通样本，从而所有的普通样本都不参与最终超平面的决定，这才是支持向量机最大的优势所在，对训练样本数目的依赖大大减少，而且提高了训练效率。

    image-20220621123208279

  • 6.6.1 词向量模型

  • 第二章 人工智能的 Agent-Environment 模型