矩阵中的求导

标量对向量求导

阅读更多 >>

交叉熵损失的反向传播

对于一个单标签多分类问题,假设网络的输出层的输入为$Z_{in}=[z_1,\cdots,z_i,\cdots,z_n]$,输出为$\hat Y=[\hat y_1,\cdots,\hat y_i,\cdots,\hat y_n]$,真实类标签为$Y = [y_1,\cdots,y_i,\cdots,y_n]$,$n$为类别数(输出层神经元数),通常有:

阅读更多 >>

日常笔记-1

pickle序列化与反序列化

import pickle as plk

阅读更多 >>

nvidia显卡驱动错误

系统使用bumblebee实现双显卡(N卡和集成显卡)切换,
同时有N卡的开源驱动nouveau和专有显卡驱动nvidia

使用命令

optirun glxspheres64
# 或者optirun glxspher

阅读更多 >>

基于统计的分词方法

1.n元语言模型(n-gram)

假设$S$表示长度为$i$,由$(w_1,w_2,\dots,w_m)$字序列组成的句子,则代表$S​$的概率为:

阅读更多 >>

神经图灵机

Neural Turing Machines[原文]

    阅读更多 >>

    运用自注意力机制检测相关语境进行多论对话

    ReCoSa: Detecting the Relevant Contexts with Self-Attention forMulti-turn Dialogue Generation[原文]

    模型

    阅读更多 >>

    小样本学习的边缘标签图神经网络

    Edge-Labeling Graph Neural Network for Few-shot Learning[原文]

    小样本学习的边缘标签图神经网络

    阅读更多 >>

    记一次GRUB引导修复

    使用Arch Linux已经2年多了,基本上已经习惯了,可前段时间英雄联盟也出了“自走棋”,想要体验一把。
    于是就在硬盘剩余的60多个G上装了Windows 10,用了一两个月没有问题,最后再一次Windows 10更新后,蓝屏了。又手惨的点了Windows 的修复功能。等了半天,结果是修复,重启,蓝屏无限循环。而且Arch Linux的引导全都没了,感激应该是Windows的修复动了efi分区。
    无奈只能新修复引导,各种方法尝试了好多边都是卡在了GRUB _一直闪这个状态,最终在官网wiki找到了办法
    缺省/后备启动路径
    grub 安装时添加--removable参数

    阅读更多 >>

    深度学习在中文分词和词性标注中的应用

    得到字向量->通过窗口方法得到字与上下文有关的向量(矩阵)->通过两个线性层和一个非线性激活函数->字的标注得分(窗口方法)->一个句子的评分矩阵$f_\theta (c_{[1:n]})$ (句子中的第$i$ 个子为标签$t$ 的得分)->定义转换分数$A_{ij}$,得到tag path 得分

    阅读更多 >>