Transformers

transformers(与pytorch-transformerspytorch-pretrained-bert相似)是python的一个库,它提供了用于自然语言理解(NLU)和自然语言生成(NLG)的多种预训练模型(BERT,GPT-2,RoBERTa,XLM,DistilBert,XLNet…..),为100多种语言提供了超过32种的预训练模型,并实现Tensorflow 2.0和Pytorch的深度互操作。

阅读更多 >>

机器学习笔记

分类

准确率:所有样本中预测正确的占比

精确率:预测为正的样本中真正的正样本占比

阅读更多 >>

矩阵中的求导

标量对向量求导

阅读更多 >>

交叉熵损失的反向传播

对于一个单标签多分类问题,假设网络的输出层的输入为$Z_{in}=[z_1,\cdots,z_i,\cdots,z_n]$,输出为$\hat Y=[\hat y_1,\cdots,\hat y_i,\cdots,\hat y_n]$,真实类标签为$Y = [y_1,\cdots,y_i,\cdots,y_n]$,$n$为类别数(输出层神经元数),通常有:

阅读更多 >>

日常笔记-1

pickle序列化与反序列化

import pickle as plk

阅读更多 >>

nvidia显卡驱动错误

系统使用bumblebee实现双显卡(N卡和集成显卡)切换,
同时有N卡的开源驱动nouveau和专有显卡驱动nvidia

使用命令

optirun glxspheres64
# 或者optirun glxspher

阅读更多 >>

基于统计的分词方法

1.n元语言模型(n-gram)

假设$S$表示长度为$i$,由$(w_1,w_2,\dots,w_m)$字序列组成的句子,则代表$S​$的概率为:

阅读更多 >>

神经图灵机

Neural Turing Machines[原文]

    阅读更多 >>