丰言的博客

介绍如何将Hexo博客从旧电脑迁移到新电脑中。

机构：Google Brain
论文地址：

• https://arxiv.org/abs/1706.03762

论文代码：

• https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/models/transformer.py

在这篇文章中，我们将介绍一下NLP中经常使用的自监督任务。文章将重点介绍任务的构建思路，模型的具体实现在这里不再详细展开。

Spring Boot让我们的Spring应用变的更轻量化。我们不必像以前那样繁琐的构建项目、打包应用、部署到Tomcat等应用服务器中来运行我们的业务服务。通过Spring Boot实现的服务，只需要依靠一个Java类，把它打包成jar，并通过java -jar命令就可以运行起来。这一切相较于传统Spring应用来说，已经变得非常的轻便、简单。

总结一下Spring Boot的主要优点：

1. 使所有Spring开发者更快的入门
2. 开箱即用，提供各种默认配置来简化项目配置
3. 内嵌式容器简化Web项目
4. 没有冗余代码生成和XML配置的要求

机构：Google
论文地址：

• https://arxiv.org/abs/1810.04805v2

论文代码：

• https://github.com/google-research/bert

假设有一个文本（n words）和大量关键字（m keywords），如何在文本中匹配所有关键字？ 简单实现，可以将每个关键字与文本进行比较，伪代码如下图，这样时间复杂度为O(n*m)，是非常缓慢的，有没有更高效的算法实现呢？

1
2
3
4
5

for(i=0;i<m;i++){
    if(keywords[i] in words){
        print("find" + keywords[i]);
    }
}

论文地址：

• https://arxiv.org/abs/2002.05709

论文代码：

• https://github.com/google-research/simclr

不同于RNN、CNN等模型，对于Transformer模型来说，位置编码的加入是必不可少的，因为纯粹的Attention模块无法捕捉到输入的位置信息，即无法区分不同位置的Token。为此，我们大体有两种选择：

1. 将位置信息融入到输入中，这构成了绝对位置编码的一般做法
2. 调整Attention模块，使其有能力分辨不同位置的Token，这构成了相对位置编码的一般做法。

转载自Jake Boxer的博客。

Markdown语法的记录，方便以后使用。