丰言的博客

机构：Google
论文地址：

• https://arxiv.org/abs/1810.04805v2

论文代码：

• https://github.com/google-research/bert

假设有一个文本（n words）和大量关键字（m keywords），如何在文本中匹配所有关键字？ 简单实现，可以将每个关键字与文本进行比较，伪代码如下图，这样时间复杂度为O(n*m)，是非常缓慢的，有没有更高效的算法实现呢？

1
2
3
4
5

for(i=0;i<m;i++){
    if(keywords[i] in words){
        print("find" + keywords[i]);
    }
}

论文地址：

• https://arxiv.org/abs/2002.05709

论文代码：

• https://github.com/google-research/simclr

不同于RNN、CNN等模型，对于Transformer模型来说，位置编码的加入是必不可少的，因为纯粹的Attention模块无法捕捉到输入的位置信息，即无法区分不同位置的Token。为此，我们大体有两种选择：

1. 将位置信息融入到输入中，这构成了绝对位置编码的一般做法
2. 调整Attention模块，使其有能力分辨不同位置的Token，这构成了相对位置编码的一般做法。

转载自Jake Boxer的博客。

Markdown语法的记录，方便以后使用。

在NLP模型中，输入通常是一个句子，例如"I went to New York last week"，一句话中包含很多单词(token)。传统的做法是将这些单词以空格进行分隔，例如['i', 'went', 'to', 'New', 'York', 'last', 'week']。然而这种做法存在很多问题，例如模型无法通过old, older, oldest之间的关系学到smart, smarter, smartest之间的关系。如果我们能使用将一个 token 分成多个 subtokens ，上面的问题就能很好的解决。本文将详述目前比较常用的subtokens算法——BPE（Byte-Pair Encoding）。

Hexo-NexT主题可以通过git pull进行平滑更新，但在之前的版本中，如果对NexT主题做了自定义修改，就会使得主题更新变得比较麻烦。目前版本可以通过数据文件将配置与主题分离，同时也可以把自定义布局、样式放到数据文件中，不用再修改主题源码，便于后续更新。

机构：OpenAI
论文地址：

• GPT1: Improving Language Understanding by Generative Pre-Training
• GPT2: Language Models are Unsupervised Multitask Learners
• GPT3: Language Models are Few-Shot Learners

论文代码：

• GPT1: Improving Language Understanding by Generative Pre-Training
• GPT2: : Language Models are Unsupervised Multitask Learners
• GPT3: Language Models are Few-Shot Learners

最近ChatGPT大火，写一篇介绍ChatGPT起源的文章来梳理一下自己对ChatGPT的理解。