丰言的博客

对各种tokenization方法进行总结。

Ubuntu实用软件推荐。

参考:

• https://www.jianshu.com/p/9f113adc0c50
• https://zhuanlan.zhihu.com/p/468828804
• https://www.bilibili.com/video/av24724071/?p=4

总结一下文本对抗生成的方法。

传统Transformer的Self Attention架构会带来\(O(n^2)\)的复杂度，总结一下对Self Attention结构进行优化的工作。

机构：Google Research
论文地址：

• https://arxiv.org/pdf/2007.14062.pdf

论文地址：

• https://arxiv.org/pdf/2004.05150.pdf

论文代码：

• https://github.com/allenai/longformer

机构：OpenAI
论文地址：

• https://arxiv.org/pdf/1904.10509.pdf

原文链接：https://www.promptingguide.ai/zh

论文地址：

• https://arxiv.org/abs/2104.09864v4

论文代码：

• https://huggingface.co/docs/transformers/model_doc/roformer
• https://github.com/ZhuiyiTechnology/roformer