丰言的博客

总结一下文本对抗生成的方法。

传统Transformer的Self Attention架构会带来\(O(n^2)\)的复杂度，总结一下对Self Attention结构进行优化的工作。

机构：Google Research
论文地址：

• https://arxiv.org/pdf/2007.14062.pdf

论文地址：

• https://arxiv.org/pdf/2004.05150.pdf

论文代码：

• https://github.com/allenai/longformer

机构：OpenAI
论文地址：

• https://arxiv.org/pdf/1904.10509.pdf

原文链接：https://www.promptingguide.ai/zh

论文地址：

• https://arxiv.org/abs/2104.09864v4

论文代码：

• https://huggingface.co/docs/transformers/model_doc/roformer
• https://github.com/ZhuiyiTechnology/roformer

转自https://github.com/chenking2020/FindTheChatGPTer。 汇总开源AIGC大模型，持续更新。

机构： Meta AI Research
论文地址：

• https://arxiv.org/abs/2302.04761

论文地址：

• https://arxiv.org/abs/2104.08691