丰言的博客

转自https://github.com/chenking2020/FindTheChatGPTer。 汇总开源AIGC大模型，持续更新。

机构： Meta AI Research
论文地址：

• https://arxiv.org/abs/2302.04761

论文地址：

• https://arxiv.org/abs/2104.08691

论文地址：

• https://arxiv.org/abs/2101.00190

论文代码：

• https://github.com/XiangLi1999/PrefixTuning

论文地址：

• https://arxiv.org/abs/1902.00751

论文代码：

• https://github.com/google-research/adapter-bert

整理Markdown 公式编辑常用数学符号。

最近，深度学习的研究中出现了许多大型预训练模型，例如GPT-3、BERT等，这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中，ChatGPT模型因为在对话生成方面的表现而备受瞩目，成为了自然语言处理领域的热门研究方向。
然而，这些大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。为了解决这个问题，研究人员开始研究Parameter-Efficient Fine-Tuning (PEFT)技术。PEFT技术旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。这样一来，即使计算资源受限，也可以利用预训练模型的知识来迅速适应新任务，实现高效的迁移学习。因此，PEFT技术可以在提高模型效果的同时，大大缩短模型训练时间和计算成本，让更多人能够参与到深度学习研究中来。下面我们将深入探讨PEFT的一些主要做法。

机构：微软
论文地址：

• https://arxiv.org/abs/2106.09685

论文代码：

• https://github.com/microsoft/LoRA

机构：清华
论文地址：

• https://arxiv.org/abs/2110.07602

论文代码：

• https://github.com/THUDM/P-tuning-v2

机构：清华
论文地址：

• https://arxiv.org/abs/2103.10385

论文代码：

• https://github.com/THUDM/P-tuning