丰言的博客

整理收集大模型中文训练资源。

论文地址：

• https://arxiv.org/abs/2106.14448

论文代码：

• https://github.com/dropreg/R-Drop

Google搜索的一些技巧。

介绍测地线距离在语义向量相似度中的应用。

论文地址：

• https://arxiv.org/abs/2206.06522

论文代码：

• https://github.com/ylsung/Ladder-Side-Tuning

论文地址：

• https://arxiv.org/abs/2005.11401v4

论文代码：

• https://github.com/huggingface/transformers/blob/master/examples/rag/

Mistral 7B

论文地址：

• https://arxiv.org/abs/2310.06825

论文代码:

• https://github.com/mistralai/mistral-src

论文主页：

• https://mistral.ai/news/announcing-mistral-7b/

Mixtral 8x7B

论文地址：

• https://arxiv.org/pdf/2401.04088.pdf

论文代码:

• https://github.com/mistralai/mistral-src

论文主页：

• https://mistral.ai/news/mixtral-of-experts/

原文链接在这里。

论文地址：

• https://arxiv.org/abs/2108.12409

论文代码：

• https://github.com/ofirpress/attention_with_linear_biases

在Hugging Face上传自己的模型和文件。