丰言的博客

MinHash算法和LSH（Locality Sensitive Hashing），用于快速估计两个集合的相似度。它们被广泛应用于大数据集的相似检索、推荐系统、聚类分析中，如今在大模型预训练的数据处理中也有使用到这两个算法。

如何清理过大的Git仓库。

介绍@Resource的配置。

整理收集大模型中文训练资源。

论文地址：

• https://arxiv.org/abs/2106.14448

论文代码：

• https://github.com/dropreg/R-Drop

Google搜索的一些技巧。

介绍测地线距离在语义向量相似度中的应用。

论文地址：

• https://arxiv.org/abs/2206.06522

论文代码：

• https://github.com/ylsung/Ladder-Side-Tuning

论文地址：

• https://arxiv.org/abs/2005.11401v4

论文代码：

• https://github.com/huggingface/transformers/blob/master/examples/rag/

Mistral 7B

论文地址：

• https://arxiv.org/abs/2310.06825

论文代码:

• https://github.com/mistralai/mistral-src

论文主页：

• https://mistral.ai/news/announcing-mistral-7b/

Mixtral 8x7B

论文地址：

• https://arxiv.org/pdf/2401.04088.pdf

论文代码:

• https://github.com/mistralai/mistral-src

论文主页：

• https://mistral.ai/news/mixtral-of-experts/