丰言的博客

Google搜索的一些技巧。

介绍测地线距离在语义向量相似度中的应用。

论文地址：

• https://arxiv.org/abs/2206.06522

论文代码：

• https://github.com/ylsung/Ladder-Side-Tuning

论文地址：

• https://arxiv.org/abs/2005.11401v4

论文代码：

• https://github.com/huggingface/transformers/blob/master/examples/rag/

Mistral 7B

论文地址：

• https://arxiv.org/abs/2310.06825

论文代码:

• https://github.com/mistralai/mistral-src

论文主页：

• https://mistral.ai/news/announcing-mistral-7b/

Mixtral 8x7B

论文地址：

• https://arxiv.org/pdf/2401.04088.pdf

论文代码:

• https://github.com/mistralai/mistral-src

论文主页：

• https://mistral.ai/news/mixtral-of-experts/

原文链接在这里。

论文地址：

• https://arxiv.org/abs/2108.12409

论文代码：

• https://github.com/ofirpress/attention_with_linear_biases

在Hugging Face上传自己的模型和文件。

对日常Git的使用进行归纳和总结。

MQA(Multi Query Attention)和GQA(Grouped Query Attention)是在Attention上加速大模型计算的tricks，可以缩短模型训练周期和加快推理速度。

论文地址：

• MQA: Fast Transformer Decoding: One Write-Head is All You Need
• GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints

参考：
https://mp.weixin.qq.com/s/_4OxoRLxhOcjGf0Q4Tvp2Q