丰言的博客

论文地址：

• https://arxiv.org/abs/2005.11401v4

论文代码：

• https://github.com/huggingface/transformers/blob/master/examples/rag/

Mistral 7B

论文地址：

• https://arxiv.org/abs/2310.06825

论文代码:

• https://github.com/mistralai/mistral-src

论文主页：

• https://mistral.ai/news/announcing-mistral-7b/

Mixtral 8x7B

论文地址：

• https://arxiv.org/pdf/2401.04088.pdf

论文代码:

• https://github.com/mistralai/mistral-src

论文主页：

• https://mistral.ai/news/mixtral-of-experts/

原文链接在这里。

论文地址：

• https://arxiv.org/abs/2108.12409

论文代码：

• https://github.com/ofirpress/attention_with_linear_biases

在Hugging Face上传自己的模型和文件。

对日常Git的使用进行归纳和总结。

MQA(Multi Query Attention)和GQA(Grouped Query Attention)是在Attention上加速大模型计算的tricks，可以缩短模型训练周期和加快推理速度。

论文地址：

• MQA: Fast Transformer Decoding: One Write-Head is All You Need
• GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints

参考：
https://mp.weixin.qq.com/s/_4OxoRLxhOcjGf0Q4Tvp2Q

转载自：
https://zhuanlan.zhihu.com/p/636270877

梳理一个完整的LLM训练流程，包括：

1. 模型预训练（Pretrain）
2. 指令微调（Instruction Tuning）
3. 奖励模型（Reward Model）
4. 强化学习（RLHF）

由于需要在多个设备上更新Hexo博客，所以我在仓库中建立了两个分支，一个用来存放hexo generate生成的静态文件，一个用来存放博客源码。这样就可以在不同设备中通过git来管理博客。

这样就会导致一个问题，博客源码中一些没办法公开的东西也在仓库中被展示了出来。所以想着能不能将整个仓库变为private，从而隐藏信息。
然后就出现了一个新的问题，将仓库设置为private之后用github pages展示网页需要付费。

上面的路行不通之后就只能将静态文件和博客源码存在两个不同的仓库里了，存放静态文件（使用github pages）的仓库保持public，而存放博客源码的仓库设置为private。

但是这样一来更新博客源码和更新静态文件这两个部分就是割裂开来的，操作起来比较麻烦，那么如何更方便的更新和维护博客呢，以下就是探索出来的一条路。

记录金融股票学习需要阅读的书籍。