【文献阅读】MQA和GQA
MQA(Multi Query Attention)和GQA(Grouped Query Attention)是在Attention上加速大模型计算的tricks，可以缩短模型训练周期和加快推理速度。
论文地址：
从零开始训练大模型
转载自：
https://zhuanlan.zhihu.com/p/636270877
梳理一个完整的LLM训练流程，包括：
- 模型预训练（Pretrain）
- 指令微调（Instruction Tuning）
- 奖励模型（Reward Model）
- 强化学习（RLHF）
Hexo配置私有仓库
由于需要在多个设备上更新Hexo博客，所以我在仓库中建立了两个分支，一个用来存放hexo generate生成的静态文件，一个用来存放博客源码。这样就可以在不同设备中通过git来管理博客。
这样就会导致一个问题，博客源码中一些没办法公开的东西也在仓库中被展示了出来。所以想着能不能将整个仓库变为private，从而隐藏信息。
然后就出现了一个新的问题，将仓库设置为private之后用github pages展示网页需要付费。
上面的路行不通之后就只能将静态文件和博客源码存在两个不同的仓库里了，存放静态文件（使用github pages）的仓库保持public，而存放博客源码的仓库设置为private。
但是这样一来更新博客源码和更新静态文件这两个部分就是割裂开来的，操作起来比较麻烦，那么如何更方便的更新和维护博客呢，以下就是探索出来的一条路。
金融股票学习需要阅读的书籍
记录金融股票学习需要阅读的书籍。
字形特征的提取方法总结
最近做了一些提取字符形状特征的工作，这里进行一下总结。
量化交易学习
量化交易是指以先进的数学模型代替人为的主观判断，利用计算机技术，从庞大的历史数据中筛选出能带来超额收益的多种大概率事件以制定策略，极大地减少投资者情绪波动所带来的影响，避免在市场极度狂热或悲观的情况下做出非理性的投资决策的一种交易方式。其核心思想是通过系统性的方法捕捉市场中的价格和波动性变化，从而实现更稳定和可持续的投资回报。在量化交易中，交易决策通常基于大量的历史市场数据，利用计算机程序来自动执行交易。
量化交易的基本步骤包括数据收集、模型构建、策略测试和实际交易。首先，交易者需要收集各种市场数据；然后，利用统计学和机器学习技术来构建数学模型，分析市场的历史行为、寻找规律和模式。接下来，交易者会通过历史数据模拟不同的交易策略，以评估其在不同市场环境下的表现。一旦找到有效的策略，交易者就会将其应用于实际交易中。
量化交易的优势在于它能够消除情绪和主观因素对交易决策的影响，从而减少人为错误。它具有较强的纪律性，能克制人性中的贪婪、恐惧和侥幸心理等弱点。此外，量化交易可以在瞬间执行大量交易，实现高效的交易操作。不过，量化交易也面临着一些挑战，包括数据质量、模型过拟合、市场变化等，需要我们实时监控策略的有效性。
以下内容转载自https://www.joinquant.com/。
模型部署入门教程
转载自
https://www.zhihu.com/people/openmmlab
https://mmdeploy.readthedocs.io/zh_CN/latest/tutorial/06_introduction_to_tensorrt.html
介绍以下内容：
- 部署流水线 PyTorch - ONNX - ONNX Runtime/TensorRT 的示例及常见部署问题的解决方法
- PyTorch 模型转换到 ONNX 模型的方法
- 中间表示 ONNX 的定义标准
- 推理引擎 ONNX Runtime、TensorRT 的使用方法
Ubuntu安装微信教程
通过deepin-wine方式在Ubuntu22.04中安装微信。