丰言的博客

对日常TensorFlow的使用进行归纳和总结。

对日常Pytorch的使用进行归纳和总结。

ModernBERT 是一个全新的模型系列，在速度和准确性两个维度上全面超越了 BERT 及其后继模型。这个新模型整合了近年来大语言模型（LLMs）研究中的数十项技术进展，并将这些创新应用到 BERT 风格的模型中。

介绍蒙特卡洛树搜索算法。

论文地址：

• STaR
• Quiet-STaR

对OpenAI o1可能用到的技术进行整理。

MinHash算法和LSH（Locality Sensitive Hashing），用于快速估计两个集合的相似度。它们被广泛应用于大数据集的相似检索、推荐系统、聚类分析中，如今在大模型预训练的数据处理中也有使用到这两个算法。

如何清理过大的Git仓库。

介绍@Resource的配置。

整理收集大模型中文训练资源。