丰言的博客

对日常TensorFlow的使用进行归纳和总结。

对日常Pytorch的使用进行归纳和总结。

转载自https://zhuanlan.zhihu.com/p/1940732079726912160。

论文地址：

• https://arxiv.org/pdf/2502.11089

Native Sparse Attention(NSA)是DeepSeek-AI团队开发的框架，用以解决Transformer架构中注意力机制\(O(n^2)\)复杂度的问题。

参考https://www.anyscale.com/blog/continuous-batching-llm-inference

参考https://blog.csdn.net/u010698107/article/details/129000177

Git版本控制中，git rebase和git merge这两个命令都可以用来集成从一个分支和另一个分支的更改。它们是两种不同的合并方法，本文将介绍它们的差异。

介绍SGD、SGDM、Adagrad、RMSProp、Adam等优化器算法

• MTP论文
• DeepSeekMoE论文

官方介绍：

• https://www.anthropic.com/news/model-context-protocol

MCP 是一个开放协议，用于标准化应用程序向大语言模型提供上下文的方式。可以将 MCP 想象成 AI 应用程序的 USB-C 接口。就像 USB-C 为设备连接各种外设和配件提供了标准化方式一样，MCP 为 AI 模型连接不同的数据源和工具提供了标准化方式。

详解PPO算法和GRPO算法。