福生无量摸鱼天尊

Context Manager 多模态数据的处理 现在大模型系统的对话窗口和处理数据会产生大量的上下文，后续的qa往往会用到其中一部分上下文，所以建立有效的context engine是十分必要的。 NLP 用时问戳标记上下文 一种常见的设计是在每条信息上附加时间戳，以保留其生成的顺序。这种方法由于

题目：Speed Always Wins: A Survey on Efficient Architectures for Large Language Models 作者：孙伟高 上海人工智能实验室 github：https://github.com/weigao266/Awesome-Effic

做这期blog的动机很简单，分享一下自己如何快速的上手某个领域的论文。最核心的三个步骤我觉得分别是： 确定自己研究领域的key words，这里是要从上到下的，如LLM -> 微调 和 CoT 确定自己需要研究的题目，如 如何确定CoT的某个环节有益于微调中得到高的得分 根据“and”的检索思想，从

LLM 推理与服务优化 (LLM Inference and Serving Optimization) KV 缓存管理和优化 (KV Cache Management and Optimization) 这些论文聚焦于 KV 缓存的减少、量化或重用，以提升生成推理效率和降低内存消耗。