About

Mon, 24 Aug 2026 00:00:00 +0800

thinkAbout

I'm moyutianzun. Most of what I care about converges on one question: how can context accumulate and compound. I explore new paradigms of RSI and context engineering toward that question — each card below is a direction. Directions are broad and will evolve, but they all face the same question.

Pacific time—

Now—

Directions4

Projects3

Directions

Funny Eval

in progress

Leaderboards don't show what a model can actually do. I want to force the gap into the open visually and playfully — a task is worth building only if you can see who won at a glance.

垂类系统的agent如何设计

Mon, 29 Jun 2026 07:59:28 +0800

核心矛盾1：垂直深度 vs 水平覆盖

一个「霸总甜宠」skill 要写到能指导 LLM 生成高质量脚本，需要非常具体的规则——比如「第一集前两分钟必须完成阶级落差建立」「打脸节奏三集一小五集一大」。但这些规则对一个 30 秒广告完全没意义，对 80 集长剧又太稀疏。

每日github项目解析：（二）20260605 github robot和agent soul

Fri, 05 Jun 2026 09:47:40 +0800

github robot

https://github.com/pbakaus/agent-reviews

这个项目让我想到一个有意思的场景：一个让人血压升高的下午

你提了一个 PR，信心满满。几秒钟后，Copilot 来了，CodeRabbit 来了，Cursor Bugbot 也来了。它们在你的代码行上密密麻麻留下几十条评论：这里可能空指针，那里命名不规范，这个函数复杂度超标。你认认真真改了一轮，git push。

每日github项目解析：（一）20260604

Thu, 04 Jun 2026 10:00:30 +0800

headroom

https://github.com/chopratejas/headroom

官方的说法是它是个给 AI agent 省 token 的"压缩中间层"。

AI agent(比如 Claude Code)干活时,要把一大堆东西塞给大模型读——工具输出、日志、报错、检索结果、文件内容、聊天历史。
这些东西又臭又长,烧token、烧钱、还容易把上下文撑爆。
Headroom 在这些内容到达大模型之前先压缩一遍,号称答案不变、token 砍掉 60–95%。

怎么做到的呢？

agent eval：（一）deepeval

Tue, 19 May 2026 03:07:56 +0800

特性分析

集成支持

deepeval 通过一个统一的 Tracing 核心层来兼容所有框架。无论外部框架的形式如何不同，最终都汇聚到同一套数据模型和 trace 管理器。

Monkey-Patch 直接替换 SDK 类方法
Callback Handler 实现框架原生回调接口
Trace Processor 实现框架的追踪处理器协议
OTel 桥接则通过 OpenTelemetry 标准协议转换

所有路径最终都通过 TraceManager 统一管理 span 的生命周期。

vibe coding系列：（三）一边vibe一边read

Mon, 04 May 2026 09:33:24 +0800

安装

powershell安装

scoop bucket add extras
scoop install extras/wezterm
scoop install pwsh
scoop install yazi

这里的pwsh是powershell 7，现在更多都是用pwsh了，后面主题出现的inner liner错误，基本上都是没用pwsh的原因。

agent系列（五）：agent架构的落地思考

Wed, 22 Apr 2026 07:43:23 +0800

最近在楼下停车场散步，反思了一下最近遇到的bug，觉得蛮有意思的，写篇blog分享一下。

prompt engineering的useful和useless

上文我们已经从架构的方面去讨论过多种的agent架构，主要还是分为隐式plan、半显式plan和显式plan的三种不同的agent风格，

vibe coding系列：（二）GET SHIT DONE

Tue, 14 Apr 2026 06:31:13 +0800

github link：https://github.com/gsd-build/get-shit-done/blob/main/README.zh-CN.md

agent系列：（四）session管理和agent架构

Sat, 14 Mar 2026 16:24:52 +0800

如果要去design一个agent架构，避免不了的就是涉及到对session的管理和agent的架构，一个是表面的，一个是深层的

session管理

常见可以分成以下几类：

agent系列：（三）context and memory

Thu, 05 Mar 2026 17:06:39 +0800

context其实跟infra息息相关，好的infra能支持非常多的idea并发的去实现，而pipeline的高度耦合使得infra变得屎山中的屎山，所以模块化的context infra势在必行。我们想构建一个context playload，一个有序、分层、可度量的 typed blocks 集合，是模型单次推理的输入态。

vibe coding系列：（一）我自用的配置（包括claude不封号稳健玩法）

Tue, 03 Mar 2026 04:34:13 +0800

一、workflow

我习惯的方式是opencode + gpt5.2 xhigh来吵方案，然后claude code + opus + sonnet来写代码，他们有以下几个区别：

gpt通常有包月的套餐，一天能用60~120刀不等，中转站包月通常一个月不会超过80 rmb，是非常实用的大模型套餐

agent系列：（二）agent plan

Wed, 04 Feb 2026 07:12:09 +0800

agent最基本的就是ReAct范式，其中最关键的就是agent plan，我们主要探讨的是单agent的plan和多agent不同范式如何plan的更好。

skills系列（二）：skills团队和opencode-omo

Thu, 22 Jan 2026 03:54:11 +0800

由于codex至今不支持subagent，我实在等不及了，用codex开发确实没那么灵光，先用claude code组建团队，反正逻辑是一致的。这里附上一条codex不询问命令的指令：

agent系列（一）：实用的agent架构、应用、评估和未来

Sun, 18 Jan 2026 16:41:53 +0800

0. 数模

最基础的抽象是：环境有状态 $s_{t}$ ，你能看到的是观测 $o_{t}$ ，你做动作 $a_{t}$ ，环境给反馈（比如奖励/成功信号）并转移到新状态。用 (PO)MDP 写就是：

paper2proj：DeepCode在模态转换之间的编排

Thu, 15 Jan 2026 08:23:05 +0800

1. 概述

DeepCode的工作是将科学论文转化为可执行代码，它提炼出来的问题包括：

Specification Preservation（规范保留）: 论文中的信息分散且多模态，难以忠实地将这些片段化的规范映射到实现中。
Global Consistency under Partial Views（局部视角下的全局一致性）: 代码库由相互依赖的模块组成，但生成通常是逐文件进行的，在有限上下文下难以维护接口、类型和不变量的全局一致性。
Completion of Underspecified Designs（不完全指定设计的补全）: 论文通常只详述算法核心，而忽略实现细节和实验框架，推断这些未明确的但重要的选择极具挑战。
Executable Faithfulness（可执行性忠实度）: 忠实复现需要可执行系统，而非仅是貌似合理的代码。长期生成常导致包含逻辑错误、依赖冲突和脆弱管道的代码库，阻碍端到端执行。

其提出的解决思想也很鲜明：

skills系列：（一）coding未来的管中窥豹

Fri, 09 Jan 2026 10:03:10 +0800

0. 现有的就是最好的

由于claude code的Opus和sonnet过于昂贵，其实codex也能用skills，这里推荐用codex的skills，只需要把https://github.com/obra/superpowers/tree/main/skills 里所有的文件夹搬到.codex的skills文件夹里即可。很多人吹嘘skills是什么黑科技，在我看来其实就是两个思路交错产生的结果：

github源码阅读：（二）OpenCode Code agent

Fri, 02 Jan 2026 14:59:30 +0800

项目介绍

什么是 OpenCode

OpenCode 是一个 100% 开源的code agent，专注于为开发者提供强大、灵活且可扩展的 AI 编程体验。与 Cursor、Copilot 等商业工具不同，OpenCode 不绑定任何特定的 LLM 提供商，支持 Claude、OpenAI、Google、本地模型等多种提供商。

github源码阅读：（一）LlamaIndex 上下文数据规范

Wed, 31 Dec 2025 06:09:51 +0800

概述

LlamaIndex（原名 GPT Index）是一个开源的数据框架，专门用于构建大语言模型（LLM）应用。它解决了 LLM 的一个核心局限性：LLM 在训练后就无法访问私有数据。LlamaIndex 通过检索增强生成（RAG）技术，将用户的私有数据与 LLM 的生成能力无缝连接。与langchain相比，langchian是编排工具流工作流等，而llamaindex专注于数据格式和数据索引。

算法 —— 基础篇：DP

Mon, 29 Dec 2025 09:36:52 +0800

题单来自于：【算法进阶题单】动态规划、数据结构、图论、数学、字符串、计算几何、博弈

状态机DP

时间序列

max和mini的

121. 买卖股票的最佳时机

122. 买卖股票的最佳时机 II（有神中神dp）

PD就要看买卖股票的最佳时机【基础算法精讲 21】

既然有次数限制，就要在遍历的过程中记录次数

基本操作：（一）github is all you need

Mon, 22 Dec 2025 16:56:26 +0800

码农圣地 github

github众所周知，是最大的~~同性交友网站~~开源项目公布网站，每个人都可以在这里share自己的项目。

由于open-source往往由一个团队进行开发，所有有很多开发版本，为了管理不同的开发版本之间的异同，远古linux大神linus写了git的原型来管理不同的fork。每个opensource都有一条master主线，然后有不同的分支合并到master分支上。由此也看出，git最主要的功能就是派生（fork）、合并（merge）。

Codex 和 CC —— terminal vibe coding tutorial

Thu, 18 Dec 2025 07:15:59 +0800

这篇文章记录我熟悉的codex和claude code的常用方式，若有更好的方法欢迎联系我。

安装

其实无论是在哪个终端安装都可以，无非是权限的问题，在wsl或者git bash中是最好的，但是我习惯在Window的terminal安装了，直接安装即可，问题不大。

大佬博客 —— Orz

Thu, 11 Dec 2025 07:02:09 +0800

旨在排列出看过或者没看过收集的高质量博客

苏神

地址：科学空间

高代

从一个单位向量变换到另一个单位向量的正交矩阵

“对角+低秩”三角阵的高效求逆方法

矩阵的有效秩（Effective Rank）

Monarch矩阵：计算高效的稀疏型矩阵分解

随机矩阵的谱范数的快速估计

概率与统计

从重参数的角度看离散概率分布的构建

通向概率分布之路：盘点Softmax及其替代品

概率视角下的线性模型：逻辑回归有解析解吗？

两个多元正态分布的KL散度、巴氏距离和W距离

如何度量数据的稀疏程度？

从局部到全局：语义相似度的测地线距离

让人惊叹的Johnson-Lindenstrauss引理：理论篇

让人惊叹的Johnson-Lindenstrauss引理：应用篇

从JL引理看熵不变性Attention

从熵不变性看Attention的Scale操作

熵不变性Softmax的一个快速推导

从梯度最大化看Attention的Scale操作

随机分词浅探：从Viterbi Decoding到Viterbi Sampling

context engine note

Tue, 02 Dec 2025 09:28:32 +0800

Context Manager

多模态数据的处理

现在大模型系统的对话窗口和处理数据会产生大量的上下文，后续的qa往往会用到其中一部分上下文，所以建立有效的context engine是十分必要的。

LLM 系统架构 note

Mon, 01 Dec 2025 16:11:21 +0800

LLM目前最大的困难来自于预训练使用的语料是足够多的且推理能力是足够强的，但是如何在问答中交互使其自回归输出得到一个很好的结果是很困难的，这就是agent出现的原因

deep research design —— note

Mon, 01 Dec 2025 16:09:53 +0800

参考link：

A Systematic Survey of Deep Research —— github

Awesome Deep Research Projects

强化学习：从模态对齐到策略优化 —— 2、从GSPO、FSPO、GEPO

Mon, 24 Nov 2025 09:54:25 +0800

上下文归纳

正如上文所说，qwen团队发现了其存在的缺陷是优势函数 $\hat{A}_i$ stoken-level，但是奖励函数是序列级别的，这会导致训练大型、复杂的模型（如混合专家模型MoE）和处理长序列任务时尤为突出，常常导致训练过程不稳定甚至模型崩溃。接下来几篇文章分别从不同的角度去对整体流程进行优化，首先我们先确立一下流程：

强化学习：从模态对齐到策略优化 —— 1、从PPO 到 GPRO

Thu, 20 Nov 2025 15:35:45 +0800

对齐到RL

一个未经对齐的 LLM 可能会产生无益、有害甚至有毒的内容，或者无法理解和遵循复杂、微妙的人类指令。

这一根本性问题被称为对齐（Alignment），即确保 AI 系统的目标和行为与人类的价值观和意图保持一致。

Antigravity卡在谷歌登录环节解决方案

Thu, 20 Nov 2025 01:33:08 +0800

首先要保证自己的IP是足够纯净的IP，开了v2ray/clash 之后，点开此网站，就能看到IP是否是原生IP且评分如何。

由于gemini和claude对IP的要求高，建议使用原生IP和高评分的节点，且长期只使用这个节点，不然可能会触发斩杀，赔钱有原生IP，但是知道的人太多了，用的人也太多了，上面这个IP是赔钱的。奈云不知道为啥没有，但是我日常用着很舒服，网速很快。

生理信号大模型

Wed, 19 Nov 2025 07:48:13 +0800

2023年至2025年的研究格局显示，通过将异构生理信号（EEG、fMRI、EMG、EOG、Gaze）与文本、视觉等高层语义模态进行深度融合，领域正在向大脑模型（Large Brain Models, LBMs）和多模态大模型（Large Multimodal Models, LMMs）迁移。

算法 —— 基础篇：树图、高精度、二分

Sat, 08 Nov 2025 17:12:49 +0800

递归递推

时间复杂度：看for的n，取最大

空间复杂度：看实际运行的时候用到了多少内存。

在递归算法中，每次递推都需要一个栈空间来保存调用记彔，因此在计算空间复杂度时需要计算递归栈的辅助空间。

迈向具有深度推理的代理RAG：LLM RAG推理系统综述

Thu, 06 Nov 2025 08:22:20 +0800

rag 的三个过程：

检索阶段：从外部知识库中提取任务相关的内容
整合阶段：对检索内容进行去重、冲突解决和重新排序
生成阶段：基于精选上下文进行推理以得出最终答案。

Paper note

Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs

综述围绕两个过程来讲（RAG ⇔ Reasoning）：

langchain note

Fri, 31 Oct 2025 10:00:19 +0800

agent范式

为了更好地组织智能体的“思考”与“行动”过程，业界涌现出了多种经典的架构范式。在本章中，我们将聚焦于其中最具代表性的三种，并一步步从零实现它们：

未归档偶然发现的好东西

Tue, 28 Oct 2025 01:42:56 +0800

翻译

pot翻译 + 百度翻译api

幻觉翻译

dataset

阿里开放式多模态AI安全评测基准 OpenMMSec：百万开源多模态数据集

Triton is all you need —— Matrix Multiplication & Matrix Transpose & Matrix Copy

Fri, 24 Oct 2025 09:53:04 +0800

在矩阵的运算中，由于现在LLM Scaling Law，现在模型的矩阵相当的巨大。而计算单元的访存和算力有限，故此通常采用分治的思想进行并行计算，即采用分块的方式进行分块运算，这称之为tile，这里涉及到大量的程序编写的架构和编译器优化，后续我们会展开来这个说。

deepseek OCR —— 源码解析

Tue, 21 Oct 2025 16:07:59 +0800

先说说我的看法，现在各种评价满天飞，我看了看README，其实很好说理解，首先肯定是OCR。

在README中提到两个文件，一个是对image进行OCR，一个是对PDF进行OCR。其最主要的功能就是将其文字和图片进行提取，然后改变为可执行对象。

CUDA profile 大全 —— nsight computer & nsys & pytorch

Mon, 20 Oct 2025 15:18:01 +0800

Cuda API

创建对象：

#include <cuda_runtime.h>
#include <cuda.h>
#include <iostream>
#include <string>

// 获取当前机器的GPU数量
cudaError_t error_id = cudaGetDeviceCount(&deviceCount);

for (int dev = 0; dev < deviceCount; ++dev) {
 cudaSetDevice(dev);
 // 初始化当前device的属性获取对象
 cudaDeviceProp deviceProp;
 cudaGetDeviceProperties(&deviceProp, dev);

 printf("\nDevice %d: \"%s\"\n", dev, deviceProp.name);

拿到数据后可以查看对应feature

Triton is all you need —— Vector Addition & Reverse Array

Fri, 17 Oct 2025 08:12:03 +0800

Vector addition

原题：编写一个在 GPU 上执行 32 位浮点数向量逐元素相加的程序。该程序应接受两个等长输入向量，并产生一个包含它们和的输出向量。

exp1：

Input: A = [1.0, 2.0, 3.0, 4.0]
 B = [5.0, 6.0, 7.0, 8.0]
Output: C = [6.0, 8.0, 10.0, 12.0]

思路：

LLM —— attention、MHA、MQA、GQA、MLA

Mon, 13 Oct 2025 03:28:44 +0800

文章启蒙来自苏神的缓存与效果的极限拉扯：从MHA、MQA、GQA到MLA，拜谢Orz。

attention

首先attention的公式我们都知道如下：

\mathrm{Attention}(K,Q,V)=\mathrm{softmax}(\frac{QK^{\top}}{\sqrt{d_{k}}})V

我们尝试用数学来表述清楚这个问题，首先假设输入为一条token的 $$x$$ ，输出为一条token的 $$o$$ ，结合上面的公式得到QKV矩阵：

算法 —— 基础篇：数组、双指针、滑动窗口、区间

Fri, 03 Oct 2025 08:49:53 +0800

双向子序列也是双指针

接雨水

接水最多的容器

双指针的搜索范围

三数之和

PD分离 —— Prefix Cache和Chunk Prefills

Mon, 29 Sep 2025 09:53:22 +0800

目前推理框架基本上都需要用到多轮对话的场景，自然产生了kv cache的存储和索引算法。如果能把prompt和后续产生的KV Cache保存下来，会极大地降低首Token的耗时。

vllm v1 源码解析 —— 单机八卡推理

Fri, 26 Sep 2025 09:10:35 +0800

单机八卡，我们按照PP + TP的方式来进行方案说明，使用的是vllm框架，主要命令和函数如下：

python single_node_multi_gpu_demo.py --mode pipeline_parallel --tensor-parallel 4 --pipeline-parallel 2 --model facebook/opt-13b

def pipeline_parallel_inference(self, model_name: str, tensor_parallel_size: int, pipeline_parallel_size: int):
 """流水线并行推理 - 将模型层分布到多个GPU上"""
 print(f"🚀 启动流水线并行推理 - 模型: {model_name}")
 print(f" 张量并行: {tensor_parallel_size}, 流水线并行: {pipeline_parallel_size}")
 
 try:
 # 创建LLM实例，使用张量并行 + 流水线并行
 self.llm = LLM(
 model=model_name,
 tensor_parallel_size=tensor_parallel_size,
 pipeline_parallel_size=pipeline_parallel_size,
 # 流水线并行配置
 max_num_seqs=16, # 流水线并行时建议较小的batch size
 gpu_memory_utilization=0.8,
 trust_remote_code=True,
 )
 
 prompts = self.setup_test_prompts()
 print(f"📝 处理 {len(prompts)} 个提示词...")
 
 # 批量推理
 start_time = time.time()
 outputs = self.llm.generate(prompts, self.sampling_params)
 end_time = time.time()
 
 # 显示结果
 self._display_results(outputs, end_time - start_time)
 
 except Exception as e:
 print(f"❌ 流水线并行推理失败: {e}")

在单机八卡的场景下，我们假设使用如下配置：

vllm v1 源码解析 —— Core

Tue, 23 Sep 2025 03:56:10 +0800

一个client建立之后就会建立一个core engine，这些配置会通过QMZ IPC发送给core engine。

Core engine Architecture

Worker and Executor

MultiprocExecutor

在MultiprocExecutor类中，可以清晰的找到三部曲：

NCCL —— 标杆

Mon, 22 Sep 2025 09:58:52 +0800

首先，需要说一些特性在前面：

NCCL是NVIDIA 集体通信库（NVIDIA Collective Communication Library），专注于 GPU 间交互，利用 NVLink、PCIe 和 InfiniBand (IB) 等互连技术实现高带宽和低延迟。
NCCL并不是完全开源

主要功能

每个GPU都可以新建一个通信器，有对应的通信Rank编号和终止操作。

算子进阶 —— 通信算子

Mon, 22 Sep 2025 09:00:54 +0800

随着LLM业务的不断发展，我们发现单机单卡无法承载一个模型的训练和推理，故此出现了单机多卡和多机多卡的训练推理算子，这时候每个机和卡之间都需要通信，所以通信算子十分的重要。

算子进阶 —— 通算融合

Fri, 19 Sep 2025 08:16:51 +0800

（施工ing）

概述

我们知道，算子的作用是计算，那在整个体系中，我们的核心目标是拉满GPU的利用率。

在现代分布式体系中，多GPU之间同时存在着计算、内存访问和通信这三种基本活动，为了服务于我们的核心目标，我们需要尽可能的将通信时间和访存时间放在计算时间内，使得GPU不存在运算时间的泡泡。

AMD 2025 分布式推理算子优化挑战赛 —— lect 9/16 note

Fri, 19 Sep 2025 02:57:25 +0800

ROCm 入门

首先就是amd官方的命名跟nv的区别，其实区别并不大，只是AMD在cuda的基础上做了更多的优化，比如说一个wavefront有64个work-item，相当于一个warp有64个threads。其次就是有两种register，在

Triton is all you need —— Triton 源码、编译和调试

Thu, 18 Sep 2025 07:35:21 +0800

（施工ing）

include日录主要存放了编译器核心功能的.h头文件，提供约定和规范

lib是.c和.cpp，主要是功能的实现，和include一一对应

AI编译器 —— 笔记

Thu, 11 Sep 2025 09:00:18 +0800

challenge

新模型
- 新module出现，需要对应算子进行计算，还需要结合硬件进行特性优化和测试，尽量充分发挥硬件性能
- 硬件厂商还会发布新技术的加速计算库
- 专用加速芯片爆发导致性能可移植性成为一种刚需
不同厂商的ISA不尽相同

AMD 2025 分布式推理算子优化挑战赛——笔记

Tue, 09 Sep 2025 05:48:15 +0800

比赛提供的link：

魔搭社区比赛首页 AMD比赛首页

amd-all2all kernel Leaderboard

reference-kernels

discord link

Popcorn CLI

lect：

ytb Bonus Lecture: AMD Developer Challenge

Mixture of Experts AMD Problem

9/16 lect note

triton is all you need 之 GEMM

Sun, 07 Sep 2025 08:10:38 +0800

代码参考了傅哥，请b站关注我是傅傅猪喵，谢谢喵！

Triton DSL是以BLOCK tile为中心的Python DSL。与CUDA相比，Triton的使用者无法控制所有细节，因为某些优化是自动完成的，但是在Triton编译器的逐层编译优化之下也可以获得与Cuda相近甚至超过的性能。另外，Triton的编写和调试更加简单，而且学习成本更低。

八股系列：inference infra

Wed, 03 Sep 2025 15:16:40 +0800

收集我和我小伙伴互相问的八股问题，里面有gemini deep search的回答，望周知。

LLM model

rmsnorm和layernorm相比有什么优点

参考为什么最新的大模型普遍用RMSNorm？

swiglu和relu相比有什么修改

GELU: 高斯误差线性单元
ReLU: 修正线性单元
Swish (β=1.0) : 标准Swish函数
Swish (β=0.5) : 低β值的Swish函数
SwishLU: Swish + Linear Unit组合

其函数代码如下：

【CUDA从入门到入土】四、矩阵乘法

Wed, 03 Sep 2025 14:50:37 +0800

矩阵乘法跟之前不同，之前一维可以直接写一个kernel，或者多个kernel线性的排布来并行计算，那么矩阵乘法就是由一维向二维转变的关键。这时候一维的kernel排布也变成了二维排布。

【LLM 必读综述】Speed Always Wins：LLM高效架构调查

Wed, 27 Aug 2025 08:06:02 +0800

题目：Speed Always Wins: A Survey on Efficient Architectures for Large Language Models

作者：孙伟高上海人工智能实验室

github：https://github.com/weigao266/Awesome-Efficient-Arch

如何最快速的找到最核心的几篇文章

Sun, 24 Aug 2025 16:12:48 +0800

做这期blog的动机很简单，分享一下自己如何快速的上手某个领域的论文。最核心的三个步骤我觉得分别是：

确定自己研究领域的key words，这里是要从上到下的，如LLM -> 微调和 CoT

【CUDA从入门到入土】三、reduce算子及其优化

Sat, 23 Aug 2025 08:46:59 +0800

该项目代码参考傅哥的课程，很有用的课程，请多多支持他。

reduce 规约求和是cuda中一个经典的问题，其本质是将输入的序列进行求和。

在CUDA的多线程中，我们清楚数据被分为一个一个的block中进行运行，每个block通过warp来并发32个线程进行运算。

cursor trae解决插件问题

Wed, 20 Aug 2025 12:27:24 +0800

使用代理网站

使用vsixhub进行vsix下载，记得在marketplace里对比两者的版本，下载之后直接拖拽文件到cursor的插件栏里就行。

从vscode下载

从vscode下载之后点击小齿轮进行下载

使用链接补充下载

在下面的链接的基础上补上一部分

https://marketplace.visualstudio.com/_apis/public/gallery/publishers/

在后续补上{发布者}/vsextensions/{插件名}/{版本号}/vspackage

【CUDA从入门到入土】二、CUDA调试和必知必会 & Nsight Computer 入门

Sun, 17 Aug 2025 17:09:02 +0800

上文中，我们运行了一个简单的cuda函数，并且一次过的将其运行了起来，这次，我们需要补充一些基础的概念，通过概念和框架的建立，我们才能走的更远，高屋建瓴的认识更多。

【CUDA从入门到入土】五、cuda_kernel_和_cuda_attention详解

Sun, 17 Aug 2025 15:14:21 +0800

从cuda kernel出发，看懂人生第一个cuda attention

【CUDA从入门到入土】一、丝滑的CUDA入门

Thu, 14 Aug 2025 16:27:54 +0800

CUDA是什么

cuda是一种gpu编程组件，是一种原生支持GPU软硬件的架构，使得开发者可以直接在 GPU 上编写和执行通用计算程序。

GPU架构

上图是H100白皮书中，H100 GPU带满了144个SM的架构图

WSL2搭建cuda-triton开发环境

Thu, 14 Aug 2025 16:21:13 +0800

先用了vmware + ubuntu的方法，结果发现现在gpu无法透传到vmware的虚拟机里

故此使用wsl2的开发环境，后续会更新许多更舒服丝滑的操作

【MLsys 24】keyformer阅读笔记

Thu, 14 Aug 2025 15:54:06 +0800

文章名：Keyformer: KV Cache reduction through key tokens selection for Efficient Generative Inference

论文的关键：

在vllm中，Decode的时候由于矩阵乘法和KV cache的存取，该阶段受限于memory bound
研究发现，在推理过程中，90%的attention权重关注于特定的token
这篇文章的工作就是通过一个新颖的评分函数来找到这些特定的token
在KV cache中就只保存这些特定的token
对于多embedding和多任务上，keyfromer能降低延迟，提高吞吐量，不丢失准确率

背景

生成的新token会带来额外的KV cache，如MPT-7B 模型中，序列长度增加 16 倍（从 512 到 8K）会导致推理延迟增加 50 倍以上。推理总时间的约 40%（绿色突出显示）被 KV 缓存数据移动所消耗，还会延长其他操作所需的时间（蓝色显示）。当序列长度超过 8K 时，KV 缓存大小超过了模型大小。

MLsys24 分类汇总

Thu, 14 Aug 2025 15:51:24 +0800

LLM 推理与服务优化 (LLM Inference and Serving Optimization)

KV 缓存管理和优化 (KV Cache Management and Optimization)

这些论文聚焦于 KV 缓存的减少、量化或重用，以提升生成推理效率和降低内存消耗。

Keyformer: KV Cache reduction through key tokens selection for Efficient Generative Inference

aliyun ubuntu halo AirCloud最速传说

Fri, 14 Feb 2025 15:32:00 +0800

购买域名

搜索点击阿里云域名注册服务

在此处搜索域名

英文中文都可以，然后选择购买，实名认证之后下单即可

下单后需要提交实名认证的模板，在域名列表->解析，会被要求去实名，上传身份证，大概要几个小时，认证后即可

moyutianzun's blog

moyutianzun.com

Loop 2026-08-24: this column starts