收集我和我小伙伴互相问的八股问题,里面有gemini deep search的回答,望周知。 LLM model rmsnorm和layernorm相比有什么优点 参考为什么最新的大模型普遍用RMSNorm?
基础篇
算法
CUDA优化
ai 编译器
算子进阶
Python LLM 编译器
Triton
PD分离
vllm源码
AMD
算子
比赛
八股
github
GPU
ubuntu
WSL2
cuda/Triton
MLsys24
paper
blog
Halo