摸鱼天尊 blog
摸一会鱼🐟
概述 LlamaIndex(原名 GPT Index)是一个开源的数据框架,专门用于构建大语言模型(LLM)应用。它解决了 LLM 的一个核心局限性:LLM 在训练后就无法访问私有数据。LlamaIndex 通过检索增强生成(RAG)技术,将用户的私有数据与 LLM 的生成能力无缝连接。与langc
旨在排列出看过或者没看过收集的高质量博客 苏神 地址:科学空间 高代 从一个单位向量变换到另一个单位向量的正交矩阵 “对角+低秩”三角阵的高效求逆方法 <
Context Manager 多模态数据的处理 现在大模型系统的对话窗口和处理数据会产生大量的上下文,后续的qa往往会用到其中一部分上下文,所以建立有效的context engine是十分必要的。 NLP 用时问戳标记上下文 一种常见的设计是在每条信息上附加时间戳,以保留其生成的顺序。这种方法由于
项目介绍 什么是 OpenCode OpenCode 是一个 100% 开源的code agent,专注于为开发者提供强大、灵活且可扩展的 AI 编程体验。与 Cursor、Copilot 等商业工具不同,OpenCode 不绑定任何特定的 LLM 提供商,支持 Claude、OpenAI、Goog
题单来自于:【算法进阶题单】动态规划、数据结构、图论、数学、字符串、计算几何、博弈
网络代理 首先,网络代理方面非常重要,这关乎于能否正常链接github,在 SourceTree 中设置代理: 点击菜单 工具(Tools) → 选项(Options) 选择 网络(Network) 标签页 勾选 启用代理服务器(Enable HTTP proxy server) 填写你的代理信息:
这篇文章记录我熟悉的codex和claude code的常用方式,若有更好的方法欢迎联系我。 安装 其实无论是在哪个终端安装都可以,无非是权限的问题,在wsl或者git bash中是最好的,但是我习惯在Window的terminal安装了,直接安装即可,问题不大。 npm i -g @openai/
LLM目前最大的困难来自于预训练使用的语料是足够多的且推理能力是足够强的,但是如何在问答中交互使其自回归输出得到一个很好的结果是很困难的,这就是agent出现的原因 核心矛盾点 训练的时候往往在一个静态的环境,但是推理环境往往是动态的,动态和静态会让系统产生意料之外的输出 在CoT中,一旦传入一个错
参考link: A Systematic Survey of Deep Research —— github Awesome Deep Research Projects
上下文归纳 正如上文所说,qwen团队发现了其存在的缺陷是优势函数\hat{A}_istoken-level,但是奖励函数是序列级别的,这会导致训练大型、复杂的模型(如混合专家模型MoE)和处理长序列任务时尤为突出,常常导致训练过程不稳定甚至模型崩溃。接下来几篇文章分别从不同的角度去对整体流程进行优