Hasty Briefsbeta

全部标签

#llm

共 310 篇

双语

Embabel Agent Framework for the JVM (by the founder of Spring)
a year ago
- Embabel是一个基于JVM编写智能体流程的框架，融合了LLM提示交互、代码与领域模型
- 支持智能路径寻找实现目标，采用Kotlin编写但兼容Java自然调用
- 通过动作(Actions)、目标(Goals)、条件(Conditions)、领域模型和动态规划(Plans)来建模智能体流程
- 核心优势包括复杂规划能力、卓越扩展性、强类型系统及面向对象特性
- 平台抽象层支持本地运行，无需修改代码即可在生产环境获得更高服务质量(QoS)
- 专为混合LLM设计，支持本地模型处理专项任务以实现高性价比解决方案
- 基于Spring和JVM构建，可轻松集成企业级功能
- 支持注解式建模和Kotlin DSL两种流程编写方式，均由领域对象模型驱动
- 提供三种执行模式：聚焦模式(Focused)、封闭模式(Closed)和开放模式(Open)，其中开放模式能力最强但确定性最低
- 未来规划包括演进模式开发、多Embabel系统联邦，以及第三方智能体框架集成
- 可通过GitHub模板快速入门，5分钟内即可启动智能体
- 支持Ollama和Docker的本地模型，计划整合更多服务提供商
- 内置完善的单元测试和集成测试支持框架
- 欢迎社区贡献，提供编码规范指引，适合新贡献者参与
LLM Memory
a year ago
- 大语言模型在小说创作中因有限上下文窗口面临记忆挑战。
- 参照框架对知识有效性至关重要，包括时间和空间背景。
- 向量嵌入难以处理情景记忆且缺乏可解释性。
- 知识图谱可分为基于文档或使用语义边进行连接的类型。
- 元文档作为高频查询信息的缓存机制。
- 知识图谱中自动与显式连接建立的对比。
- 需要遗忘机制来管理图谱复杂度。
- 情景记忆由按时间顺序链接的叙事文档构成。
- 高效记忆查询的遍历策略。
- SQLite等外部工具可增强核心记忆系统。
- 作为简单记忆系统的草稿纸面临修剪挑战。
- 分层管理不同知识类型（身份记忆与情景记忆）。
- 因模型限制，隐式记忆控制优于显式控制。
- 未来记忆系统可能依赖完全学习的神经方法。
Show HN: Spegel, a Terminal Browser That Uses LLMs to Rewrite Webpages
a year ago
- Spegel是一款终端网页浏览器，它利用大语言模型将网页重写并渲染为Markdown格式。
- 该项目作为概念验证在一个周末开发完成，随着Gemini 2.5 Pro Lite的发布变得更加实用。
- Spegel支持通过自定义提示词实现网页内容个性化呈现，可生成简化版或聚焦具体操作的页面版本。
- 示例配置展示了如何提取并格式化食谱，强调公制单位和极简主义风格。
- 该浏览器先获取HTML内容，经可配置提示词的大语言模型处理，最终在终端渲染Markdown。
- Spegel不支持POST请求或JavaScript等现代网页功能，专注于减少信息冗余。
- 可通过pip安装，用户可在TOML文件中配置自己的提示词模板。
- 该项目已在GitHub开源，目前仍处于早期阶段，部分功能尚待完善。
Show HN: Attach Gateway – one-command OIDC/DID auth for local LLMs
a year ago
- Attach Gateway为LLM引擎和多代理框架提供身份与记忆服务。
- 它支持OIDC/DID单点登录、A2A任务移交，以及可插拔的记忆总线（如Weaviate）。
- 该网关验证OIDC/JWT或DID-JWT令牌，添加身份标头，并实现A2A任务端点。
- 它会将提示与响应同步至记忆存储后端，并通过Temporal支持工作流追踪。
- 快速部署只需运行Weaviate的Docker容器、导出令牌并启动网关。
- 典型用例包括通过网关发起受保护的Ollama调用，并与Temporal工作流集成。
- 系统支持标准OIDC JWT、DID-key和DID-pkh令牌进行身份验证。
- 未来更新将包含受保护资源的元数据端点、令牌交换功能以及Attach Store v1版本。
Large Language Model-Powered Agent for C to Rust Code Translation
a year ago
- C语言是系统级软件开发的基础，但存在内存安全问题。
- Rust是现代、内存安全的C语言替代方案。
- 大语言模型正被用于自动化将遗留代码从C转换为Rust。
- 现有基于大语言模型的方法将其限制在静态提示-响应行为中。
- C转Rust面临的挑战包括缺乏并行数据集和未定义的中间步骤。
- 提出的解决方案：基于虚拟模糊测试的等价性验证(VFT)和大语言模型驱动的C转Rust代码翻译代理(LAC2R)。
- VFT帮助识别C与Rust代码间的行为差异。
- LAC2R使用蒙特卡洛树搜索(MCTS)组织中间步骤以确保正确翻译。
- LAC2R在大型真实基准测试中展现了有效性。
How large are large language models? (2025)
10 months ago
- GPT-2模型（2019年）参数量从1.37亿到16.1亿不等，训练数据来自WebText数据集的约100亿token。
- GPT-3（2020年）拥有1750亿参数，训练数据约4000亿token，来源包括CommonCrawl和维基百科等多渠道。
- GPT-3.5和GPT-4（2022年、2023年）未官方披露架构细节或训练数据信息。
- Llama系列模型（7B至65B）预训练使用1.4万亿token，其中Books3数据集成为AI训练法律争议焦点。
- Llama-3.1 405B（2024年）作为密集Transformer模型，训练消耗3.67万亿token，但数据构成披露较少。
- Llama-4 Behemoth 2T（2025年）采用混合专家模型（MoE），激活参数2880亿，曾卷入基准测试丑闻。
- Mistral发布的Mixtral 8x7B和8x22B（2024年）MoE模型规模媲美GPT-3，推动了技术普惠化。
- DeepSeek-V3（2024年）作为6710亿参数的MoE模型，训练数据达14.8万亿token，实现模型规模重大突破。
- DBRX（132B A36B）创新性采用细粒度MoE架构，配备16个专家模块并动态选择4个，区别于传统方案。
- MiniMax-Text-01（456B A45.9B）结合MoE与注意力机制，训练时引入奖励标注模型辅助。
- dots.llm1（143B A14B）性能比肩Qwen2.5-72B，使用11.2万亿真实数据训练且未采用合成数据。
- Hunyuan-A13B（80B A13B）采用MoE+GQA架构，20万亿token训练数据支持256K上下文长度。
- ERNIE-4.5-VL-424B-A47B训练token量达数万亿级，但具体数值尚未明确。
- 405B参数模型是目前可用的最新大型密集基础模型，虽经退火处理但包含近期数据。
- 当前技术趋势青睐MoE模型，但基准测试可能未完全涵盖需要密集参数的核心智能维度。
- 未来模型或将探索RWKV架构、字节潜在表示、比特网络等新范式，并发展合成数据生成技术。
LLMs as Compilers
10 months ago
- 目前，大型语言模型（LLMs）被用作助手，帮助完成代码自动补全等任务。
- 在编码领域，存在从助手模式向编译器模式过渡的潜力。
- 在编译器模式下，工程师将专注于上下文和测试功能，而不是检查代码。
- 与LLMs不同，编译器具有可证明的简单输入-输出映射关系。
- 将代码视为中间层，LLMs可以被视为一种新型编译器。
- 将LLM视为编译器时，需要通过迭代改进直到输出正确。
- 在LLM编译器系统中，软件工程（SWE）代理可能是将上下文转化为功能的关键。
Tools: Code Is All You Need
10 months ago
- 作者对当前形式的MCP（机器控制协议）有效性表示怀疑，特别是在自主编码领域。
- 通过对比GitHub MCP与gh命令行工具，作者认为后者在利用上下文和达成结果方面效率更高。
- 根据作者经验，MCP依赖推理的特性使其比直接编写代码更难使用。
- 在自动化场景中，作者更倾向代码生成而非MCP，因为前者支持组合、验证和校验。
- 作者以个人项目为例，讲述如何用LLM生成代码实现reStructuredText到Markdown的转换，这种方案提供了更高可信度。
- 通过代码实现自动化比MCP更具扩展性和可靠性，因其无需每次执行都依赖推理。
- 作者认为MCP可能适用于特定场景，但总体上建议优先采用代码生成方案。
- 未来改进方向包括为MCP和代码生成设计更好的抽象层，可能通过集成API提升推理效率。
- 文章指出LLM生成非程序员可理解的代码这一方向具有探索价值。
Context Engineering for Agents
a year ago
- 智能体执行任务需要上下文环境，而上下文工程就是优化大语言模型上下文窗口内信息的过程。
- 大语言模型被类比为操作系统，其上下文窗口如同内存条（RAM），容量有限需要精心管理。
- 上下文类型包括：指令（提示词、工具描述）、知识（事实、记忆）和工具（来自工具调用的反馈）。
- 长时间运行的智能体任务可能导致上下文污染、注意力分散、逻辑混乱和指令冲突等因token过量产生的问题。
- 上下文工程的四大核心策略是：写入、筛选、压缩和隔离。
- 写入上下文指将信息保存在上下文窗口之外，例如使用草稿板或长期记忆存储。
- 筛选上下文意味着在需要时检索相关信息（如记忆、工具），通常借助嵌入向量或知识图谱实现。
- 压缩上下文通过摘要提炼或修剪技术来减少token消耗。
- 隔离上下文通过子智能体或沙箱环境分割任务，以管理高token消耗的操作。
- 多智能体系统和状态对象能有效实现上下文的隔离与管理。
Gremllm
10 months ago
- GREMLLM 是一个通过LLM推理动态实现方法和属性的工具类
- 功能包括：支持无限链式调用的湿模式、调试用的详细模式，以及多模型支持（OpenAI、Claude、Gemini和本地模型）
- 对象可以从父对象继承'wet'和'verbose'等设置
- 智能错误处理机制为不可用库或失败代码提供优雅降级方案
- 配置选项允许指定不同LLM模型（如GPT-4、Claude-3、Llama2）
- 示例包含基础计数器、购物车和游泳池模拟器，展示动态行为特性
- 湿模式可实现沉浸式体验，方法调用返回活跃的gremllm对象以支持无限交互
- 详细模式会显示生成的代码，帮助调试和理解gremllm行为
VLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention
10 months ago
- vLLM是一个用于快速LLM推理和服务的开源库，采用PagedAttention技术实现高效内存管理。
- PagedAttention通过将KV缓存分区为块，将内存浪费降至4%以下，与HuggingFace Transformers相比吞吐量提升高达24倍。
- PagedAttention中的内存共享机制降低了复杂采样算法的开销，使吞吐量提升达2.2倍。
- vLLM已部署于Chatbot Arena和Vicuna Demo平台，每日处理峰值请求达6万次，运营成本降低50%。
- vLLM安装使用简便，支持离线推理和在线服务，并提供与OpenAI API兼容的接口。
Optimizing Tool Selection for LLM Workflows with Differentiable Programming
10 months ago
- 现代代理架构依赖LLM调用链，由于延迟、成本和token开销问题，这种方式的扩展性较差。
- 可微分路由用可训练函数替代基于LLM的工具选择，具有本地执行、确定性和可组合性等优势。
- 一个最小示例是使用4层PyTorch网络进行工具选择，可通过下游任务奖励的反向传播进行训练。
- 基于提示的规划器存在上下文膨胀问题，导致token税、截断风险、注意力稀释和泄漏，而可微分路由器能保持恒定上下文长度。
- 可微分编程将控制逻辑与生成推理解耦，从而形成更模块化、可检查和可扩展的架构。
- 案例研究表明，在使用搜索和计算工具的规划器中，用可微分控制器替代LLM路由可降低3倍成本。
- 可微分控制器在经济和架构上都具有高效性，标志着从提示链向类程序化LLM系统的转变。
tinymcp: Let LLMs control embedded devices via the Model Context Protocol
10 months ago
- LLMs可以通过实验性项目tinymcp使用模型上下文协议(MCP)控制嵌入式设备
- tinymcp包含一个MCP服务器，该服务器通过Golioth管理API与远程设备通信，使用LightDB状态和远程过程调用(RPC)
- 通过在LightDB状态的mcp/tools/schema路径中包含模式，RPC可以作为工具公开，无需修改固件即可使用现有设备
- 使用tinymcp时，需将设备连接至Golioth平台，并在本地运行tinymcp服务器，同时设置必要的环境变量(TINYMCP_PROJECT/TINYMCP_DEVICE/TINYMCP_API_KEY)
- blinky示例演示了如何通过tinymcp向LLM公开LED控制功能，需要配置Zephyr实时操作系统并使用west命令初始化工作区
- MCP客户端(如MCP Inspector/Claude Code/Gemini CLI)可与tinymcp交互，每个客户端的设置说明均已提供
Is the doc bot docs, or not?
10 months ago
- Shopify基于大语言模型的文档机器人提供了错误的Liquid语法，用于在邮件通知中检测Shopify Collective商品
- 建议的代码无效，因为生成确认邮件时并不存在Shopify Collective标签
- 作者质疑这种提供猜测而非验证信息的文档机器人的可靠性
- 虽然对基础查询有时有帮助，但文档机器人的不准确性会给开发工作流带来严重问题
- 作者分享了一个有效的替代方案：通过检查商品标签而非订单标签来识别Shopify Collective商品
- 人们担忧不可靠的文档机器人会损害Shopify官方文档工作的质量
LangChain is about to become a unicorn
10 months ago
- LangChain正以10亿美元估值进行新一轮融资，本轮由IVP领投。
- 该项目由Harrison Chase于2022年底创立，最初是开源项目，2023年4月获得Benchmark的1000万美元种子轮融资后转型为初创公司。
- 一周后，红杉资本领投2500万美元A轮融资，使LangChain估值达2亿美元。
- 其开源框架解决了早期大语言模型（LLM）的实时数据访问和API交互等痛点。
- LlamaIndex、Haystack和AutoGPT等竞争者相继涌现，OpenAI、Anthropic和谷歌也推出了类似功能。
- 闭源产品LangSmith专注于LLM可观测性与监控，推动其年经常性收入达到1200万至1600万美元。
- Klarna、Rippling和Replit等企业已采用LangSmith，定价模式包含免费层级，团队版每月39美元起。
- 该领域的竞品包括Langfuse和Helicone等LLM运维平台。
Async Ruby Is the Future of AI Apps (and It's Already Here)
10 months ago
- Ruby的异步生态系统优于Python，因为它不需要重写现有代码或改变语法结构。
- LLM通信被认为是Ruby异步编程的杀手级应用场景，因其需要长连接支持和逐令牌(token)交付的特性。
- 基于线程的并发在LLM应用中面临槽位饥饿、资源倍增、性能开销和可扩展性等挑战。
- Ruby的纤程(Fiber)提供协作式并发，在I/O密集型操作中比线程更高效，尤其是在Ruby的全局虚拟机锁(GVL)机制下。
- 纤程具有显著性能优势：分配更快、上下文切换更迅速、吞吐量更高且扩展性更好。
- Ruby异步生态系统包含Falcon、async-job、async-cable和async-http等组件，无需重大代码修改即可实现无缝集成。
- 迁移到异步模式在Ruby中非常直观，通常只需最小化的配置变更即可保持现有功能。
- 异步模式特别适合I/O密集型操作、流式处理和LLM应用，而线程则更适用于CPU密集型任务。
- Ruby的异步并发方案被视为构建下一代AI应用的竞争优势。
LLM Inference Handbook
10 months ago
- 《生产环境中的大语言模型推理》作为技术术语表、指南手册和参考工具
- 涵盖核心概念、性能指标、优化技术和运维最佳实践
- 为生产环境中部署、扩展和运营大语言模型提供实用指导
- 聚焦核心要素，避免边缘案例和技术噪音
- 包含基于使用场景的优化技术以提升性能
- 持续更新最新行业实践和经过实战检验的洞见
- 旨在整合来自各渠道的碎片化大模型推理知识
- 目标读者包括在生产环境中部署、扩展或运营大语言模型的工程师
- 既可系统阅读也可作为速查手册使用
- 开放GitHub提交issue或pull request进行贡献
Context Engineering Guide
10 months ago
- 上下文工程是指为大型语言模型和先进AI模型设计和优化指令及相关上下文，使其有效执行任务的过程。
- 它包括提示词工程、动态元素管理、检索增强生成（RAG）、工具定义以及输入/输出的结构化处理。
- 一个具体案例是多智能体深度研究应用，其中搜索规划器智能体会生成搜索计划。
- 上下文工程的核心要素包括指令、用户输入、结构化输入/输出、工具、检索增强生成与记忆、以及状态与历史上下文。
- 该工程需要迭代优化和效果评估来衡量有效性。
- 未来发展方向包括上下文压缩技术、管理方法、安全性保障以及自动化上下文工程方法。
Supporting kernel development with large language models
10 months ago
- 大语言模型是具有大上下文窗口的概率模式匹配引擎，对内核开发任务很有帮助。
- 大语言模型擅长处理小而明确的任务，如生成代码补丁和提交信息，但无法胜任编写新设备驱动等复杂任务。
- 大语言模型生成贡献的实例包括已合并到Linux 6.15的补丁和6.16中的git-resolve脚本，这些成果都经过人工审查和测试。
- 嵌入技术和检索增强生成（RAG）能帮助大语言模型将输出结果建立在真实知识和内核特定模式的基础上。
- 基于大语言模型的AUTOSEL工具通过快速处理数百个提交来协助稳定内核维护者，缩小待移植候选补丁的范围。
- 大语言模型被用于将CVE工具重写为Rust语言，提高了可维护性和效率。
- 大语言模型被视为生产力工具而非人类开发者的替代品，就像编译器相对于汇编语言的进步一样。
Understanding Tool Calling in LLMs – Step-by-Step with REST and Spring AI
10 months ago
- LLM工具调用功能使模型能够与外部函数、API或服务交互以获取实时数据
- 工具调用流程包含：发送带有工具定义的提示词→接收工具调用请求→执行函数→返回结果→获取最终答案
- 多工具调用支持并行执行多个函数，而顺序推理可实现逐步操作（如动态SQL生成）
- 手动实现工具调用较为复杂，需处理JSON模式编写、参数解析和会话历史管理
- Spring AI通过@Tool和@ToolParam等注解简化工具调用，自动处理模式生成、参数绑定和流程编排
- Spring AI通过模型上下文协议(MCP)支持互操作性，使工具无需额外代码即可跨不同客户端使用
- 本文内容基于《Spring AI企业应用开发-GCP Vertex版》第5章，包含完整REST和Spring AI示例

About|Login

#llm

Embabel Agent Framework for the JVM (by the founder of Spring)

LLM Memory

Show HN: Spegel, a Terminal Browser That Uses LLMs to Rewrite Webpages

Show HN: Attach Gateway – one-command OIDC/DID auth for local LLMs

Large Language Model-Powered Agent for C to Rust Code Translation

How large are large language models? (2025)

LLMs as Compilers

Tools: Code Is All You Need

Context Engineering for Agents

Gremllm

VLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention

Optimizing Tool Selection for LLM Workflows with Differentiable Programming

tinymcp: Let LLMs control embedded devices via the Model Context Protocol

Is the doc bot docs, or not?

LangChain is about to become a unicorn

Async Ruby Is the Future of AI Apps (and It's Already Here)

LLM Inference Handbook

Context Engineering Guide

Supporting kernel development with large language models

Understanding Tool Calling in LLMs – Step-by-Step with REST and Spring AI