Hasty Briefsbeta

全部标签

#llm

共 310 篇

双语

LLM Workflows then Agents: Getting Started with Apache Airflow
a year ago
- 用于通过Pydantic AI将LLM集成到Apache Airflow工作流的SDK开发工具包
- 支持基于装饰器的任务操作，如@task.llm、@task.llm_branch和@task.agent，用于LLM和智能体操作
- 包含通过Astro CLI进行本地环境配置的示例，以及通过pip安装（支持可选依赖项）的指南
- 具有自动输出解析、基于LLM输出的分支逻辑，以及多LLM模型支持等特性
- 展示实际应用场景：提交摘要生成、产品反馈分析、支持工单路由等
- 利用Airflow的调度系统、动态任务映射、错误处理和可扩展性来支持AI工作流
Show HN: Wasp – the first full-stack framework powered by an LLM
a year ago
- Wasp是一个全栈、功能完备的Web框架，常被比作基于现代JavaScript的Laravel、Django或Ruby on Rails版本。
- Wasp在GitHub上已获得超过16,000颗星，被数千名初创企业和大型公司的开发者采用。
- 该框架最初依赖支持React、Node.js和Prisma的自定义编译器，现正转向基于LLM的代码生成技术。
- AI将自主决定UI设计、状态管理及其他库的选择，终结关于最佳实践的争论。
- 新方案采用'流体'UI和架构，每次应用部署时，功能模块和实现方式都可能存在细微或显著差异。
- 流体架构的优势包括保持界面新鲜感，并通过持续变更实现方式增强安全性。
- Wasp正在转型为AI优先、基于提示词的开发系统，减少对版本控制、专业知识和繁琐代码审查的依赖。
- 通过提示词机制，新团队成员无需阅读代码即可通过探索应用功能快速投入开发。
- Wasp团队邀请开发者通过Discord社区，就这次向AI和LLM驱动开发的重大转型提供反馈。
OpenAI adds MCP support to Agents SDK
a year ago
- 模型上下文协议(MCP)标准化了应用程序向大语言模型提供上下文和工具的方式
- MCP服务器可采用stdio(本地子进程)或基于SSE的HTTP(远程)两种模式运行
- Agents SDK支持MCP协议，可实现与各类MCP服务器的集成
- 每次Agent运行时都会列出MCP服务器的工具清单，支持可选缓存以降低延迟
- MCP操作(包括工具列举和函数调用)均会自动生成追踪记录
Model Context Protocol
a year ago
- MCP（模型上下文协议）是一个开放协议，用于标准化应用程序如何向大语言模型提供上下文，类似于AI应用领域的USB-C接口。
- MCP支持通过预置集成构建基于大语言模型的智能体和流程，提供多模型供应商的灵活性及安全数据处理机制。
- MCP采用客户端-服务器架构，包含主机端、客户端、服务端及本地/远程数据源的连接体系。
- 开始使用MCP的路径因开发者类型而异：服务端开发者、客户端开发者和Claude桌面端用户各有不同入口。
- MCP提供示例代码、教程指南、调试工具和专题研讨会等深度探索资源。
- MCP核心概念涵盖架构设计、资源管理、提示工程、工具调用、采样策略和传输协议。
- 项目通过贡献指南开放社区协作通道。
- 支持与反馈渠道包括GitHub工单系统、技术规范讨论区及Anthropic官方支持指南。
Prolog planner generation prompting guide
a year ago
- 大语言模型擅长语言任务，但在训练数据之外的规划任务上表现欠佳
- 将大语言模型与Prolog结合，可利用Prolog的组合能力进行规划任务
- 大语言模型更适合将自然语言翻译为Prolog代码而非直接进行规划
- Prolog的自然语言处理渊源使其成为大语言模型生成代码的理想目标
- 实践者因逻辑基础更倾向使用Prolog而非领域特定语言
- 思维链(CoT)方法能改进大语言模型推理但需要大量训练数据
- 大语言模型可生成状态/动作/检查谓词的Prolog代码，但无法生成主求解器
- 早期基于Prolog的规划器WARPLAN影响了现代Prolog规划系统
- 使用asserta/1、assertz/1和retract/1谓词可简化大语言模型生成代码的状态变更
- 现实的物流问题需要业务规则和用户界面等额外组件
AutoGDB: exploit a binary while sipping coffee
a year ago
- AutoGDB的MCP采用类SaaS模式实现客户端-服务端-客户端通信
- 提供AutoGDB插件的一键安装命令
- 安装完成后在GDB会话中连接AutoGDB的操作步骤
- 配置`mcp-proxy`工具连接LLM客户端的安装指南
- AutoGDB目前处于MVP阶段，欢迎合作与建议
- 当前OpenAI Agent SDK和Cursor支持通过SSE的MCP协议
- 提供联系方式用于咨询、功能改进与安全漏洞反馈
Show HN: Copy Folder to ChatGPT in 0.6s – OpenRepoPrompt
a year ago
- o1 PRO和GROK 3是目前最优秀的模型之一，但缺少API访问权限。
- 该工具通过将文件和文件夹序列化为XML格式，简化了将其复制到网页版LLM的过程。
- 提供了Windows、macOS和Linux系统的下载说明。
- 详细说明了克隆、构建和使用该工具的步骤。
- 功能包括：选择目录、设置过滤器、添加指令以及生成XML提示。
- 适用场景：代码审查、文档生成、重构协助、漏洞查找、学习新代码库及架构分析。
- 展示了一个用于代码分析的XML提示结构示例。
Running Local LLMs? [Tenstorrent] 32GB Card Might Be Better Than Your RTX 5090
a year ago
- Tenstorrent推出Blackhole和Wormhole PCIe显卡，面向本地大语言模型爱好者
- Blackhole p100a：28GB GDDR6显存，448GB/s带宽，售价999美元
- Blackhole p150a：32GB GDDR6显存，512GB/s带宽，售价1399美元
- Wormhole n150d：12GB GDDR6显存，288GB/s带宽，售价1099美元
- Wormhole n300d：24GB GDDR6显存，576GB/s带宽，售价1449美元
- 该系列显卡显存大于Nvidia RTX 3090/4090，但带宽较低
- 目标用户：注重显存容量的开发者、可扩展性规划师、早期技术采用者
- 传闻即将发布的Blackhole p300将配备64GB显存和约1TB/s带宽
- 软件生态成熟度目前落后于Nvidia的CUDA平台
- 配备高速互联接口(QSFP-DD)，支持多卡扩展
LLM-hacker-news: LLM plugin for pulling content from Hacker News
a year ago
- 使用命令`llm install llm-hacker-news`在LLM的相同环境中安装LLM Hacker News插件。
- 使用`hn:`片段加上对话线程ID将Hacker News内容输入LLM，例如：`llm -f hn:43615912 '用代表性直接引语总结'`。
- 在Hacker News帖子的URL中可以找到对话线程ID。
- 本地设置时，克隆仓库，创建虚拟环境，并通过`llm install -e '.[test]'`安装依赖。
- 使用`python -m pytest`运行测试。
Sculptor: Catch and fix issues as you code
a year ago
- Sculptor是一个嵌入了软件工程最佳实践的编码代理环境。
- 它在沙箱中运行代码以实现安全测试、并行问题解决和任务分配。
- 支持错误修复、测试编写、功能添加、文档改进和样式修正。
- 早期研究预览版开放测试者注册，提供抢先体验和免费使用权。
- 提供代码改进建议，如缺失的测试、硬编码变量和内存泄漏问题。
- 允许启动代理修复问题，并在应用更改前审查差异。
- 支持通过代理聊天优化修复方案，实现并行问题修复。
- 可使用LLM提示或shell命令定义自定义检查，满足特定实践需求。
- 集成了常见框架和linter工具，如pylint、ruff和pyre。
- 支持编写高质量新代码，并自动对新代码执行自定义检查。
- 旨在普及软件工程技术，丰富LLM编码工作流程。
- 测试者可获得抢先体验资格、免费使用权及Imbue品牌周边。
- 未来将发布关于设计原则和'回退'功能等潜在特性的文章。
Cogito Preview: IDA as a path to general superintelligence
a year ago
- Cogito发布开源大语言模型（30亿、80亿、140亿、320亿、700亿参数），在基准测试中表现超越LLaMA、Qwen等竞品
- 模型采用迭代蒸馏与放大技术（IDA），实现可扩展的对齐能力与面向超级智能的自我进化
- 每个模型提供标准模式和自省式（推理）应答模式
- 即将发布更大规模模型（1090亿、4000亿、6710亿参数）及优化版检查点
- IDA技术融合高级推理与迭代自我提升，突破监督学习的局限性
- 放大阶段通过计算力增强智能，蒸馏阶段将改进内化为模型参数
- Cogito的700亿参数模型性能超越Llama 4的1090亿参数混合专家模型
- 模型针对编程、函数调用、代理任务优化，采用更短推理链设计
- 基准测试验证IDA有效性，实际应用表现可能存在差异
- Deep Cogito致力于通过科学突破与顶尖研究实现通用超级智能
Using LLM to Generate Data for D3.js Force Directed Graph (FDG)
a year ago
- D3.js力导向图可可视化节点（实体）与连线（关系）之间的关联
- 节点代表实体（如人物、对象），连线显示实体间的连接关系
- 谷歌Gemini模型能根据提示语自动生成节点和连线数据
- 通过npm安装GoogleGenerativeAI包即可使用Gemini
- 使用D3.js CDN可轻松实现前端项目集成
- `load_force_directed_graph`函数支持自定义尺寸渲染关系图
- 节点和连线数据通过后端API调用Gemini根据提示生成
- 示例提示语：'识别以下概念间关系'，如输入'肺癌'、'烟草'等关键词
- 后端会解析Gemini响应数据并提取节点与连线信息
- 该项目已开源在GitHub，支持在线体验实际效果
CodeScientist: Automated scientific discovery system for code-based experiments
a year ago
- CodeScientist是一个端到端的半自动化科学发现系统，能够设计、迭代和分析以Python代码形式表达的科学实验。
- 该系统通过遗传突变（LLM-as-a-mutator范式）结合科学论文和代码示例来生成新颖想法。
- 包含实验构建器组件，可自动在容器中创建、运行和调试实验代码，并生成结果报告。
- 支持两种运行模式：人工介入循环（主要模式）和全自动模式（效率较低）。
- 代码库包含开源软件、安装说明、研究报告、原始数据（实验代码/日志/想法等）和示例论文。
- 核心功能包括：从论文生成创意、手动/自动创建实验、批量自主实验、元分析及外部系统集成。
- 安装要求Ubuntu Linux（或MacOS）、Python 3.12、Latex发行版及Modal.com账户（用于云容器执行）。
- 用户可通过添加领域专业论文和代码块扩展系统能力。
- 内置成本估算工具管理LLM API使用，设有硬性限制防止费用失控。
- 示例实验展示了系统验证假设的能力，如LLM置信度与准确性、状态复杂性影响、知识图谱代理等研究。
An LLM Query Understanding Service
a year ago
- 使用大语言模型（LLM）增强搜索能力，将查询结构化处理为颜色、材质、类别等维度
- 基于开源大语言模型（Qwen2-7B）部署FastAPI应用实现查询理解，无需依赖外部API
- 构建服务Docker镜像并部署至Google Kubernetes Engine（GKE）自动驾驶模式
- 配置支持GPU资源和模型数据持久化存储的Kubernetes部署方案
- 采用Valkey实现缓存机制，避免重复查询触发LLM调用
- 重构服务架构，实现搜索查询到结构化JSON响应的解析功能
- 实施部署监控与优化，包括负载测试和提示词调优
LLM Benchmark for 'Longform Creative Writing'
a year ago
- EQ-Bench3是一项由大语言模型评判的长篇创意写作基准测试（第三版）。
- 模型评估采用openrouter平台，生成参数设为temp=0.7且min_p=0.1。
- 输出内容由Claude Sonnet 3.7根据评分标准进行打分。
- 平均章节长度以字符数计算。
- 「模板化」列追踪过度使用的「GPT式表达」——数值越低越好。
- 「重复率」列测量跨任务的字词/短语重复情况——数值越高表示重复越多。
- 「衰减分」通过趋势线斜率显示质量下降程度。
- 最终评级采用0-100分制（数值越高越好）。
smartfunc: Turn Docstrings into LLM-Functions
a year ago
- `smartfunc`库将文档字符串转换为LLM函数，使用Jinja2模板生成提示词
- 它基于Simon Willison的`llm`库进行封装，提供语法糖并利用其生态系统
- 支持多种后端、异步操作，并使用Pydantic模型生成结构化响应
- 典型应用场景包括通过可定制提示词生成摘要或描述
- 功能特性包含调试模式、异步支持，以及适合快速原型设计的简洁性
- 与`instructor`、`ell`或`marvin`等库的对比突显了`smartfunc`追求简洁和厂商无关性的设计理念
Nvidia on NixOS WSL – Ollama up 24/7 on your gaming PC
a year ago
- 在游戏PC上使用WSL运行NixOS进行大语言模型实验
- 遇到的挑战包括VRAM锁定、WSL自动关闭和Nvidia支持问题
- 解决方案：Ollama自动卸载模型、保持WSL持续运行、配置Nvidia容器工具包
- NixOS系统级配置（含Tailscale网络设置）
- WSL环境安装NixOS及基础配置步骤
- 为WSL上的NixOS配置Nvidia容器工具包
- 搭建带Tailscale可选集成的Ollama Docker容器
- 针对Tailscale用户与非Tailscale用户的网络设置与测试
- 最终实现便捷的家庭大语言模型访问与实验环境
Show HN: Lunon – Instant model switching across LLMs
a year ago
- Lunon提供API可在毫秒级完成大语言模型的切换与部署
- 支持OpenAI、Anthropic、Groq等商业模型及Llama、DeepSeek等开源模型
- 根据需求可提供新模型的当日集成服务
- 功能包括实时模型对比、简化计费流程、无需代码即可切换模型
- 提供25美元免费额度，按实际使用量每请求收费0.001美元
CaMeL offers a promising new direction for mitigating prompt injection attacks
a year ago
- CaMeL（机器学习能力系统）是Google DeepMind开发的新系统，旨在减轻大语言模型中的提示注入攻击。
- 提示注入攻击发生在不可信文本（如电子邮件）与可信提示拼接时，可能导致安全漏洞。
- CaMeL将用户提示转换为类Python语言的步骤序列，确保数据仅传递到正确位置。
- 该系统通过能力机制和定制解释器追踪数据流并应用安全策略，解决了双LLM模式的缺陷。
- CaMeL允许使用性能较低的Q-LLM处理不可信数据，通过将敏感数据保留在用户设备上来提升隐私性。
- 与其他方案不同，CaMeL不依赖更多AI，而是采用能力机制和数据流分析等安全工程原则。
- 尽管CaMeL显著提升了安全性，但需要用户编写和维护安全策略，这可能具有挑战性。
- 该系统为构建安全的通用数字助手指明了一条前景广阔的发展路径。
Everything Wrong with MCP
a year ago
- 模型上下文协议(MCP)是为第三方数据和工具与LLM驱动的聊天及智能体集成制定的标准
- MCP允许第三方工具为Claude、ChatGPT和Cursor等助手构建插件，实现BYOT(自带工具)功能
- MCP简化了上下文供给和智能体自治，支持在LinkedIn发帖或在Cursor调试等操作
- 与其他标准对比：ChatGPT插件(类似但执行不佳)、工具调用(类似但MCP包含网络功能)、Alexa/Google助手SDK(更复杂且专用)、SOAP/REST/GraphQL(更底层)
- 问题1：协议安全性 - 包括缺乏认证规范定义、本地运行恶意代码、服务器盲目信任输入等问题
- 问题2：UI/UX限制 - 缺少工具风险等级和成本控制，非结构化文本传输可能导致误删或高成本
- 问题3：LLM安全性 - MCP可能引发提示词注入攻击、暴露敏感数据、破坏传统数据访问控制模型
- 问题5：LLM局限性 - MCP依赖可靠的LLM助手，但工具使用难度大，且性能随工具增加而下降
- MCP假设工具与助手无关且能自主处理检索，但用户常期待比现有更复杂的功能
- 结论：MCP确有必要，但LLM与数据结合存在风险，需通过安全协议、用户教育和应用防护措施来解决

About|Login

#llm

LLM Workflows then Agents: Getting Started with Apache Airflow

Show HN: Wasp – the first full-stack framework powered by an LLM

OpenAI adds MCP support to Agents SDK

Model Context Protocol

Prolog planner generation prompting guide

AutoGDB: exploit a binary while sipping coffee

Show HN: Copy Folder to ChatGPT in 0.6s – OpenRepoPrompt

Running Local LLMs? [Tenstorrent] 32GB Card Might Be Better Than Your RTX 5090

LLM-hacker-news: LLM plugin for pulling content from Hacker News

Sculptor: Catch and fix issues as you code

Cogito Preview: IDA as a path to general superintelligence

Using LLM to Generate Data for D3.js Force Directed Graph (FDG)

CodeScientist: Automated scientific discovery system for code-based experiments

An LLM Query Understanding Service

LLM Benchmark for 'Longform Creative Writing'

smartfunc: Turn Docstrings into LLM-Functions

Nvidia on NixOS WSL – Ollama up 24/7 on your gaming PC

Show HN: Lunon – Instant model switching across LLMs

CaMeL offers a promising new direction for mitigating prompt injection attacks

Everything Wrong with MCP