Hasty Briefsbeta

全部标签

#llms

共 165 篇

双语

Compiling Dinner
9 months ago
- 食谱可被视为编程语言——食材是输入参数，烹饪动作就是执行指令
- 烹饪如同编译器工作，需将自然语言指令解析为可执行的结构化步骤
- 大语言模型（LLM）通过允许用户用通俗英语描述规则并生成代码草图，极大简化了编译器的创建过程
- 编译概念已突破编码领域，延伸至烹饪、健身计划、商业流程和音乐创作等场景
- LLM技术使编译器开发民主化，非专业人士也能尝试构建领域专用语法和执行管道
- 工程师的核心作用仍不可替代：他们需要定义编译器编码的价值观（如食谱优化方向——追求效率、营养还是风味）
- 现代编译器已成为跨领域转化结构化意图为行动的工具，而LLM正使这一过程更加普惠
The maths you need to start understanding LLMs
8 months ago
- 大语言模型（LLMs）需要理解向量、矩阵和高维空间的概念。
- 向量表示n维空间中的距离和方向，在LLMs中用于可能性预测。
- LLMs中的词汇空间涉及表示词元可能性的logits向量，通过softmax函数进行归一化处理。
- 嵌入空间将相似含义的词汇聚类，用高维空间中的向量表示概念。
- 矩阵乘法在不同维度空间之间进行投影转换，这对LLMs中的变换至关重要。
- 神经网络层本质上是矩阵乘法运算，将输入投影到输出，并可选择加入偏置和激活函数。
- 理解LLMs需要掌握高中基础数学概念，并将其应用于更大的矩阵和更高维度空间。
Experimenting with Local LLMs on macOS
8 months ago
- 作者在macOS上尝试本地大语言模型，尽管存在质疑。
- 大语言模型复杂但不具备感知能力，适用于摘要总结和头脑风暴。
- 本地大语言模型保障隐私、避免企业数据滥用并减少环境影响。
- 推荐两款工具：llama.cpp（开源）和LM Studio（用户友好）。
- 选择大语言模型时需考虑模型大小、运行时间、量化方式及功能（视觉、推理、工具使用）。
- 热门模型包括Gemma 3、Qwen3、GPT-OSS和Phi-4。
- 尽管存在局限，本地大语言模型仍具实用价值和学习意义。
Agentic AI Runs on Tools
8 months ago
- Agentic AI（代理型人工智能）的核心特征在于具备目标设定、规划、多步推理、记忆/持久化以及与外界交互的能力。
- 代理性是一个连续光谱：代码生成器等系统具有高度代理性，而简单聊天机器人则代理性较弱。
- 缺乏外部工具支持的大语言模型存在明显局限，如信息截止日期问题和实时数据获取缺失。
- 函数调用是大语言模型与外部工具交互的关键范式，能有效增强代理行为表现。
- MCP和A2A等框架在函数调用基础上发展而来，旨在标准化AI代理的工具发现与使用流程。
- 随着对AI工具信任度的提升和大语言模型函数调用准确性的改进，代理型AI预计将迎来显著发展。
I Don't Get It
8 months ago
- 有人质疑英语是否是一种新型的晦涩编程语言（esolang）
- 将英语转译成代码成为热议话题
- 大语言模型使用工具引发'它们是否构成运行时环境'的思考
- 大语言模型被比作互联网的有损压缩版本
- 研究者指出token生成的并行处理方式颇为奇特
- 大语言模型的隐藏层特性被争论应归类为功能还是缺陷
- 大语言模型被类比为支持模糊搜索的键值存储系统
- 人们质疑扩展存在缺陷的系统真能提升可靠性吗
- 戏称未来会出现'越狱电话推销机器人'的酷炫场景
- 开源大语言模型可能成为有趣的攻击载体
- 担忧未来会出现大语言模型API造成的依赖地狱
- 质疑聊天机器人是否真有时序意识/能否玩hangman等游戏
- 戏称维基百科正在遭遇中间人攻击（MITM）
- 提出'聊天界面将是终极人机交互形式'的论断
- 思考冰箱是否需要设置AI模式的哲学问题
- 随口提及天气渐凉的日常观察
Wysiwid: What you see is what it does
8 months ago
- 大语言模型（LLM）正在提升代码编写能力，降低对底层编码技能的需求，但提高了系统建模和模糊需求转化的重要性
- 人类（高层决策）与LLM（细节实现）的现有分工可能并非最优解，因为LLM能力持续进化且任务存在差异性
- LLM暴露出当前软件开发实践的缺陷，表明需要更好的模块化设计和经典软件工程原则
- 模块化软件设计可通过逐模块生成代码的方式提升LLM效能，将行为封装在独立模块中
- 当前软件实践常因复杂接口和低效维护导致真实模块性缺失，进而产生技术债务
- 面向对象编程（OOP）常无法实现真正的模块化，因为功能无法总是完美对应到实体
- 基于概念的设计通过围绕用户目标组织代码来提升模块性，各独立概念通过同步机制（syncs）协调
- 同步机制作为概念间交互媒介，既能管理数据流和应用特定行为，又能保持概念的可复用性
- Kodless等原型工具及持续研究证明，用LLM生成概念实现与同步机制具有可行性
- 该方法能产出用户行为对应清晰的易读代码，增强LLM在软件开发中的扩展性与完整性
- 未来方向包括面向非专业用户的低代码SAAS工具和面向开发者的智能体工作流，尤其在前端设计领域具应用潜力
You're not using LLMs enough
8 months ago
- 许多人低估了大语言模型的能力，未能有效实现任务自动化。
- 大语言模型可通过自动化任务（如图片转日历事项、编写爬虫、文本翻译）显著节省时间。
- 自动化案例包括日历同步、网页转Markdown文档、条件性文件同步等场景。
- 由大语言模型驱动的专业软件现每月仅需20美元即可使用，让人们能专注于更重要的事务。
MCP Server Could Have Been a JSON File
8 months ago
- MCP（模型上下文协议）服务器的目标是教会大语言模型如何与其他软件系统交互。
- MCP为大语言模型提供资源、提示词和工具，但其分类方式混乱且随意。
- 作者质疑MCP的必要性，认为现有标准如OpenAPI和命令行工具已足够满足需求。
- 支持MCP的论点包括大语言模型的上下文窗口有限及服务文档质量差，但作者仍持怀疑态度。
- 作者最终得出结论：改进现有工具和文档比采用MCP这类新协议更重要。
We Politely Insist: Your LLM Must Learn the Persian Art of Taarof
8 months ago
- 大语言模型（LLMs）在应对波斯文化特有的社交礼仪'塔阿鲁夫'时表现欠佳
- 塔阿鲁夫是波斯社会强调仪式性礼貌、谦逊、委婉的社交规范
- 研究者推出首个塔阿鲁夫评估基准TaarofBench，包含12个社交主题下的450个角色扮演场景
- 对五款前沿LLM的评估显示其文化胜任力存在显著缺陷，准确率较波斯母语者低40-48%
- 模型表现因话题而异，波斯语提示能提升效果，并呈现基于性别的应答差异
- 西方礼貌评估标准常与塔阿鲁夫规范相冲突，凸显文化框架的局限性
- 监督微调与直接偏好优化分别使模型对齐度提升21.8%和42.3%
- 33名参与者（母语者、文化传承者及非伊朗人）实验建立了文化熟悉度基线
- 本研究致力于开发具备文化意识的大模型，以提升全球社交互动处理能力
Game over for pure LLMs. Even Rich Sutton has gotten off the bus
8 months ago
- 图灵奖得主Rich Sutton以其2019年发表的《苦涩的教训》一文闻名，主张通过规模化而非人工设计推动AI进步。
- Sutton的论述虽具影响力，但被包括本文作者在内的批评者认为存在夸大和缺陷。
- Sutton近期言论显示立场转变，更倾向于认同对纯大语言模型规模化的批判。
- 包括Yann LeCun和Demis Hassabis在内的AI领军人物已开始批判大模型，Sutton成为最新加入者。
- 这类批判强调大模型的局限性，指出需要发展世界模型、强化学习及神经符号方法。
- 应加大对纯大模型规模化之外探索的投入，以突破现有技术瓶颈。
Endless AI-Generated Wikipedia
8 months ago
- EndlessWiki是一个AI生成的无限维基百科，当用户点击链接时内容会即时生成。
- 该项目探索了将大型语言模型(LLMs)作为维基百科进行交互的概念，充分利用其存储的知识。
- 后端采用MySQL数据库和Golang服务器，使用Kimi K2模型生成页面以确保速度和可靠性。
- 为防止作弊，每个链接都包含origin参数，服务器端会验证该参数以确保导航的合法性。
- 创建者设想了潜在的非玩具应用场景，例如ChatGPT自动为专有名词添加超链接以实现深度探索。
We should stop pretending like LLMs are software engineers
8 months ago
- 尽管营销炒作暗示相反，但大语言模型并非软件工程师。
- AI编码工具生成的代码往往缺乏对人类而言的可读性和可维护性。
- 人类擅长在空间上组织代码并应用长期惯例和标准。
- AI编码工具的最佳用途是作为精准辅助工具，而非自主代理。
- Cursor Compose之所以有效，是因为它能精准执行特定编辑的指令。
- 能运行的软件与构建过程愉悦且可持续的软件是两回事。
Designing Agentic Loops
8 months ago
- 像Claude Code和OpenAI的Codex CLI这样的编码智能体，代表了利用大语言模型进行代码编写和执行的重大进步。
- 设计智能体循环是有效运用编码智能体的关键技能，需要明确目标和迭代工具。
- YOLO模式允许智能体无需批准即可运行命令，虽然提高了生产力，但也存在数据丢失或泄露等风险。
- 为降低风险，可选择在安全沙箱中运行智能体、使用GitHub Codespaces等第三方环境，或直接接受风险。
- 为循环选择合适的工具至关重要，其中shell命令对编码智能体特别有效。
- 应发放严格限定范围的凭证以限制潜在损害，最好用于设有预算限制的测试或预发布环境。
- 智能体循环最适合需要反复试错的问题，例如调试、性能优化和依赖项升级。
- 自动化测试通过提供明确成功标准，能显著提升编码智能体的价值。
- 设计智能体循环的领域非常新颖（Claude Code于2025年2月发布），关于如何优化使用还有大量探索空间。
Effective context engineering for AI agents
8 months ago
- 上下文工程正成为人工智能领域的新焦点，从提示词工程转向优化上下文配置以获得理想的模型行为。
- 上下文指大语言模型采样时包含的token序列，上下文工程就是针对模型限制优化这些token的配置过程。
- 提示词工程专注于撰写有效指令，而上下文工程需要管理系统指令、工具链和对话历史等完整上下文状态。
- 大语言模型存在'上下文衰减'现象——随着上下文窗口扩展，模型的信息提取能力会下降，这要求对token进行精细管理。
- 高效的上下文工程在于找到最小化的高价值token组合，在系统提示的精确性与灵活性之间取得平衡。
- 智能体工具应当保持高效、模块化和界面清晰，避免工具集过度臃肿导致功能模糊。
- 示例样本（小样本提示）需要具备多样性和典型性，在明确示范预期行为的同时避免引入过多边缘案例。
- 上下文检索策略正从'预推理检索'转向'即时加载'模式，智能体可在运行时动态获取所需数据。
- 长周期任务需要采用上下文压缩（摘要）、结构化备忘、子智能体架构等技术来突破上下文限制。
- 上下文工程的核心原则是：通过精选高信息密度的token，最大化模型有限注意力资源的利用率。
LLMs are the ultimate demoware
8 months ago
- 大语言模型（LLMs）被称为终极'演示软件'——演示效果惊艳，实际应用却常掉链子
- 演示软件指那些展示时光鲜亮丽，日常使用中却缺乏稳定性和实用价值的程序，这与多数场景下的LLMs如出一辙
- 当前LLM软件的推广主要依靠人工智能热潮，但其在演示场景之外的实际效用值得怀疑
- 与传统演示软件不同，LLMs只需极简操作就能在不同领域产出令人印象深刻的演示效果
- 关于"LLMs会持续进化最终超越演示软件"的论调正随着模型发展速度放缓而失去说服力
- 当企业意识到现有AI软件的实际价值有限而停止续费时，科技行业可能面临严峻挑战
- 区分演示软件与实用工具的关键标准是：该工具是否成为日常工作不可替代的部分——而当前多数AI工具都未通过这项测试
LLMs Are Short-Circuiting. What Comes Next?
8 months ago
- 大语言模型（LLMs）与生成式AI面临重大挑战，包括AI幻觉、版权争议及职业替代忧虑。
- 加里·马库斯等批评者指出，尽管规模扩大，LLMs仍未实现通用人工智能（AGI），且缺乏类人推理与灵活性。
- 杰弗里·辛顿与马库斯就AI可解释性展开辩论，马库斯反对AI必须复刻人类智能的观点。
- 穆尼尔·希塔将智能定义为在物理约束下引导因果链实现目标的能力，强调需要基于物理学的动态模型。
- 马克·法齐提出AI四层系统架构：统计、结构、推理与目标层，强调对齐机制对真正智能的关键作用。
- 单纯扩大算力与数据无法实现AGI，GPT-5和Grok4等模型已显现收益递减现象。
- 替代方案包括神经符号AI（朱迪亚·珀尔的因果推理）、杰夫·霍金斯的时间记忆理论等新范式。
- 理查德·萨顿与杨立昆批评LLMs缺乏世界模型和目标导向，仅是符号生成器。
- 马库斯主张开发AlphaFold这类专注可靠的AI系统，而非用现有缺陷技术追逐AGI。
- 希塔强调AGI需内置伦理框架，警告后添加的安全护栏会削弱系统能力而非保障安全。
Why do LLMs freak out over the seahorse emoji?
7 months ago
- 尽管海马表情符号并非Unicode标准的一部分，但大语言模型始终坚信其存在。
- 人类集体记忆和网络讨论强化了这一错误认知，许多人回忆中存在的海马表情符号实际从未被创建。
- 通过logit透镜技术发现，大语言模型在输出错误表情前，内部会先构建'海马+表情符号'的概念框架。
- 当生成表情符号时，大语言模型试图将其lm_head中的残差向量与已知标记匹配，但对海马等不存在的表情符号会匹配失败。
- 不同模型对错误输出的处理方式各异：有的陷入表情符号刷屏循环，有的会自我纠正，还有的直接忽略错误。
- 这种现象表明，缺乏强化学习等外部反馈机制时，大语言模型难以将自身输出与现实标准进行验证。
Vibe Engineering
7 months ago
- 氛围工程（Vibe engineering）被提出作为一个术语，指经验丰富的专业人士在保持责任担当的同时，利用大语言模型加速工作流程
- 诸如Claude Code、OpenAI的Codex CLI和Gemini CLI等编程智能体通过迭代和测试代码，显著提升了现实世界的编程效率
- 在软件工程中有效运用大语言模型需要自动化测试、完善的文档规范以及良好的版本控制习惯
- 大语言模型特别青睐顶级工程实践，包括周密规划、严格代码审查和扎实的调研能力
- 管理编程智能体与管理人类协作者类似，都需要清晰的指令说明和充分的上下文沟通
- 氛围工程与氛围编程（vibe coding）的区别在于其更成熟的方法论和面向生产环境的专业导向
- 这个术语刻意采用戏谑且具争议性的命名方式，反映了AI辅助编程领域快速演进的特质
Solving the Wrong Problem
7 months ago
- 文章讨论了AI辅助与AI主导编程的区别：前者是人类程序员在AI支持下工作，后者是AI代理独立处理编码任务。
- AI代理能生成解决方案，但常需修正与提醒，既展现潜力又暴露当前不可靠性。
- 存在担忧认为AI主导编程可能解决错误的问题——关注技术可能性而非实际需求。
- 大语言模型基于概率与训练数据运作，引发对其创造性与代码片段复用本质的质疑。
- 劣质代码泛滥被归因于软件开发者教育与培训的缺失。
- AI代理被视为加速开发的工具，但因其复制训练数据模式，未必能提升代码质量。
- 对快速交付功能的需求受到批评，认为这可能导致更多浪费而非价值创造。
- 具有讽刺意味的是，AI代理反而需要人类开发者常被忽视的完善文档与需求说明。
- 文章最终指出，基于AI代理的开发可能固化现有问题，而非真正解决问题。
LLMs are getting better at character-level text manipulation
7 months ago
- 像GPT-5和Claude 4.5这样新一代大语言模型（LLMs）在处理字符操作、字符计数以及编码/密码任务方面展现出比前代模型更强的能力。
- 由于分词机制（将文本分解为可能代表多个字符或整个单词的标记），LLMs传统上在字符级任务上表现不佳，这使得精细的字符操作变得困难。
- 字符操作测试：从GPT-4.1开始的模型在诸如替换句子中的字母等任务上表现稳定，而早期模型如GPT-3.5-turbo则失败。
- 字符计数对大多数LLMs仍是挑战，只有GPT-4.1和GPT-5（带推理功能）能可靠地统计句子或特定字母中的字符数。
- Base64和ROT20密码测试显示，新模型（GPT-5、Claude Sonnet 4.5、Gemini 2.5 Pro）能够解码和破译加密信息，表明其理解深度超越了单纯记忆模式。
- 部分模型如Claude Sonnet 4.5和Grok 4因安全过滤器拒绝处理编码或混淆文本，限制了它们在特定任务中的可用性。
- 中文推理模型在破解密码时表现出冗长的内部独白，消耗的标记数显著多于其他模型。
- 新模型在Base64解码上展现出更好的泛化能力，甚至能处理类似乱码的ROT20编码文本，表明其具备算法理解而不仅是模式记忆。
- LLMs的字符级操作正在改进，新模型在替换任务和密码解码方面表现更优，但仍存在挑战。

About|Login

#llms

Compiling Dinner

The maths you need to start understanding LLMs

Experimenting with Local LLMs on macOS

Agentic AI Runs on Tools

I Don't Get It

Wysiwid: What you see is what it does

You're not using LLMs enough

MCP Server Could Have Been a JSON File

We Politely Insist: Your LLM Must Learn the Persian Art of Taarof

Game over for pure LLMs. Even Rich Sutton has gotten off the bus

Endless AI-Generated Wikipedia

We should stop pretending like LLMs are software engineers

Designing Agentic Loops

Effective context engineering for AI agents

LLMs are the ultimate demoware

LLMs Are Short-Circuiting. What Comes Next?

Why do LLMs freak out over the seahorse emoji?

Vibe Engineering

Solving the Wrong Problem

LLMs are getting better at character-level text manipulation