Hasty Briefsbeta

全部标签

machine learning

共 23 篇

双语

Show HN: CostPerPrompt – Live AI API pricing and real-workload cost calculators
2 months ago
- AI定价基于token（大约3/4个单词），输入和输出分别计费；输出通常比输入贵3-5倍。
- 提示缓存可降低重复输入成本高达90%，批次处理提供约50%的折扣，许多成本估算忽略了这些。
- 实时表格显示232+旗舰模型的价格，包括GPT-5.x、Claude 5变体、DeepSeek V4、Gemini 3.x、Grok 4.x和GLM 5.2，每百万输入token的成本从$0.09到$10.00不等。
- 提供计算器，可将token价格转换为聊天机器人、代理或API工作负载的实际月度成本。
Autoregressive Language Model on the 6502 Processor
2 months ago
- 该项目在仅拥有25KB用户内存（9KB代码，13KB权重）的BBC Micro（6502 CPU）上运行语言模型。
- 该模型采用BitNet三元量化（-1,0,1），每字节打包4个参数，在13KB中存储52k个参数。
- 选择Mamba（SSM）架构而非注意力机制或GRU，因为它需要固定大小的状态，并避免了6502上的不稳定问题。
- 推理使用C语言（CC65）编写，并通过自定义音频线和PlayUEF传输到BBC Micro。
- 词汇表仅限于26个字母加空格，以节省嵌入/解码器层的参数。
- 令牌采样使用查找表进行softmax（指数运算）和固定种子的伪随机生成器。
- 该模型在真实硬件上运行，但并不智能；它展示了在1980年代硬件上运行现代机器学习（ML）的可行性。
- 这项工作强调了机械同理心：在设计模型时考虑硬件限制。
Explorative Modeling – A new axis for pre-training
2 months ago
- 深度学习通过端到端训练彻底改变了人工智能，但由于处理多模态分布的困难，生成模型仍然避免这种方法。
- 探索性建模（XM）通过探索模型生成与数据之间的K个候选匹配来分解训练循环，并在最佳匹配上进行训练，以承诺于模式而不是模糊它们。
- 增加探索在参数和数据之外增加了第三个预训练轴，随着规模扩大，在图像、视频和语言上的性能都得到提升。
- 探索带来的收益随规模增长：数据缩放从7%提高到36%，模型缩放从13%提高到23%；效率提升高达4.1倍FLOP、6.2倍样本和47%参数。
- XM在无引导条件下在ImageNet上实现了接近最先进的1.43 FID，并实现了端到端重建建模，在控制任务上与扩散模型匹配，推理步骤减少16-256倍。
"Uncensored" open LLMs are measurably more optimistic than their base models
2 months ago
- 在模型权重中去除拒绝方向会导致超出拒绝移除范围的可测量副作用，如在一个不引发拒绝的决策任务中系统性行为变化所示。
- 来自两个混合专家模型家族（Gemma-4-26B-A4B-it 和 Qwen3-30B-A3B-instruct）的去除模型表现出更高的乐观度（决策中更高的积极性）、更长的理由以及自我批评中更少的不确定性词语。
- 对表达信心的影响在两个家族中相反：Gemma 模型变得不那么自信，而 Qwen 模型变得更加自信。
- 去除过程并未降低指令遵循能力，且去除模型和基础模型在股票预测中均未表现出经济技能。
- 在社区修改的检查点中检测到两个污染通道，表明工具链伪影在此类研究中很常见。
- 部署一个‘未经审查’的模型作为智能体，意味着部署一个可测量的不同决策者，而不是没有拒绝的基础模型。
Overtraining as the path to human-like AI
2 months ago
- Gwern proposes that overtraining, or 'grokking,' large neural networks on small datasets could lead to human-like AI by forcing deeper generalization.
- Current LLMs fail to generalize as well as humans because they are trained on massive data with minimal overtraining, unlike the grokking process.
- Grokking involves a sudden capability jump after prolonged training, as models shift from memorization to understanding underlying rules.
- Gwern suggests training a 100-trillion-parameter model on a constrained dataset to induce grokking, opposite to current AI lab practices.
- Political and technical obstacles, including high costs and apparent stagnation, may prevent labs from attempting this risky approach.
- The article argues that grokking, not pure scaling or reasoning, might be a viable path to artificial superintelligence.
Practical Simulations for Machine Learning is out now
2 months ago
- New book co-authored with Mars, Tim, and Jon covering Unity ML-Agents simulations.
- Explains how to use simulations to train machine learning models.
- Available in bookshops and on O'Reilly Online Learning platform.
Hello Deep Learning - Bert Hubert's writings
2 months ago
- 本教程提供了一份无需GPU、从零开始的现代机器学习入门指南。
- 它旨在深入解释概念，而不依赖像PyTorch这样的高级框架。
- 教程避免了纯数学方法，因为后者可能只适合经验丰富的数学家。
- 目标是从零开始开发出能在真实数据上产生出色结果的功能性神经网络。
- 教程包含托管在GitHub上的代码和Markdown文件，便于协作改进。
- 它涵盖12章，从线性组合开始到注意力机制和Transformer等高级主题，包括手写数字识别和语言处理等实际应用。
Jan 2021 Gwern.net Newsletter
2 months ago
- 2021年1月的Gwern.net通讯发布，总结了最新文章和关于AI及其他主题的链接。
- OpenAI的DALL·E和CLIP模型通过缩放和对比学习展示了显著的图像生成和零样本理解能力。
- AI的缩放向下包括DeiT、BoTNet和VQGAN等发展，实现了在有限计算资源下的更高效Transformer和GAN。
- Transformer在视觉任务中的主导地位日益增强，混合GAN和自回归模型挑战了纯GAN方法。
- 遗传学研究强调了遗传率，涉及多基因性状、近期人类进化以及基因编辑进展（如针对早衰症的碱基编辑）。
- 统计学和元科学涵盖了量子场论、引用准确性和节能算法。
- 心理学和生物学主题包括认知疲劳、视觉耳现象以及与健康和衰老相关的微生物组联系。
- 技术与经济部分讨论了防御工事、广告效果和信用卡支付经济学。
- 小说与杂项包括一首中世纪诗歌和对AI进展快速步伐的反思。
Becoming a Research Engineer at a Big LLM Lab
2 months ago
- 作者经过18个月战略性职业发展，最终在Mistral获得研究工程师职位，强调战术性（低投入、高回报）与战略性（高投入、持续累积）行动的区别。
- 个人时间线：设定目标、建立人脉、提升技能（LeetCode、计算机基础）、首次申请失败、辞职、加入Recurse Center、学习Rust、贡献开源、撰写论文，随后批量申请并收获offer。
- 目标设定至关重要：明确理想职位的标准（如职业转折点、稀缺技能、自主权、资深同事、个人贡献者路径），以集中精力并拒绝妥协。
- 申请策略：批量申请，利用人脉获取推荐和内部信息，优先安排低风险面试以积累经验。
- 人脉依赖弱连接：通过做有趣的事、分享并保持开放建立真诚友谊；线上（Twitter）和线下（集体项目）均有效。
- 职业动力需要积累稀缺且有价值的技能（职业资本），并通过项目、开源贡献、出版物和简历条目展示上升轨迹。
- 面试类型包括初筛、笔试、在线测评、编程面试（LeetCode、API/系统设计、实际场景）、系统设计、文化契合、测验、招聘经理面试和背景调查——每种均有特定准备策略。
- 心理博弈涉及应对拒绝、不确定性和污名化；通过牢记求职的杠杆作用和可能性保持动力。
- 战术归结为获取信息优势并付诸行动，而战略则聚焦长期技能积累和成果证明。
The Open-Source Release of ML Video Codec (MLVC)
2 months ago
- 微软宣布以MIT许可证开源ML视频编解码器（MLVC）。
- MLVC是一种基于神经网络的视频编解码器，其带宽消耗低于传统编解码器，可提升流媒体和通话质量。
- 它是DCVC系列的产品迭代，具有更高的压缩效率、实时NPU性能和跨平台支持。
- 与H.264相比，MLVC在360p下码率降低高达87.8%，在540p下降低82.7%；与H.265相比，分别降低75.5%和65.4%。
- MLVC已在Microsoft Teams中用于实时点对点视频通话。
- 此次发布包括模型源代码、训练权重、训练脚本和平台转换脚本。
- 欢迎在流媒体、通信、云游戏、AR/VR和硬件等领域做出贡献。
- 未来计划包括稳定540p实时性能、扩展到1080p，并构建开放的视频编解码器生态系统。
The linear algebra and calculus behind every model
2 months ago
- 每个机器学习模型都依赖于三大支柱：线性代数、微积分和凸优化。
- MNIST数据集在展平后被视为一个70,000行（图像）和784列（像素）的矩阵。
- 数据探索显示类别平衡、无缺失值，且像素强度分布呈双峰形状。
- 向量有L1和L2范数；点积用于衡量图像之间的相似性。
- 矩阵乘法生成一个包含成对相似性的格拉姆矩阵。
- 广播允许在不使用显式循环的情况下将标量偏置加到张量上。
- 投影将图像分解为沿平均图像方向的分量和垂直于该方向的分量。
- 奇异值分解（SVD）对中心化数据矩阵进行分解，并揭示出784个奇异值中有626个显著奇异值。
Intelligence from Learnable Novelty
2 months ago
- 智能在不同领域表现为数据压缩、通用计算或自适应行为，每种都有其自身目标。
- 两种有影响力的驱动——新奇搜索（寻求惊喜）和自由能原理（避免惊喜）——以镜像方式失败，例如被嘈杂的电视吸引或满足于黑暗的房间。
- 这两种失败都源于将学习者能够转化为知识的惊喜和不能转化的惊喜视为同一量。
- 信息的可学习部分，称为可学习新奇，产生了智能的不同投影，并且基于廉价、可微的储层计算机构建了一个封闭形式估计器。
- 作为无监督的度量，该估计器恢复了数十年的复杂性分类，将图灵完备的规则110列为基本元胞自动机中最高。
- 作为目标，其梯度引导神经元胞自动机从简单动力学进入孤子态，完全无监督地将图像编码器表示围绕MNIST数字类别组织起来。
- 作为强化学习的内在奖励，它提供了任务奖励中缺失的探索，在十个环境中的九个上改善了基线而不崩溃。
- 复杂性生成、抽象和探索源于对一个可微量的上升，将智能的投影统一在共同的定量基础上。
Why non-invasive glucose monitoring is hard
2 months ago
- 无创血糖监测比血氧监测更困难，因为血糖浓度低（比血红蛋白低1000倍），缺乏明显的吸收峰，且无法使用AC/DC分离方法。
- 已有各种技术被探索：近红外（NIR）由于信号弱，MARD约为20-25%；中红外（MIR）MARD约为12%，但需要小型化；拉曼光谱MARD约为11.7-14.3%，但需要高激光功率；光声光谱由于皮肤变异性不可行；荧光传感器如Eversense MARD约为8.5%，但属于植入式；基于深度学习的光电容积描记法（PPG）最初报告高准确率，但在大型队列中失败。
- 近期进展包括Apple基于141,000个PPG/ECG波形训练的基础模型，成功检测到高血压，但在血糖方面仍未验证。
- 最可能的路径是将先进的机器学习与硬件进步（MIR或拉曼）相结合，正如Apple将桌面原型缩小到平板大小所表明的那样。
Is AI Progress Real? Four Independent Metrics Show It
2 months ago
- AI基准测试的进步常常面临诸如数据污染、饱和度和奖励黑客等挑战，使得难以区分真实进展与针对特定测试的优化。
- 四项独立指标显示，自2025年底开始AI能力出现急剧加速，与Grok 4.1、Gemini 3、Claude Opus 4.5和GPT-5.2等模型的发布时间吻合。
- METR的时间范围指标在不到两年内从4分钟增长到12小时，表明前沿模型在任务执行方面取得快速进展。
- TrackingAI的线下认知测试显示，AI系统在大约两年内从表现优于不到10%的人类，发展到超越44人中除1人外的所有参与者。
- Humanity's Last Exam的分数在一年内从2.7%跃升至53%，这反映了达到博士水平知识所需计算能力的指数级增长。
- 抽象推理测试ARC-AGI-2的分数在停滞15个月后于2025年底激增，像GPT-5.2这样的模型在几周内就达到了53%的得分。
- 四种复合机制驱动了这种进步：预训练效率提升、可验证奖励的强化学习、系统优化工程以及AI自我改进带来的飞轮效应。
- 数据枯竭、性能可靠性差距以及像ARC-AGI-3（包含交互推理）这样的新基准测试等挑战可能会减缓未来的进展速度。
- 这种类似于气候科学'曲棍球杆曲线'的多指标测试方法，通过多样化的独立指标印证了AI加速发展，表明存在真实且不断加速的进步趋势。
How Does Pangram Work?
2 months ago
- 全拼模型是一种通过分析写作风格模式来区分AI生成文本与人类写作的分类器模型。
- 它通过映射写作风格运作，将风格相似的作者置于相近位置；在这张地图上，AI文本与人类文本会形成明显不同的聚类。
- 全拼模型评估的是整篇文本而非单个词语，避免了基于困惑度的检测器常将历史文献误判的缺陷。
- 训练过程通过将人类写作文本与AI生成的复本配对，以优化检测能力，专注于细微的风格边界。
- 该模型需要达到最低字数要求才能保证准确性，其性能已通过内部基准测试和第三方测试进行了统计学验证。
Mathematics of Data Science
2 months ago
- 本书涵盖了数据科学的数学基础，包括高维空间、奇异值分解、线性回归、图与网络以及深度学习等主题。
- 它探讨了关键技术，如降维（线性和非线性）、优化、分类、压缩感知和矩阵恢复。
- 文本还深入研究了理论方面，如测度集中、高斯分析以及矩阵浓度不等式，为数据科学背后的数学提供了全面的介绍。
Detecting LLM-Generated Texts with “Classical” Machine Learning
2 months ago
- 截至2026年初，主流LLM生成的文本展现出强烈的统计模式，可被传统机器学习模型检测出来。
- 一个在线演示使用简单的SVM分类器，基于人类和LLM生成的数据进行训练，实现了约85%的单句准确率。
- 数据收集自2022年前的人类文本，以及通过Gemini、Qwen、GLM等多个低成本/免费API由LLM重新生成的摘要。
- 训练了七个二元分类器，采用多数投票方式；检测对翻译或重写提示等常见反检测方法保持鲁棒性。
- 在未见过的模型和人类文本上测试显示误报率较低；对Lofter内容的分析表明存在大量未公开的AI生成材料。
- 作者对LLM的创造力持怀疑态度，认为AI生成内容重复且肤浅，并反思AI滥用的更广泛影响。
LambdaMART in Depth (2022)
2 months ago
- LambdaMART 是一种灵活的排序算法，能够优化如 DCG 在内的不同相关性度量指标。
- 它通过成对交换计算 DCG 影响（Δ值），并借助梯度提升从模型错误中学习。
- 在 Python 与 Pandas 中的实现涉及通过自连接计算 Δ值、按 rho 加权以及迭代训练决策树。
- 关键步骤包括特征准备、Δ值计算、使用 rho 的误差加权、lambda 累加和集成训练。
- 为防止过拟合并管理性能，学习率和模型规模是需要重点考虑的因素。
Agent Harness Engineering
2 months ago
- 智能体牵引工程专注于构建围绕人工智能模型的脚手架，以创建高效的编码智能体。
- 牵引系统包括系统提示、工具、基础设施、编排逻辑、钩子和可观测性组件。
- 牵引工程将智能体的错误视为改进系统的信号，通过增加约束来防止问题重复发生。
- 关键牵引组件包括用于状态管理的文件系统和Git、作为通用工具的bash和代码执行以及用于安全执行的沙箱。
- 记忆和搜索机制支持持续学习，而上下文管理技术则对抗上下文腐败问题。
- 通过循环（如Ralph循环）、规划、验证以及规划器/生成器/评估器的分工，系统支持长周期任务的执行。
- 钩子用于强制执行规则并提供反馈，而AGENTS.md则作为简洁的规则手册被注入到提示中。
- 牵引系统随模型共同演化；随着模型的改进，牵引组件会调整以应对新的能力和失败模式。
- 模型-牵引训练循环表明，模型在与特定牵引系统共同训练后，其性能会受到影响。
- 牵引即服务框架通过提供预构建的可定制运行时组件，简化了智能体的开发过程。
- 行业趋势显示，顶级编码智能体在牵引模式上趋于一致，这表明了共享的最佳实践。
- 未来的发展方向包括多智能体编排、自我改进的牵引系统以及针对任务的动态工具组装。
Show HN: Phobos – A tiny scale-free kernel language with tile-DAG support
2 months ago
- 作者开发了Phobos，这是一种受Triton启发的微型内核语言，可编译为PTX并在NVIDIA GPU上运行。
- Phobos在RTX 2080 SUPER上实现了约76%的cuBLAS SGEMM性能，并采用了平铺和Tensor Core使用等优化。
- 该语言抽象了线程级细节，专注于面向AI计算的平铺级操作，从而能够自然地扩展到分布式集群。
- 该项目涉及学习底层GPU编程、使用MLIR和LLVM与Rust，并实现内核参数的自动调优。
- 为分布式平铺-DAG执行构建了集群原型，但由于硬件限制未进行多节点基准测试。

machine learning

Show HN: CostPerPrompt – Live AI API pricing and real-workload cost calculators

Autoregressive Language Model on the 6502 Processor

Explorative Modeling – A new axis for pre-training

"Uncensored" open LLMs are measurably more optimistic than their base models

Overtraining as the path to human-like AI

Practical Simulations for Machine Learning is out now

Hello Deep Learning - Bert Hubert's writings

Jan 2021 Gwern.net Newsletter

Becoming a Research Engineer at a Big LLM Lab

The Open-Source Release of ML Video Codec (MLVC)

The linear algebra and calculus behind every model

Intelligence from Learnable Novelty

Why non-invasive glucose monitoring is hard

Is AI Progress Real? Four Independent Metrics Show It

How Does Pangram Work?

Mathematics of Data Science

Detecting LLM-Generated Texts with “Classical” Machine Learning

LambdaMART in Depth (2022)

Agent Harness Engineering

Show HN: Phobos – A tiny scale-free kernel language with tile-DAG support