Hasty Briefsbeta

全部标签

#machine learning

共 485 篇

双语

OpenAI's new open weight (Apache 2) models are good
9 months ago
- OpenAI在Apache 2.0许可证下发布了新的开源权重模型：gpt-oss-120b和gpt-oss-20b
- gpt-oss-120b在推理基准测试中接近专有模型o4-mini的水平，可在80GB GPU上运行
- gpt-oss-20b性能匹配o3-mini，适用于内存16GB的边缘设备
- 两个模型均采用混合专家架构，每token分别激活51亿和36亿参数
- 模型在博士级科学问题（GPQA Diamond基准）上表现优异
- gpt-oss-20b在32GB内存的Mac上高效运行，推理时占用约12GB内存
- 模型支持可调节的推理级别（低/中/高），影响速度与准确性
- 推出新型提示模板格式OpenAI Harmony，包含系统/开发者/用户/助手/工具五种角色
- 模型基于数万亿token训练，侧重STEM/编程/通识领域，内置安全过滤器
- 训练成本估算：gpt-oss-120b约420-2310万美元，gpt-oss-20b约42-230万美元
- 支持工具调用功能，包括网页浏览/Python执行/开发者自定义函数
- 性能媲美近期中国开源模型（Qwen/Moonshot/Z.ai），部分指标可能更优
Hand-picked selection of articles on AI fundamentals/concepts
9 months ago
- 精选文章合集，涵盖人工智能基础知识，从构建神经网络到训练与评估结果。
- 核心算法与架构包括：线性/逻辑回归、k近邻算法、支持向量机、决策树、生成对抗网络、扩散模型和强化学习。
- 关键数据与训练概念：数据采样、正则化、梯度下降、损失函数、微调与分布式训练。
- 视觉相关主题：视觉Transformer（ViT）、感受野、残差网络及GPT-4o图像生成。
- 自然语言处理基础：词嵌入、Transformer架构、大语言模型、检索增强生成、分词与机器翻译。
- 多模态模型（如BERT、GPT、LLaMA、Gemini）及专用工具（Toolformer、Visual ChatGPT）。
- 评估方法、MLOps技术、端侧AI（模型压缩、联邦学习）以及PyTorch与TensorFlow对比等综合主题。
A Comprehensive Survey of Self-Evolving AI Agents [pdf]
9 months ago
- 大型语言模型的最新进展提高了人们对用于复杂任务的AI智能体的兴趣
- 大多数现有智能体系统在部署后是静态的，限制了动态环境中的适应性
- 研究正在探索通过交互数据和反馈增强系统的智能体进化技术
- 自进化AI智能体将基础模型的静态能力与终身适应性相连接
- 自进化智能体的统一概念框架包括系统输入、智能体系统、环境和优化器
- 本综述研究了针对不同智能体系统组件的自进化技术
- 探讨了生物医学、编程和金融领域的特定领域进化策略
- 讨论了自进化智能体的评估、安全性和伦理考量
- 本综述旨在支持开发具有适应性、自主性和终身学习能力的智能体系统
rerank-2.5 and rerank-2.5-lite: instruction-following rerankers
9 months ago
- 推出rerank-2.5系列，具有改进的性能和指令遵循能力
- 显著准确率提升：rerank-2.5和rerank-2.5-lite分别比Cohere Rerank v3.5高出7.94%和7.16%
- 新增支持32K token上下文长度，是Cohere Rerank v3.5的8倍
- 指令跟随功能允许通过自然语言引导相关性评分
- 在MAIR基准测试和内部数据集上均展示性能提升
- 跨多个领域和语言的详细评估显示出一致的改进
- 提供示例展示指令跟随功能在搜索查询中的实际应用
The Role of Feature Normalization in Ijepa
9 months ago
- 使用UV进行依赖管理。
- 需要下载数据集和NYU-Depth压缩文件，约需100GB存储空间。
- 默认训练配置采用约3亿参数的ViT-Small模型，耗时116小时，消耗约22GB显存。
- 支持恢复训练、评估IN1k验证集性能、可视化特征及绘制损失曲线。
- 代码中的token_ids为LongTensor类型，每个token含四个整数：注册ID、样本ID、高度ID、宽度ID。
- 模型处理不同分辨率图像块的批次，与标准ViT模型不同。
- PyTorch的eval模式会影响模型前向传播，评估前需调用model.eval()。
- LiDAR分数基于训练数据随机子集计算，恢复训练时可能变化。
- 仅支持单GPU训练，可选用PILLOW-SIMD加速数据加载。
- 隐藏特性包括TOME、可学习的绝对分解位置编码，以及多种预测器训练选项。
- 实验表明，向编码器和预测器添加注册令牌会显著降低性能。
Mbodi AI (YC X25) Is Hiring a Founding Research Engineer (Robotics)
9 months ago
- Mbodi AI 是一个具身人工智能平台，使机器人能够通过自然语言学习。
- 用户可以通过与机器人对话来教授新技能，几分钟内即可执行。
- 该初创公司获得了ABB等顶级投资者和合作伙伴的支持。
- 率先将先进的生成模型集成到现实世界的机器人技术中。
- 正在招募一位创始研究/机器学习工程师，以开发尖端的机器学习模型和人工智能系统。
Gemma 3 270M: The compact model for hyper-efficient AI
9 months ago
- Gemma 3 270M模型介绍：专为任务微调设计的2.7亿参数紧凑型模型
- Gemma 3 270M以高效性、强指令遵循和文本结构化能力为核心设计
- AI工程的成功标准在于效率，而不仅是原始算力
- 案例：Adaptive ML与SK Telecom采用定制化Gemma 3 4B模型实现多语言内容审核，展现卓越性能
- Gemma 3 270M支持构建针对明确任务的小型专业化模型
- 创意应用潜力示例：如睡前故事生成器网页应用
- Gemma 3 270M基于先进架构开发，提供快速入门工具与方案
- 鼓励开发者构建更智能、更快速、更高效的人工智能解决方案
Distillation Scaling Laws
9 months ago
- 提出蒸馏缩放定律，通过计算预算及师生模型间资源分配来预估蒸馏模型性能
- 通过计算最优分配方案最大化学生模型表现，从而降低大规模蒸馏风险
- 为两种场景提供计算最优蒸馏方案：已有教师模型/需从头训练教师模型
- 实证表明：在多学生场景或存在预训练教师时，蒸馏效果优于监督学习（在可预测计算量范围内）
- 指出若仅需蒸馏单个学生且需训练教师模型时，监督学习更具优势
- 通过大规模研究深化对蒸馏机制的理解，为实验设计提供指导
PyG 2.0: Scalable Learning on Real World Graphs
9 months ago
- PyG（PyTorch Geometric）已发展成为图神经网络领域的领先框架。
- PyG 2.0在可扩展性和实际应用能力方面引入了重大改进。
- 该更新包括对异构图和时序图的支持、可扩展的特征/图存储以及优化。
- PyG支持多种应用领域的图学习，包括关系深度学习和大型语言建模。
- 论文详细介绍了该框架增强的架构，旨在高效解决大规模图学习问题。
ISR: Invertible Symbolic Regression (2024)
9 months ago
- 介绍可逆符号回归（ISR），这是一种利用可逆映射生成输入与输出间解析关系的机器学习技术。
- 结合可逆神经网络（INNs）与方程学习器（EQL）原理，构建可微分的可逆符号架构。
- 采用稀疏性促进正则化方法，以发现简洁且可解释的可逆表达式。
- 展示ISR作为符号标准化流在密度估计任务中的应用。
- 重点说明其在解决反问题中的实际用途，包括海洋学中的地声反演问题。
A Visual Exploration of Gaussian Processes (2019)
9 months ago
- 高斯过程（GPs）是机器学习中解决回归问题的强大工具。
- 高斯过程建立在多元高斯分布的数学基础上，由均值向量和协方差矩阵定义。
- 高斯过程的关键操作包括边缘化和条件化，这些操作在高斯分布下是封闭的。
- 边缘化可以提取部分信息，而条件化则通过基于新数据更新概率实现贝叶斯推断。
- 高斯过程使用核函数（协方差函数）定义协方差矩阵，从而影响预测函数的形状和特性。
- 核函数可以是平稳的（如径向基核、周期核）或非平稳的（如线性核），并且可以组合使用以建模复杂的数据趋势。
- 高斯过程的先验分布假设均值为零，后验分布通过对观测训练数据进行条件化得到。
- 高斯过程可以通过在训练点上添加误差项来建模测量误差，从而得到更现实的预测。
- 组合核函数（如线性核+周期核）可以同时捕捉数据的全局趋势和局部模式。
- 高斯过程具有灵活性，可以进一步扩展，例如通过深度学习学习专用核函数。
Why Computer-Use Agents Should Think Less
9 months ago
- Archon是一款计算机副驾驶助手，在OpenAI的GPT-5黑客松比赛中荣获第三名。
- 它采用微型视觉模型实现快速响应，并利用GPT-5进行行动规划的推理。
- Archon常驻屏幕底部，允许用户用自然语言输入指令。
- 系统会截取屏幕截图，用GPT-5规划行动，并通过微调模型执行点击和键盘操作。
- 在赛车游戏演示中，Archon能遵循指令使用WASD键控制赛道导航。
- 该工具充分发挥GPT-5的高级推理能力，应用于开发、调试和训练场景。
- 采用分层架构：GPT-5负责行动规划，Archon-Mini执行精准点击操作。
- Archon-Mini是基于70亿参数Qwen-2.5-VL微调的图形界面定位模型。
- 系统通过自适应推理机制优化算力分配，平衡准确性与延迟以满足不同需求。
- 未来计划包括构建流式捕获管道，并将规划方案蒸馏到本地模型以加速执行。
- 最终目标是打造'自动驾驶计算机'，其设计灵感源自特斯拉端到端神经网络方案。
Philosophical Thoughts on Kolmogorov-Arnold Networks
9 months ago
- 科尔莫戈罗夫-阿诺德网络（KANs）是作者与合作者提出的一种新型神经网络，不同于多层感知机（MLPs）。
- KANs与MLPs具有相同的表达能力，但在优化性、泛化性和可解释性等涌现特性上存在差异。
- 从哲学角度看，MLPs符合整体论（'整体大于部分之和'），而KANs遵循还原论（复杂的'原子'但简单的组合）。
- KANs更贴近传统科学研究的还原论思维，因此在科学任务中更具潜力。
- MLPs在视觉、语言等非科学领域表现优异，而KANs更适合需要符号公式编译的任务。
- 作者强调必须通过实证实验结合哲学思辨，才能完整理解KANs与MLPs的特性。
The lottery ticket hypothesis: why neural networks work
9 months ago
- AI研究人员发现，尽管传统理论预测大型神经网络会因过拟合而失败，但它们却取得了成功。
- '彩票假说'解释称，大型网络包含可表现良好的小型子网络（'中奖彩票'），从而将实证成功与经典学习理论统一起来。
- 扩大模型规模提供了更多寻找简单有效解决方案的机会，而非单纯记忆数据。
- 这一发现的影响超越了AI领域，暗示智能的本质在于发现优雅模式而非记忆信息。
- 该突破来自实证测试而非固守既有理论，凸显了挑战假设的重要性。
- 虽然扩大规模带来了重大进展，但在实现真正理解方面，其效果可能存在自然极限。
Understanding Moravec's Paradox
9 months ago
- 莫拉维克悖论指出，与常见误解相反，推理所需的计算量远少于感觉运动与感知任务。
- 机器任务的难度可通过两个维度理解：搜索空间大小与奖励稀疏性。
- 国际象棋对机器更简单，因其搜索空间相对较小且奖励频繁，而机器人技术涉及巨大动作空间与稀疏奖励。
- 人类通过数十亿年自然选择下的进化搜索，形成了复杂的感觉运动技能。
- 模拟未来状态对国际象棋等任务至关重要，但在机器人技术中因环境复杂性而极具挑战。
- 神经网络（如大语言模型）通过预训练压缩搜索空间，并利用RLHF等微调方法处理稀疏奖励，从而获得成功。
- 除非借助预训练或模拟器，强化学习在庞大搜索空间和稀疏奖励场景中举步维艰。
- 莫拉维克悖论表明，AI任务的难度取决于搜索空间与奖励稀疏性，这为预测未来问题解决的难易提供了框架。
Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing
9 months ago
- Avengers-Pro 是一个面向大语言模型的测试时路由框架，旨在优化性能与效率。
- 该系统通过性能-效率评分机制，动态将查询路由至最合适的模型。
- Avengers-Pro 取得突破性成果，平均准确率超越GPT-5-medium达7%以上。
- 在降低27%成本时保持最强单体模型精度，以降低63%成本实现约90%性能表现。
- 该框架构建了帕累托前沿，可在任意给定成本下提供最优精度，反之亦然。
- Avengers-Pro 的代码已开源发布。
3D Reconstruction from Public Photos with Machine Learning
9 months ago
- 文章探讨了利用机器学习从公开照片重建3D模型的可能性
- 来自Reddit、YouTube和谷歌地图等渠道的公开照片可用于3D地图构建
- 相机拍摄时会丢失3D信息（深度），但机器学习能帮助恢复这些数据
- 3D重建的关键要素：每个像素的深度值（Z）和相机的焦距（f）
- 苹果的DepthPro模型提供公制尺度深度并估算焦距，从而实现精确的3D重建
- 3D重建案例包括COEX商场、森林、纽约天际线、Safeway超市和新加坡机场
- 由于训练数据集的限制，DepthPro模型在处理纽约天际线等大型场景时存在困难
- 该流程包含估算深度遮罩、将像素映射回3D空间，以及用Open3D可视化点云
How Can AI ID a Cat? An Illustrated Guide
9 months ago
- 神经网络使计算机能够通过从海量数据集中学习而非显式编程，实现像识别猫这样的图像识别功能。
- 分类任务（例如区分地图上的不同区域）展示了神经网络如何通过调整边界来学习数据分类。
- 神经元作为神经网络的基本构建单元，是依据输入及权重、偏置等参数输出值的数学模型。
- 训练神经网络需要通过调整参数来最小化误差，从而提升网络对新数据的准确分类能力。
- 通过增加神经元数量和网络层数，神经网络能处理更复杂的任务，拟合更曲折的决策边界。
- 大型神经网络以高维数据（如图像像素）为输入，可执行跨领域的复杂任务（如图像识别）。
- 神经网络的高级应用包括大语言模型和解决科学难题，尽管其内部运作机制仍存在未解之谜。
Delphi (Object Pascal) in the Age of AI
9 months ago
- AI正在革新多个领域，包括自动驾驶汽车和医疗诊断。
- 人工智能(AI)使计算机能够执行需要人类智能的任务，例如理解自然语言和识别物体。
- 模仿人脑构建的神经网络被用于模式识别和回归任务。
- CAI Neural API通过OpenCL和硬件加速支持高级神经网络运算。
- Keras是一个基于TensorFlow/CNTK/Theano运行的高级神经网络API，可快速实现实验原型。
- TensorFlow是用于高性能数值计算的开源库，广泛应用于机器学习和深度学习领域。
- TensorFlow Lite支持在移动端和物联网设备上进行低延迟、小体积的机器学习部署。
- 深度学习通过多层神经网络从数据中识别模式并做出预测。
- PyTorch是基于Python的深度学习库，提供张量计算和神经网络训练功能。
- AI在软件开发中的应用包括任务自动化、性能提升和实现自适应学习。
- IntelligenceLab是商用AI库，支持神经网络、数据分组和计算机视觉任务。
- 通过Python4Delphi(P4D)等工具可将机器学习集成到Windows应用中，加速开发流程。
- DeepAI API提供数据预测分析服务，包括图像上色和风格迁移等功能。
- 微软认知服务包含FaceAPI，可检测分析图像中的人脸及其多种特征属性。
The Annotated Transformer
9 months ago
- Transformer模型在过去五年中获得了极大的关注。
- 这篇文章提供了Transformer论文的逐行注释实现，包括重新排序的章节和添加的注释。
- 该实现包含多头注意力机制、位置编码和编码器-解码器架构的代码。
- 提供了训练细节，包括使用标签平滑和带有自定义学习率调度器的Adam优化器。
- 该模型在WMT 2014英德数据集上进行了训练，取得了最先进的结果。
- 提到了BPE/Word-piece分词、共享嵌入、束搜索和模型平均等额外功能，但未详细讨论。
- 提供了不同层注意力机制的可视化，以帮助理解模型的内部工作原理。

About|Login

#machine learning

OpenAI's new open weight (Apache 2) models are good

Hand-picked selection of articles on AI fundamentals/concepts

A Comprehensive Survey of Self-Evolving AI Agents [pdf]

rerank-2.5 and rerank-2.5-lite: instruction-following rerankers

The Role of Feature Normalization in Ijepa

Mbodi AI (YC X25) Is Hiring a Founding Research Engineer (Robotics)

Gemma 3 270M: The compact model for hyper-efficient AI

Distillation Scaling Laws

PyG 2.0: Scalable Learning on Real World Graphs

ISR: Invertible Symbolic Regression (2024)

A Visual Exploration of Gaussian Processes (2019)

Why Computer-Use Agents Should Think Less

Philosophical Thoughts on Kolmogorov-Arnold Networks

The lottery ticket hypothesis: why neural networks work

Understanding Moravec's Paradox

Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing

3D Reconstruction from Public Photos with Machine Learning

How Can AI ID a Cat? An Illustrated Guide

Delphi (Object Pascal) in the Age of AI

The Annotated Transformer