Machine Learnability as a Measure of Order in Aperiodic Sequences8 months agohttps://arxiv.org/abs/2509.18103机器学习模型可以测量乌拉姆螺旋上素数分布的规律性。在较高区域（约5亿附近）训练的模型表现优于在较低区域（低于2500万）训练的模型，表明存在更多可学习的规律。分类策略存在差异：较低区域侧重于识别素数，而较高区域优先排除合数。研究结果与数论相符，表明在更大数值范围内噪声减少且模式更具可预测性。机器学习可作为数论的实验工具，尤其在研究密码学相关的素数模式方面。
AMD and Sony's PS6 chipset aims to rethink the current graphics pipeline7 months agohttps://arstechnica.com/gaming/2025/10/amd-and-sony-tease-new-chip-architecture-...索尼与AMD正在为未来游戏主机预热代号为'紫晶计划'的新芯片'紫晶计划'是双方合作的工程项目，重点提升基于机器学习的神经网络图形超分辨率技术该项目旨在突破传统光栅化技术仅依赖算力堆砌的局限性新型'神经阵列'支持计算单元数据共享，可整合为单一AI引擎实现高效处理该技术将实现更具扩展性的着色引擎，支持单次处理更大屏幕区域最终目标是让屏幕上更多元素都能获得机器学习(ML)技术的增强处理
"Like putting on glasses for the first time": how AI improves quake detection7 months agohttps://arstechnica.com/science/2025/10/like-putting-on-glasses-for-the-first-ti...2008年1月1日，加利福尼亚州卡利帕特里亚发生了一次震级为-0.53的地震，其显著特点是震级极小但仍可被检测到。过去七年间，人工智能和机器学习工具实现了地震检测的自动化，在准确性和速度上超越了人类分析员。这些工具能够检测到更微弱的地震信号，尤其在嘈杂的城市环境中，为研究地球构造和未来灾害提供了宝贵数据。专家将这项技术的应用比作'第一次戴上眼镜'，显著提升了地震数据分析的清晰度。机器学习方法已基本取代人类进行地震检测，标志着地震学领域的重大进步。人工智能在地震学其他领域（如地震预测）的应用潜力仍有待充分开发。地震学家通过研究地震波在地球中的传播路径，来推断其所经之处的物质构成信息。
Show HN: Open-source implementation of Stanford's self-learning agent framework7 months agohttps://github.com/kayba-ai/agentic-context-engineAgentic Context Engine (ACE) 使AI智能体无需微调或训练数据即可从成功与失败中学习通过持续学习，ACE将智能体在复杂任务中的表现提升20-35%核心组件包括：生成器(执行任务)、反射器(分析结果)、策展器(更新策略)ACE兼容100+大语言模型提供商，包括OpenAI、Anthropic和Google Gemini策略手册(Playbook)会随经验动态演进，存储有效策略与有害模式演示显示ACE能实时纠正幻觉问题(如不存在的海马表情符号)支持pip一键安装，兼容LangChain及Ollama等本地模型该开源框架基于斯坦福大学和SambaNova的研究，欢迎社区贡献
Show HN: Syna – Minimal ML and RL Framework Built from Scratch with NumPy7 months agohttps://github.com/sql-hkr/synaSyna是一个受DeZero启发的轻量级机器学习框架，基于NumPy构建，采用define-by-run（运行定义）方法。该框架在单一库中集成了基础的强化学习功能，专为初学者和研究人员设计。性能并非主要关注点，为保持简洁性和易理解性，未提供GPU支持。可通过GitHub或PyPI安装，需配合Graphviz实现计算图可视化功能。提供tanh(x)的五阶导数计算图可视化示例。包含用于解决CartPole-v1环境的DQN算法实现案例。采用MIT开源协议发布。
LibCube: Find new sounds from audio synths easier7 months agohttps://github.com/cslr/libcube-public/wikiDLL二进制发行版实现了用于音频合成器的'参数降维'机器学习代码通过机器学习将合成器参数降至2-3维，便于声音搜索包含C API库('cube_interface.h')和DLL('cube_param.dll')便于集成使用t-SNE算法进行降维，预设条件下时间复杂度为O(N*log(N))支持多核CPU以加速计算示例程序可在Windows下用MSYS2 MINGW或Visual C++编译依赖的Linux DLL均采用允许商用的许可证参数重建使用神经网络，需消耗较多CPU时间支持离线修改参数，但不支持实时自动化控制包含示例音色及使用Sylent1 VST2合成器的YouTube演示作者欢迎反馈及音频合成器集成合作支持有限，咨询请联系tomas.ukkonen@iki.fi
LightlyStudio – an open-source multimodal data curation and labeling tool7 months agohttps://github.com/lightly-ai/lightly-studioLightlyStudio 是一个开源工具，用于数据整理、标注和管理。基于 Rust 构建以确保性能，支持在配备 M1 芯片和 16GB 内存的 Macbook Pro 上处理 COCO 和 ImageNet 数据集。兼容 Windows、Linux 和 MacOS 上的 Python 3.8+ 环境。可通过 pip 安装：`pip install lightly-studio`。示例数据集可从 GitHub 仓库下载，或使用您自己的 YOLO/COCO 数据集。包含纯图像数据集、YOLO 目标检测、COCO 实例分割和 COCO 图像描述的示例。LightlyStudio 提供强大的 Python 接口，用于数据集索引、查询和操作。支持从云存储（如 S3、GCS）和本地文件夹加载数据。样本属性包括 ID、文件名、路径、标签和元数据，均可访问和修改。数据集查询支持通过表达式进行过滤、排序和切片操作。高级功能可自动选择数据，基于典型性和多样性筛选最有价值的样本。0.4.0 预览版于 2025-10-21 发布。欢迎通过 issues 页面提交任务和改进建议参与贡献。
The Continual Learning Problem7 months agohttps://jessylin.com/2025/10/20/continual-learning/记忆层被提出作为持续学习的解决方案，使模型能够更新参数而不会发生灾难性遗忘。记忆层支持高容量、稀疏的参数更新，每次前向传播时仅激活一小部分参数。实验表明，相比全参数微调和LoRA方法，记忆层显著减少了遗忘现象，在NaturalQuestions任务上仅出现11%的性能下降，而另两种方法分别下降了89%和71%。持续学习被分解为两个子问题：泛化（从数据中学习重要信息）和整合（在更新知识时避免遗忘）。记忆层通过对学习到的键值对池进行稀疏注意力计算，实现精准更新和高效信息存储。稀疏记忆微调采用类似TF-IDF的排序机制选择性更新记忆槽，最大限度减少对已有知识的干扰。记忆架构为大型模型提供潜在优势，有望实现更好的可解释性和知识组织能力。优化器选择（如SGD与AdamW）影响持续学习效果，实验显示SGD在稀疏记忆微调中表现更优。未来研究方向包括将记忆层扩展至更大模型、改进评估基准，以及探索记忆层与上下文学习的混合方法。
The State of Machine Learning Frameworks in 20197 months agohttps://thegradient.pub/state-of-ml-frameworks-2019-pytorch-dominates-research-t...深度学习框架自2012年以来发展迅猛，PyTorch和TensorFlow已成为两大主流选择。PyTorch在学术界占据主导地位，顶级会议论文大多采用该框架，而TensorFlow在工业界仍保持较高普及度。尽管TensorFlow在生产环境具有历史优势，研究人员仍偏爱PyTorch的简洁性、优秀API和性能表现。TensorFlow 2.0引入即时执行模式以对标PyTorch的易用性，但在无缝部署和性能优化方面仍存挑战。PyTorch推出TorchScript满足生产需求，但凭借TensorFlow Lite/Serving等工具链优势，TensorFlow在工业部署领域保持领先。机器学习框架的未来取决于PyTorch能否完善生产部署能力，以及TensorFlow能否重获学术界青睐。Jax等新兴框架带来高阶微分等创新功能，可能影响未来研究方向。随着新型计算模型和硬件范式的出现，PyTorch与TensorFlow之争或将失去现实意义。机器学习框架通过技术边界塑造着研究范式——既可能赋能创新，也可能无形中限制探索路径。无论框架偏好如何，社区核心目标始终是推动ML研究发展与AI技术民主化。
Generalized K-Means Clustering7 months agohttps://github.com/derrickburns/generalized-kmeans-clustering项目通过dependabot.yml实现自动化依赖更新，遵循安全最佳实践。0.6.0版本引入了现代化的、无RDD的DataFrame原生API，并集成了Spark ML功能。将K-Means算法泛化为支持多种Bregman散度及高级变体，包括二分法、X-Means、软/模糊聚类、流式处理、K-Medians和K-Medoids。支持多种散度计算：平方欧氏距离、KL散度、板仓-斋藤距离、L1/曼哈顿距离、广义I散度和逻辑损失。已在700+维度的数千万数据点上完成测试验证。全面的CI流水线确保代码质量，涵盖代码规范检查、构建矩阵、测试矩阵和安全扫描等多维度验证。提供详细的诊断工具以优化性能并避免内存溢出(OOM)错误。在模型拟合时自动验证不同散度类型，并给出可操作的错误提示。所有模型实现DefaultParamsWritable/Readable接口，支持跨Spark版本的持久化存储。保留旧版RDD API以维持向后兼容性，但建议新开发使用DataFrame API。
Show HN: Create-LLM – Train your own LLM in 60 seconds7 months agohttps://github.com/theaniketgiri/create-llmcreate-llm 是一个快速搭建自定义语言模型训练项目的工具提供四种模板：NANO（100万参数）、TINY（600万参数）、SMALL（1亿参数）和BASE（10亿参数）该工具提供训练所需的一切资源，包括模型架构、数据预处理、分词器训练和部署工具具备自动检测词汇表大小、模型/数据不匹配警告、最优超参数建议等功能可选集成WandB、HuggingFace和SynthexAI等平台适用于从学习原型开发到生产研究的各种场景支持实时训练监控、模型对比和自动检查点管理提供最小数据需求建议和数据质量提示以避免过拟合部署选项包含Hugging Face Hub、Replicate、Docker和云平台文档记录了常见问题解决方案，如词汇表大小不匹配和CUDA内存不足错误需要Node.js、npm、Python和PyTorch环境，各模板有对应的硬件配置建议欢迎贡献代码，包括错误修复、新功能开发和系统集成未来计划增加更多模型架构、分布式训练支持和高级优化技术
Sieve (YC X25) Is Hiring Engineers to build video datasets for frontier AI7 months agohttps://www.sievedata.com/500K小时高质量多样化视频片段，专为AI应用打造视频数据来源涵盖公开渠道、私有资源及合成生成专业视频理解模型配合人工质检，确保训练数据质量可靠持续扩容的视频数据库已达数千PB级规模创新数据格式（配对视频/时间同步/对话式）提升模型性能提供开箱即用的预制数据集供探索选购通过存储桶极速交付（1-2个工作日）可扩展API支持百万小时级视频处理合规数据提供定制化筛选与授权方案为研究团队提供专属数据解决方案定制服务采用加密传输、定制留存策略及SOC2Type2认证的安全管理体系
On-Policy Distillation7 months agohttps://thinkingmachines.ai/blog/on-policy-distillation/大语言模型通过预训练、中期训练和后训练阶段的组合实现专家级性能表现经过专门训练的小型模型在特定领域可以超越通用型大型模型在线策略训练通过从学生模型采样并分配奖励，而离线策略训练依赖外部目标输出在线策略蒸馏结合了强化学习的相关性和蒸馏的密集奖励信号，对学生轨迹的每个标记进行评分研究表明在线策略蒸馏比强化学习更具计算效率，能以更少步骤实现相似性能蒸馏能有效复用训练数据，允许对相同提示进行多轮训练而不会过拟合在线策略蒸馏适用于持续学习，使模型能获取新知识而不损害已有能力该方法被成功应用于数学推理和个性化助手训练等任务，展现了其多功能性
Kimi Linear: An Expressive, Efficient Attention Architecture7 months agohttps://github.com/MoonshotAI/Kimi-LinearKimi Linear模型在MMLU-Pro基准测试中取得51.0分，速度与完全注意力机制相当在128k上下文长度的RULER测试中，展现帕累托最优性能（84.3分）并实现3.98倍加速Kimi Linear的TPOT速度比MLA快6.3倍，尤其在百万token长序列场景优势显著Kimi Delta Attention（KDA）是带高效门控机制的Gated DeltaNet改进版最高减少75%的KV缓存占用，解码吞吐量显著提升已在FLA开源KDA内核，并发布两个基于5.7万亿token训练的模型检查点采用3:1的KDA/全局MLA混合架构，在保证质量同时降低内存消耗在1.4万亿token训练的长上下文和强化学习类基准测试中表现卓越最高实现6倍解码加速，有效降低单输出token耗时（TPOT）提供Python调用Kimi Linear模型的示例代码及vllm部署方案
Gt: [experimental] multiplexing tensor framework6 months agohttps://github.com/bwasti/gtGT是一个实验性的多路复用张量框架，专为分布式GPU计算设计。它摒弃了机器学习研究中笨拙的锁步范式，采用动态调度和异步执行机制。GT包含三个核心组件：客户端（用户）、调度器（协调者）和工作者（每个GPU对应一个）。客户端发出纯函数式指令，调度器会将其重写为GPU可识别的形式并分发给工作者。工作者异步处理指令，可选择进行即时编译(JIT)。指令流通过信号标注实现分片，并用热路径提示JIT编译。YAML配置文件可补充分片和编译的标注，但这些标注也可安全忽略。GT会自动在后台启动异步调度服务器和GPU工作者。特性包括：高性能传输(ZeroMQ)、自动微分支持、PyTorch兼容API和基于信号的分片。附加功能：实时监控、指令日志记录、AI辅助开发和完整文档。支持pip安装，功能涵盖自动服务器模式、张量操作、自动微分和基于信号的分片。示例演示了基础张量操作、信号分片、编译指令、调试工具和可视化。GT设计注重简洁性、可读性以及与AI编程助手的协作。欢迎贡献代码，项目提供详细指南。采用MIT许可证发布。
Pre-training under infinite compute6 months agohttps://arxiv.org/abs/2509.14786无限算力下的预训练探索了在固定数据和无限算力条件下优化语言模型预训练的方法。现有数据受限方法（如增加训练轮次和参数量）最终会导致过拟合。研究发现最佳权重衰减系数应为常规值的30倍，显著提升正则化效果。集成独立训练的模型比常规正则化方法能达到更低的损失渐近线。结合多轮训练、正则化、参数缩放和集成缩放，实现了5.17倍的数据效率提升。将集成模型蒸馏为小型学生模型可保留83%的集成优势。这些改进能推广到下游任务，在预训练评估中提升9%，数学任务中实现17.5倍数据效率。简单的算法改进可为算力充裕的未来实现显著更高效的数据预训练。
Python library for quantum computing, quantum ML, and quantum chemistry6 months agohttps://github.com/PennyLaneAI/pennylanePennyLane是一个用于量子计算、机器学习和化学的Python库支持构建量子电路，在模拟器或硬件上运行，并包含中途测量等功能提供从NISQ到容错计算的量子算法开发工具与PyTorch、TensorFlow、JAX、Keras和NumPy等机器学习框架集成，构建混合模型提供量子数据集访问以加速研究和算法开发支持即时编译和自适应电路、实时反馈等高级功能需要Python 3.11+环境，可通过pip或Docker安装包含演示案例、编程挑战、常见问题解答和开发文档等学习资源鼓励贡献代码、提交错误报告和功能建议，贡献者名单会发布在版本说明和研究论文中通过讨论论坛促进社区交流，并遵守行为准则基于Apache 2.0许可证免费开源，鼓励研究引用PennyLane论文
Show HN: TabPFN-2.5 – SOTA foundation model for tabular data6 months agohttps://priorlabs.ai/technical-reports/tabpfn-2-5-model-reportTabPFN-2.5是新一代表格基础模型，其处理的数据单元规模达到TabPFNv2的20倍以上在包含5万个数据点和2000个特征的基准测试中，其性能超越调优后的树模型，并达到与AutoGluon 1.4相当的准确度新型蒸馏引擎可将TabPFN-2.5转换为紧凑的MLP或树集成模型，在保持精度的同时显著降低延迟TabPFN-2.5等表格基础模型(TFMs)提供免训练的预测能力，具备强校准性和泛化性，无需繁琐调参该模型支持处理混乱的异构数据（包括分类特征、缺失值和异常值），最高可扩展至5万样本量和2000个特征维度通过蒸馏技术，模型在推理延迟和部署灵活性方面实现重大突破
Pose Animator – An open source tool to animate SVG characters via motion capture6 months agohttps://blog.tensorflow.org/2020/05/pose-animator-open-source-tool-to-bring-svg-...Pose Animator 是一款开源网页动画工具，通过摄像头捕捉人体动作来驱动SVG角色动画该工具采用TensorFlow.js的PoseNet和FaceMesh模型，在浏览器中实现实时人体姿态感知运用骨骼动画原理对矢量角色进行变形，根据检测到的关键点调整SVG路径采用线性混合蒙皮(LBS)技术处理矢量路径变形，特别优化了贝塞尔曲线的处理方式骨骼系统包含90个关键点（73个来自FaceMesh，17个来自PoseNet）和78根骨骼实现全身动画运用运动稳定技术，通过置信度评分减少模型预测产生的抖动未来可能改进包括优化网格绑定系统、增加权重绘制工具、支持SVG中的栅格图像用户可体验在线演示、创建自定义SVG角色，并通过#PoseAnimator标签分享作品
Reverse Engineering a Neural Network's Clever Solution to Binary Addition (2023)6 months agohttps://cprimozic.net/blog/reverse-engineering-a-small-neural-network/小型神经网络（参数<1000）在特定任务上可能出人意料地高效一个神经网络被训练执行8位二进制加法运算，包括处理溢出情况该网络仅用3层共422个参数就成功掌握了该任务网络第一层使用自定义激活函数(Ameo)，其他层使用tanh函数网络的解决方案类似于数模转换器(DAC)，将二进制输入转为模拟信号第一层神经元产生类似正弦波的输出，其周期与二进制位切换相匹配后续层组合并引导这些信号，使其更接近方波形态该网络采用了出人意料的模拟信号处理方式，而非数字逻辑门方案研究结果表明，更高效的架构可以缩小大型神经网络的规模该实验凸显了梯度下降和优化算法在神经网络中的强大作用