NanoQuant: Efficient Sub-1-Bit Quantization of Large Language Models3 months agohttps://arxiv.org/abs/2602.06694NanoQuant是一种创新的训练后量化(PTQ)方法，可将大语言模型(LLM)压缩至二值化和亚1比特级别。该方法将量化问题建模为低秩二值分解问题，将权重压缩为低秩二值矩阵和缩放因子。采用高效的ADMM方法精确初始化二值矩阵和缩放因子，随后通过分块重建和模型重建进行微调。在亚1比特压缩率下实现最先进的精度，使大模型能在消费级硬件上部署。在单块H100显卡上13小时内完成Llama2-70B模型的25.8倍压缩，使700亿参数模型可在8GB显存的GPU上运行。
HySparse: A Hybrid Sparse Attention Architecture3 months agohttps://arxiv.org/abs/2602.03560HySparse是一种结合了全注意力和稀疏注意力层的混合稀疏注意力架构。它使用全注意力层作为令牌选择的参考标准，无需依赖额外代理机制。HySparse允许稀疏层复用全注意力层的KV缓存，显著降低计算量和内存消耗。在70亿参数稠密模型和800亿参数MoE模型上的测试表明，HySparse性能优于全注意力及混合滑动窗口基线。在800亿MoE模型中，HySparse在保持性能的同时将KV缓存存储量降低近10倍。
Barn Owls Know When to Wait3 months agohttps://blog.typeobject.com/posts/2026-barn-owls-know-when-to-wait/噪声时序会破坏STDP（脉冲时序依赖可塑性），导致神经元陷入无序激活状态脉冲时序的不确定性区间帮助神经元决定学习时机，在噪声条件下会暂停学习仓鸮的类比揭示了不确定性如何影响决策：清晰信号触发行动，噪声则导致按兵不动传统STDP在噪声条件下失效，导致突触权重随机变化（'无序波动'）iuSTDP（基于区间的STDP）引入脉冲时序的不确定性边界，提升稳定性iuSTDP的两种学习策略：保守型（仅确定时学习）与概率型（按置信度缩放学习强度）基于置信度的可塑性让神经元能根据时序可靠性自我调节学习'可塑性调节器'动态调整学习率，在不确定性时减少参数更新仿真表明带调节器的iuSTDP在噪声环境中表现优于传统STDP未来方向包括整合奖励信号（如多巴胺）来进一步优化学习机制
Generalized on-policy distillation with reward extrapolation3 months agohttps://arxiv.org/abs/2602.12125在线策略蒸馏(OPD)通过使学生在自身生成轨迹上的logit分布与教师模型对齐来提升学生模型性能理论分析表明OPD是密集KL约束强化学习的特例，其奖励函数与KL正则项的权重相等广义在线策略蒸馏(G-OPD)通过引入灵活的参考模型和奖励缩放因子扩展了OPD框架奖励外推法(ExOPD)将奖励缩放因子设为>1时，在不同规模的师生模型配对中均优于标准OPD当融合领域专家知识时，ExOPD能使学生模型突破教师模型的性能边界在强教师-弱学生蒸馏场景中，使用教师基础模型作为参考进行奖励修正可提升性能，但需要获取强化学习训练前的教师变体在数学推理和代码生成任务上的全面实验验证了G-OPD和ExOPD方法的有效性
Rolling your own serverless OCR in 40 lines of code3 months agohttps://christopherkrapu.com/blog/2026/ocr-textbooks-modal-deepseek/作者需要一个能让统计代理搜索《贝叶斯数据分析》的解决方案。现有OCR工具在处理数千页文档时要么功能有限，要么成本过高。最终选择DeepSeek的开源OCR模型，因其对数学符号的良好识别能力。使用无服务器计算平台Modal在云端GPU上运行OCR模型。解决方案涉及在Modal部署FastAPI服务器，将图像转换为Markdown文本。通过批量推理实现多页同时处理，显著提升效率。对OCR输出进行清理，移除无关的定位标签，专注文本内容。在A100 GPU上处理600页书籍约需45分钟，成本约2美元。生成的可搜索文本支持快速检索、AI解释和构建搜索索引。值得注意的是，该OCR对数学内容的识别质量出人意料地好。
Machine learning prediction of 1-year mortality in older patients with heart failure: a nationwide, multicenter, prospective cohort study - PubMed3 months agohttps://pubmed.ncbi.nlm.nih.gov/41676236/本研究旨在开发一种机器学习模型，通过功能评估预测老年心力衰竭患者的1年死亡率。分析了来自日本J-Proof HF注册中心的9700名65岁以上患者数据。包含77个预测变量的XGBoost模型AUC达0.76，优于AHEAD、BIOSTAT等传统风险评分。关键预测因素包括出院时的功能指标：巴氏指数、步速和握力。该模型相比现有评分系统展现出更好的风险分层能力和临床实用性。研究强调出院时的功能状态是制定出院后护理计划的重要预后指标。
Development and validation of an interpretable machine learning model identify the lactylation-related protein SUSD3 as a prognostic and therapeutic biomarker for breast cancer - PubMed3 months agohttps://pubmed.ncbi.nlm.nih.gov/41676158/开发可解释的机器学习模型以鉴定乳酸化相关蛋白SUSD3作为乳腺癌生物标志物乳酸化作为一种翻译后修饰与癌症进展和免疫调节相关，但其在肿瘤发生中的确切作用尚不明确研究利用公共数据库中的单细胞RNA测序、批量转录组数据和空间转录组等基因组数据集通过机器学习构建了乳酸化相关特征谱，该特征与免疫细胞浸润、趋化因子表达及肿瘤突变负荷相关该特征谱有助于识别可能对免疫治疗产生应答的乳腺癌患者实验验证证实了SUSD3在人类乳腺样本中的作用乳酸化风险模型可预测乳腺癌的恶性进展和免疫逃逸，具有作为治疗靶点和诊断标志物的潜力该模型为适用于其他疾病和致病机制的基因筛选提供了框架
A novel integrative machine learning-based prognostic model reveals lactylation regulation in hepatocellular carcinoma progression - PubMed3 months agohttps://pubmed.ncbi.nlm.nih.gov/41668073/本研究开发了一种新型的机器学习整合预后模型MRLI，用于肝细胞癌（HCC）的预后预测。MRLI模型在预测预后和治疗效果方面表现出色，其预测能力显著优于现有基因特征标记。乳酸化修饰在代谢重编程和HCC进展中起关键作用，影响肿瘤恶性程度及免疫微环境特征。单细胞及空间转录组分析揭示了MRLI与细胞增殖和代谢重编程的密切关联。高MRLI评分与肿瘤免疫抑制微环境相关，并导致对索拉非尼和免疫检查点抑制剂等治疗的敏感性降低。该研究提出乳酸化修饰可能成为HCC临床治疗的潜在靶点。
Immune-related biomarkers for major depressive disorder identified via integrated bioinformatics and machine learning - PubMed3 months agohttps://pubmed.ncbi.nlm.nih.gov/41665627/重度抑郁症（MDD）目前缺乏可靠的生物标志物用于早期诊断综合生物信息学与机器学习方法鉴定出122个MDD差异表达基因（DEGs），这些基因在免疫和炎症通路中富集机器学习一致筛选出四个枢纽基因（DDIT4、DHRS9、FKBP5、GPER），显示出高诊断准确度（AUC 0.82-0.91）这些基因主要在免疫细胞中表达，并在慢性不可预知温和应激（CUMS）大鼠模型中得到验证单细胞RNA测序（scRNA-seq）证实这些基因在特定免疫细胞亚型中上调该研究为理解MDD的免疫机制提供了新视角，并为精准诊断和个体化干预建立了理论框架
A microenvironment-determined risk continuum refines subtyping in meningioma and reveals determinants of machine learning-based tumor classification - PubMed3 months agohttps://pubmed.ncbi.nlm.nih.gov/41663806/该研究通过识别肿瘤微环境（TME）决定的风险连续体，完善了脑膜瘤亚型分类。多组学分析和计算评估揭示了TME对表观遗传分类及临床结果的影响。中枢神经系统中的非肿瘤细胞在甲基化分类器中起决定性作用。研究结果挑战了传统脑膜瘤亚群划分模型，提出TME决定的风险连续体新范式。开发了基于免疫组化的简易诊断方法以提高临床预测准确性，适用于资源有限地区。多位作者存在利益冲突，包括持有海德堡表观诊断公司专利及雇佣关系，以及担任多家制药公司顾问职务。
Machine learning-based estimation of trunk fat percentage and its association with cardiometabolic risk leveraging two large national cohorts - PubMed3 months agohttps://pubmed.ncbi.nlm.nih.gov/41660422/开发并验证了利用人体测量学指标估算躯干脂肪百分比的机器学习模型。使用NHANES数据集（n=30,443）进行模型开发，CHARLS数据集（n=13,524）进行外部验证。XGBoost模型在测试集上表现最优，R²达到0.8509。简化后的五变量模型（性别、腰围、身高、体重、年龄）保留了99.3%的预测精度。在预测心血管代谢风险方面，躯干脂肪百分比优于全身脂肪百分比。对糖尿病预测的AUC提升最显著（相对提升3.22%）。所有终点事件的AUC平均相对提升为2.77%。为临床和流行病学研究提供了一种无创性中心性肥胖评估工具。
Risk prediction in IgA nephropathy: from conventional models to machine learning, deep learning, and precision nephrology - PubMed3 months agohttps://pubmed.ncbi.nlm.nih.gov/41656155/IgA肾病（IgAN）是最常见的原发性肾小球疾病，也是导致终末期肾病（ESKD）的主要原因。由于该病具有临床异质性，早期识别高风险患者至关重要。预后模型有助于分层评估ESKD风险、指导治疗并优化干预时机。国际IgA肾病预测工具（IIgAN-PT）等传统模型虽广泛应用，但在反映疾病动态进展方面存在局限。机器学习（ML）和深度学习（DL）模型通过整合多组学数据和数字病理学，提高了预测准确性。这些先进模型支持动态风险追踪和个性化治疗预测。本文综述了IgAN预后模型的发展历程、优势局限，以及可解释AI和多模态预后等未来趋势。
Noninvasive imaging-based assessment of tumor-associated neutrophils for prognosis and immunotherapy response in gastric cancer: a multicenter study - PubMed3 months agohttps://pubmed.ncbi.nlm.nih.gov/41633486/基于CT的非侵入性集成机器学习放射组学标志物(EnmlbaRB)开发用于胃癌肿瘤相关中性粒细胞(TAN)浸润图谱绘制纳入8个队列2170例胃癌患者的多中心研究，在6个独立队列(含177例抗PD-1治疗患者)中得到验证EnmlbaRB预测TAN状态的AUC达0.71，特异性80.74%，表现稳健TAN低表达患者5年总生存率显著优于高表达患者(如64.12% vs 46.78%，p < 0.05)在抗PD-1队列中，TAN低表达亚组疾病控制率提高1.9倍(83.9% vs 44.1%；p < 0.001)，中位无进展生存期显著延长(>41.9月 vs 6.2月；HR=0.162，p < 0.001)首个经临床验证的胃癌TAN浸润无创检测方案，有助于预后评估及免疫治疗疗效预测
Why I don't think AGI is imminent3 months agohttps://dlants.me/agi-not-imminent.htmlOpenAI和Anthropic的CEO宣称人类级别AI已近在咫尺或已然存在，引发公众关注但缺乏技术层面的严谨审视人类认知依赖于数量感知、客体永存性、因果推理等硬连线认知基元，语言虽默认这些能力却鲜少明示大语言模型仅从语言数据逆向推导这些认知基元存在困难，导致算术、逻辑和空间推理存在固有局限通过视频训练AI可部分习得客体永存性，但难以建立对物体持续存在与实体追踪的深层理解婴儿与动物未经视觉训练即展现客体永存性等核心认知能力，暗示其进化起源当前AI缺乏丰富的多感官感知-动作耦合系统，而这正是认知稳健发展的关键谷歌DeepMind的SIMA 2和Dreamer 4等模拟环境虽展现潜力，仍未弥合具身体验与语言推理的鸿沟Transformer架构的前馈特性缺乏双向处理能力，制约其对早期表征的修正与迭代神经符号AI或循环网络等替代架构或是出路，但其规模化应用仍是待解难题企业CEO的AGI主张多出于营销驱动，研究者则更关注推理、泛化与具身等根本性局限AI基准测试的进步常依赖暴力计算而非真正的认知突破实现AGI需要数十年跨学科研究，绝非简单扩展现有范式
Qwen 3.53 months agohttps://huggingface.co/collections/Qwen/qwen35Hugging Face 提供多种资源集合，包括Qwen模型和数据集。Qwen3.5 约2小时前更新，获得54次点赞。Qwen/Qwen3.5-397B-A17B 是一个4030亿参数的图文转文本模型，约1小时前更新。该平台支持社区互动、文档查阅和企业级解决方案。
Machine learning model based on routine blood and biochemical parameters for early diagnosis of diabetic kidney disease - PubMed3 months agohttps://pubmed.ncbi.nlm.nih.gov/41685239/利用常规血液和生化参数开发糖尿病肾病（DKD）早期诊断的机器学习模型研究纳入3,114名糖尿病患者进行模型开发，并采用NHANES的1,496例数据进行外部验证早期DKD定义为UACR 30-300 mg/g且eGFR≥60 ml/min/1.73m²逻辑回归模型表现最佳（AUC=0.689，敏感性40.5%，特异性81.3%）核心预测指标包括：甘油三酯-葡萄糖指数（TyG）、性别、肌酐、球蛋白和年龄外部验证证实HbA1c、球蛋白、TyG及中性粒细胞-白蛋白比值的关联性该模型有望成为早期DKD诊断的经济高效筛查工具
Visual Introduction to PyTorch3 months agohttps://0byte.io/articles/pytorch_introduction.htmlPyTorch是由Meta AI开发的一个流行的开源深度学习框架，现已成为Linux基金会的一部分。PyTorch中的张量是专门用于数值数据的数据容器，类似于数组但具有额外的功能。PyTorch提供了多种张量初始化函数，如torch.rand()、torch.randn()、torch.ones()等，每种函数都有不同的用途。机器学习中的数据必须是数值型的；非数值型数据（如单词或图像）必须转换为数值表示。PyTorch提供了100多种预定义的张量操作，包括基本算术运算、聚合运算和激活函数。PyTorch中的Autograd可以自动计算梯度，这对于通过反向传播训练神经网络至关重要。我们构建了一个简单的神经网络模型来预测房价，演示了数据准备、模型训练和评估的过程。使用MAE和MAPE等指标评估了模型的性能，突出了特征质量在机器学习中的重要性。
Virtual Width Networks (VWN)3 months agohttps://arxiv.org/abs/2511.11238提出虚拟宽度网络（VWN），该框架可在不增加主干网络计算量的情况下扩展嵌入空间VWN将表征宽度与主干网络宽度解耦，在保持效率的同时提升模型性能大规模实验表明：8倍宽度扩展使单token预测优化速度提升2倍以上，双token预测速度提升3倍发现虚拟宽度与损失降低呈对数线性关系，为大型模型效率优化提供了新维度
The use of advanced machine learning to predict outcomes after atezolizumab plus bevacizumab for advanced hepatocellular carcinoma: a retrospective cohort study - PubMed3 months agohttps://pubmed.ncbi.nlm.nih.gov/41688234/研究聚焦于使用先进机器学习技术预测接受阿特珠单抗联合贝伐珠单抗治疗的晚期肝细胞癌（HCC）患者的预后效果回顾性队列研究在8个国家24个医疗中心开展，经排除后最终纳入774名患者研究基于44项基线临床变量，结合13种特征选择技术对7种监督机器学习模型进行训练针对总生存期（OS）和无进展生存期（PFS）构建的集成模型表现优于传统临床评估标准患者被分层为低风险组和高风险组，组间中位OS和PFS存在显著差异研究表明机器学习模型可优化HCC患者的个性化治疗策略
Claude Sonnet 4.63 months agohttps://www.anthropic.com/news/claude-sonnet-4-6Claude Sonnet 4.6是迄今为止最强大的Sonnet模型，在编码、计算机操作、长上下文推理等方面均有升级该模型测试版具备100万token上下文窗口，现已成为claude.ai和Claude Cowork平台免费版及专业版的默认模型定价与Sonnet 4.5保持一致，每百万token起价3/15美元改进的编码能力、一致性和指令遵循性使开发者更青睐Sonnet 4.6，某些场景下甚至优于Claude Opus 4.5计算机操作能力显著提升，在复杂电子表格导航、多步骤网页表单填写等任务中达到人类水平在安全评估中，Sonnet 4.6对提示注入攻击表现出与Opus 4.6相当的强大抵抗力各项基准测试性能提升，以更实用价格接近Opus级别的智能水平早期测试显示，在Claude Code中70%用户更倾向Sonnet 4.6，因其更好的上下文阅读和逻辑整合能力100万token上下文窗口支持跨整个代码库、长篇合同或数十篇研究论文的有效推理在前端代码、财务分析、视觉输出和设计感方面提升显著，减少生产级成果所需的迭代次数在OfficeQA测试中达到Opus 4.6水平，大幅提升文档理解工作负载能力擅长复杂代码修复、错误检测和大规模代理编码，具有高解决率和一致性首个以更小体积、更具成本效益形式提供前沿推理能力的Sonnet模型答案检索能力显著改进，在金融服务基准测试中特定工作流召回率更高在Box评估的重度推理QA中表现优于Sonnet 4.5达15个百分点保险基准测试94%通过率，成为关键任务工作流中计算机操作性能最佳模型在复杂应用构建和错误修复方面达到前沿水平，成为深度代码库工作的首选为Rakuten AI生成的iOS代码测试表现最佳，规范符合性、架构和现代工具使用更优在分支多步骤任务（如合同路由、条件模板选择、CRM协调）中表现强劲构建前端页面和数据报告时展现完美设计品味，减少人工干预需求对指令响应极其精准，能提供精确数据、结构化对比并生成实用创意在Claude开发者平台测试版中支持适应性思维、扩展思维和上下文压缩API更新包含自动代码执行功能以过滤搜索结果，提升响应质量和token效率Opus 4.6仍是需要深度推理任务（如代码库重构、多代理协调）的最佳选择Excel版Claude现支持MCP连接器，可整合S&P Global、LSEG、FactSet等工具该模型适用于所有Claude套餐、Claude Cowork、Claude Code、API及主要云平台，免费层默认升级至Sonnet 4.6