June gwern.net newslettera day agohttps://gwern.substack.com/p/june-gwernnet-newsletter2020年6月，Gwern.net 发布了三篇新页面或文章。新闻简报包含CRISPR、人群筛查、AI扩展、政治以及技术性失业等话题的链接。标准版本可在 gwern.net 网站上获取。
February 2021 Gwern.net Newslettera day agohttps://gwern.substack.com/p/february-2021-gwernnet-newsletterGwern.net 2021年2月通讯涉及人工智能扩展、遗传学、统计学、政治学、心理学、技术、经济学和哲学。人工智能部分重点介绍了神经文本生成、语言模型微调、提示编程和脑机接口方面的进展。遗传学主题包括性状遗传力、近期进化以及多基因负担对健康和认知的影响。统计学/元科学讨论了历史教训、微COVID风险计算器以及对现代数学教育的批评。政治/宗教涵盖了时尚周期、月球大流行隔离批评以及俄罗斯的李森科主义。心理学/生物学关注用于减肥的司美格鲁肽、蝙蝠免疫防御以及迷幻微剂量中的安慰剂效应。技术部分提到量块研合作为一种神秘的物理现象。经济学分析了可再生能源成本降低、智商与交易表现以及财富不平等中的遗传禀赋。哲学质疑伦理专家的行为，研究表明他们可能并不比其他人更道德。关键主题包括扩展定律、反向传播的生物学合理性以及安慰剂在心理学中的作用。
April 2021 newslettera day agohttps://gwern.substack.com/p/april-2021-newsletter高光亮点包括AI规模化进展，如Naver的204B参数HyperCLOVA和华为的200B参数PanGu-α等破纪录的东亚语言模型。深度强化学习进展：MuZero改进版（MuZero Unplugged、Sampled MuZero）、决策转换器以及棋盘游戏规模化规律。其他值得关注的人工智能论文：Perceiver、Z-IL、超收敛以及大型神经网络碳排放估算。遗传学：运动反应的遗传性、中世纪鼠疫DNA分析以及CRISPR禁令最新消息。技术：Emacs原生编译、静态主机上的SQLite、字体游戏Fontemon以及SIGBOVIK 2021亮点。
Overtraining as the path to human-like AI10 days agohttps://www.seangoedecke.com/overtraining-as-the-path-to-human-like-ai/格温提出，在小型数据集上对大型模型进行过度训练可能导致“顿悟”现象，从而实现人工智能类似人类的泛化能力。顿悟是一种现象，即长时间的训练迫使模型找到对数据更简单、更深层次的理解，而不仅仅是记忆数据。当前的人工智能实验室专注于在庞大的数据集上训练较小的模型，这可能会阻碍顿悟现象，并限制模型的泛化能力。格温建议在受限的数据集上训练一个庞大的模型（例如，100万亿个参数）以鼓励深度学习，尽管这种方法尚未经过测试且风险较高。这一想法面临技术和政治上的挑战，包括高昂的成本以及在训练过程中可能出现失败迹象，直到突破性进展发生。
Materials innovation has a scale-up problem, not discovery18 days agohttps://www.atomscale.ai/updates/our-thesis-atom-to-scale理查德·费曼在1959年发表的'底部尚有大量空间'演讲开创了原子尺度控制，引领了现代电子学与摩尔定律的发展。当前用于人工智能、量子技术和能源技术的材料已在实验室中制备并已知，但其面临的是规模化瓶颈，而非材料发现难题。英特尔在2007年45纳米节点开发的高介电常数材料表明，关键突破在于工艺放大，而非材料本身的发现。规模化挑战既包括材料复杂互联环境带来的物理障碍，也包括因表征数据碎片化、孤立化导致的信息壁垒。如今，人工智能和传感器丰富的工具可实现实时数据处理，使像Atomscale这样的系统能够指导生长过程，并更有效地利用现有数据。Atomscale运用基于物理原理的人工智能模型，将原始数据实时转化为洞察，从而提升制造可靠性并促进跨组织的知识积累。未来将通过利用可互操作的材料数据来缩短规模化时间线，实现从材料探索到导航与生产制造的转变。
China's ByteDance discovers new scaling law that could sustain AI boom25 days agohttps://www.scmp.com/tech/big-tech/article/3359373/chinas-bytedance-discovers-ne...字节跳动的Seed AI团队发现，通过与真实世界环境的交互，AI智能体的学习速度每三个月可以翻一倍。AI行业正在从依赖蛮力数据和计算规模转向智能体AI，但对AI在真实世界环境中部署后的学习情况了解甚少。为此，字节跳动创建了EdgeBench，这是一个包含134项长期任务的基准测试，要求AI智能体在不同领域中持续运行超过12小时。