Transformer Transformer: A Unified Model for Motion-Conditioned Robot Co-Design19 hours agohttps://transformer-transformer.github.io/
May 2021 Gwern.net Newsletter2 days agohttps://gwern.substack.com/p/may-2021-gwernnet-newsletterGwern.net 2021年5月的通讯涵盖了AI硬件、扩散模型和光遗传学等主题的最新进展。显著的AI进展包括TPUv4芯片性能超过1 ExaFLOPS、用于将深度学习扩展到万亿参数的ZeRO-Infinity技术，以及扩散模型在图像合成上超越GANs。在遗传学领域，亮点包括完全人类基因组测序、用于部分视力恢复的光遗传学疗法，以及具备合成病毒抗性的超安全细胞。元科学研究揭示，潜意识广告宣称是一个神话，而一项研究表明，由于出版偏差，助推效应被高估了6.2倍。一项提出的“主综合”理论认为，智能源于通过搜索平滑损失景观发现的小型、受简单性权重影响的程序，而人类智能与整体神经资源池相关。其他更新包括扩散模型（DDPMs）的简单解释、在空闲时间运行GPU进程的工具，以及EleutherAI发布的6B参数GPT-3模型。