The future belongs to those who can refute AI, not just generate with AI
8 days ago
- #Epistemology
- #Software Engineering
- #AI Verification
- 工程学的未来将取决于验证和反驳AI生成内容的能力，而不仅仅是生成内容的能力。
- 由于AI生成的便捷性，生成内容（代码、图像、视频）的数量已不再是价值的标志。
- 知识的定义在于其能否经受住对抗性检验，而不仅仅依赖于经验或权威。
- 创意、设计和代码的价值在压力和攻击下显现，而非在其创作过程中。
- 创意的来源无关紧要；重要的是它能否通过证伪存活，这是卡尔·波普尔哲学的核心。
- 生成式AI是一个猜想引擎；其所有输出都应被视为临时性的，并需经过严格测试。
- 现有系统如CI/CD、代码审查和单元测试，都是对代码进行对抗性检验的机制。
- 历史上，软件代码库的年增长率约为20%，但AI可能大幅提高这一增速。
- AI驱动的生产力可能导致‘巨型代码库’的出现，若没有可扩展的验证机制，这些代码库将难以管理。
- 仅靠人工审查无法跟上AI规模的生成速度；AI必须协助验证以防止系统崩溃。
- 专业化的审查AI可以专注于检查特定属性，充当初级审查员以标记异常。
- 护栏机制应部署在验证层，而不仅仅是生成层，以确保可靠性。
- 即使是极简、高度杠杆化的代码库，由于错误的影响范围扩大，也需要严格的验证。
- 软件的问题空间远未饱和，许多全球性挑战仍需软件解决方案。
- 工程学必须快速适应，将高性价比的验证工具整合到开发工作流中。
- 每次git提交时进行自动化审查，有助于将每次变更作为假设进行系统性测试。
- 工程学的未来依赖于对AI生成内容的严格反驳，而不仅仅是其生成。