Everything around LLMs is still magical and wishful thinking
10 months ago
- #LLMs
- #AI Criticism
- #Hype vs Reality
- 对AI的批评往往来自那些开发者，他们除了调用大语言模型的API外，并未深入使用MCP等当前工具。
- 存在显著分歧：部分用户认为大语言模型有时/经常很有帮助，而另一些用户则认为它们完全无效。
- 这种认知差距源于缺乏对不同场景下大语言模型使用方式的量化、详细描述。
- 关键未知因素包括：项目性质、代码库规模、用户专业水平，以及使用大语言模型后仍需额外投入的工作量。
- 大语言模型具有非确定性特征——即使是针对同一问题，其效果也可能随时间波动。
- 由于使用场景差异和非确定性结果，不同用户对大语言模型的使用体验难以直接比较。
- 业界对大语言模型的炒作常常忽视批判性评估，导致在没有实质证据的情况下形成两极分化的观点。
- 关于大语言模型成功案例的轶事往往缺失关键细节，比如代码库大小、具体错误类型以及所需人工监督的程度。
- 尽管持怀疑态度，作者仍大量使用大语言模型工具，承认其部分有效性，但反对将其神化或单纯视为工程解决方案的观点。
- 围绕大语言模型的讨论过于简单化，要么将其神化要么视为工程产物，忽视了其统计性、非确定性的本质特征。