Why are your models so big? (2023)5 months ago#Model Efficiency#LLMs#Inference Costhttps://pawa.lt/braindump/tiny-models/Copy Link大语言模型（LLMs）规模庞大是为了在聊天应用中实现泛化能力和类人响应。某些应用（如SQL自动补全或结构化数据提取）由于输入输出范围严格限定，并不需要大型模型。大型模型的推理在计算资源和基础设施方面成本高昂。未来可能会出现更高效的小型任务专用模型，甚至能在浏览器中运行。