Hasty Briefsbeta

双语

Why blocking LLMs from your website is dumb

9 months ago

#LLMs
#Content Distribution
#SEO

Perplexity被指控抓取了robots.txt文件中禁止LLM爬虫的网站内容
从道德层面和对AI的普遍反感来看，阻止LLM的做法受到批评
大语言模型是下一代搜索层，能为网站带来流量
阻止LLM意味着切断一个快速增长的流量分发渠道
适应大语言模型并提供优质内容比阻止它们更有利