When "no healthy upstream" isn't about the upstream you think2 days agohttps://sahansera.dev/no-healthy-upstream/该事件涉及搜索后端因依赖缓慢而导致的间歇性故障，而非CPU限制。错误的根本原因（CPU限制）最初看似合理，但与拓扑、时序和故障分布证据相矛盾。实际原因是下游调用未设置超时与急切重试的组合，形成了反馈循环，导致工作线程池饱和。利特尔法则解释了请求时间（W）的增加如何指数级提高并发数（L），从而压垮固定的工作线程池。更多...
The log/event processing pipeline you can't have19 days agohttps://apenwarr.ca/log/20190216描述了专为嵌入式设备设计的高性能日志处理流水线，能够处理来自超过10万台设备的日志。介绍了技术细节，例如使用/dev/kmsg实现内核态与用户空间日志的统一收集，利用PRINTK_PERSIST在系统重启后保留日志，并通过简洁的日志接收器确保可靠性。强调如何灵活地将非结构化日志转换为结构化事件，且无需修改产生日志的软件。突出成本效益优势，日志可经济地存储在S3类系统中，仅用单台虚拟机即可每日处理数TB数据。更多...