Hasty Briefsbeta

全部标签

redis

共 50 篇

双语

<antirez>
2 months ago
- 作者看重开源因其透明性、以用户为中心的决策、详尽的文档和简洁性。
- Pivotal（前身为VMware）赞助了Redis，使其能够在无商业压力下作为纯粹的开源项目发展。
- 作者选择不创办Redis公司以保留项目的魔力并陪伴家人，但支持了围绕Redis的经济生态系统。
- Redis Labs建立了一支包含核心开发者和商业产品的强大公司，作者将加入他们，共同专注于开源核心，同时由公司负责托管服务。
- 此举预计将增加Redis Labs对Redis核心的贡献，例如内存减少和键驱逐机制的改进。
- 作者对Pivotal和Redis Labs支持开源社区表示感谢。
<antirez>
2 months ago
- Amplitude 发表了一篇文章，介绍如何使用 Set 数据类型进行规模化分析，并解释了为何因开销问题而避免使用 Redis。
- 构建自定义垂直解决方案提供了控制和调试方面的优势，但需要持续开发，如果原始开发者离开，可能会出现问题。
- Redis 已经为小型数据类型使用了内存高效的编码（例如，整数集合用于数值集合），但缺乏针对小型字符串集合的类似表示。
- Antirez 提出了一种新的哈希表设计，每个桶使用线性数组并具有高负载因子，以提高内存效率和缓存局部性。
- 新设计必须处理增量重哈希、扫描和序列化，同时可能替代小型编码和通用哈希表。
<antirez>
2 months ago
- Redis传统上使用单线程模型，并配有后台I/O线程；阻塞的DEL命令在处理大键时可能导致服务器冻结数秒。
- 一种初始的增量释放方法使用定时器逐步释放内存以适应内存压力，但性能降低至正常水平的65%左右。
- 最终的解决方案转向了线程化惰性释放实现，这要求从数据类型和客户端输出缓冲区中消除共享的robj结构。
- 关键改动包括在输出缓冲区中使用动态字符串，以及在数据类型中使用SDS字符串，从而提升性能并提高内存效率。
- 新增的UNLINK命令提供非阻塞删除；FLUSHALL/FLUSHDB也增加了惰性选项。
- 未来计划包括为慢速操作引入线程化I/O和键级锁定，朝着无共享架构发展。
- 惰性释放分支目前正在积极开发中，目标版本为Redis 3.4。
<antirez>
2 months ago
- 拥有6700名成员的Redis邮件列表正在迁移至Reddit，不过该列表仍会保留用于发布公告和关键信息。
- 当前邮件列表未能充分发挥其应有价值：重复性问题泛滥，重要议题常被忽视。
- 推特数据显示人们已逐渐远离电子邮件，但该平台不适合进行深度讨论。
- 选择Reddit的原因在于其投票系统可突出优质内容、侧边栏可集成常见问题解答、以及游戏化激励机制。
- 计划接管/r/redis子版块并修改为仅允许评论提交的机制，最终将Reddit作为主要讨论平台。
- 这是一项试验：若效果不佳，可能恢复邮件列表或尝试Discourse平台。
- 因信息量过大，电子邮件已不再适合社区讨论的扩展需求。
<antirez>
2 months ago
- Lua脚本是Redis最成功的特性，它支持可编程且快速的脚本，这些脚本被缓存并使用相同的解释器执行。
- 用户提出的两个关键需求是合适的Lua调试器和脚本效果复制，这两项均由作者实现。
- 该调试器是一个远程交互式客户端-服务器工具，它使用fork()来避免阻塞服务器，并支持数据集更改的回滚。
- 调试器的主要功能包括断点、单步执行、变量检查、回溯以及自定义Lua函数，如redis.breakpoint()和redis.debug()。
- 脚本效果复制允许仅复制脚本产生的写命令，从而提高效率，并支持使用非确定性命令（如TIME）。
- 该功能通过redis.replicate_commands()选择性启用，并利用redis.set_repl()进行高级控制，以排除某些命令的复制。
- 这两项功能将在2015年12月发布的Redis 3.2中提供。
<antirez>
2 months ago
- 将所有Redis提交可视化为矩形，其中高度以对数比例表示受影响的行数，并用灰色标签标注发布版本。
- 提交量随时间保持稳定，但在停止对3.0版本进行向后移植后，补丁发布的速率有所下降。
- 主要版本（2.6、2.8、3.0）最初发布更频繁，但未来目标是在时间驱动的计划下每年发布三个版本。
- 给定主要版本的补丁发布遵循对数曲线，随着版本成熟和注意力转向新版本，关键错误逐渐减少。
- 作者希望GitHub能提供更高级的提交数据分析和可视化功能，这些功能蕴藏着宝贵的项目洞察。
<antirez>
2 months ago
- 该算法通过使用大多数带有'current'键的节点生成单调递增的ID。
- 它需要一个支持set_if_less_than和写入时fsync的数据存储。
- 安全性：两个客户端不可能生成相同的ID，新ID也不可能小于过去的ID。
- 活跃性问题：并发访问会导致重试和序列中的'空洞'。
- 由于重试，性能较慢，但可以通过中介ID服务器来改进。
- Fsync对于防止节点重启后ID回退是必要的。
- 这些ID提供全序排列，有助于跨分布式进程合并事件。
- 该算法类似于Paxos的第一阶段和Raft领导者选举。
<antirez>
2 months ago
- Redis 创建者最初因担心 API 兼容性和系统特性而避免引入模块。
- Lua 脚本不足以扩展 Redis 核心功能之外的能力。
- 将内部 API 直接暴露给模块会导致脆弱性和演化问题。
- 新模块 API 的原型设计确保了跨版本的二进制和 API 兼容性。
- 该 API 提供了对 Redis 数据结构的底层访问，支持原生速度的命令。
- 展示了一个实现“列表拼接”的示例模块，具有自动内存管理功能。
- 模块将在 Redis 4.0 中稳定，并保证向后兼容。
- 计划建立模块目录和社区驱动的排名系统。
- 该 API 仍然可调整，并欢迎反馈。
<antirez>
2 months ago
- 当内存达到限制时，Redis 会使用 LRU 和 LFU 等策略淘汰旧数据。
- LRU（最近最少使用）会淘汰空闲时间最长的键，通过随机采样近似估计。
- LFU（最不经常使用）会淘汰访问次数最少的键，使用对数计数器和基于时间的衰减。
- 改进包括使用淘汰候选池以避免误删好数据，以及支持跨数据库淘汰。
- 24 位元数据字段存储 LRU 时钟或 LFU 计数器及上次衰减时间。
- 新键从基本 LFU 值开始，以避免立即被淘汰。
<antirez>
2 months ago
- Redis 4.0 发布候选版本 1 现已推出，包含重大新功能。
- 它引入了模块系统，支持自定义数据类型和非阻塞命令。
- 复制版本 2（PSYNC2）允许在拓扑变更后进行部分重新同步。
- 缓存淘汰改进包括 LFU 算法和更稳健的策略实现。
- 非阻塞操作：用于键删除的 UNLINK 以及 FLUSHALL/FLUSHDB 的 ASYNC 选项。
- 混合 RDB-AOF 持久化格式提供了更快的重写和加载速度。
- 新增的 MEMORY 命令提供详细的内存使用诊断信息。
- Redis 集群现在支持 NAT/Docker 环境，但需要重启集群。
- 这是一个不稳定的版本；后续的发布候选版本将导向最终稳定版本。
<antirez>
2 months ago
- Raspberry Pi is a popular platform for embedded and IoT programming, and Redis is well-suited for data storage on it due to its small memory footprint and append-only write pattern.
- Adapting Redis to ARM processors required handling unaligned memory accesses: ARM v6 handles word-sized accesses but not multi-word or floating-point instructions, and the Linux kernel's fix-up is slow and incomplete.
- Redis now defines USE_ALIGNED_ACCESS for architectures lacking unaligned support, using memcpy for safe access and fixing crashes on ARM and SPARC.
- The hash function was updated to SipHash for security and alignment safety, replacing Murmurhash2.
- Performance on Pi 3 reaches ~28,000 ops/sec (non-pipelined) and ~80,000 ops/sec with pipelining; on older Model B, it's ~2,000 ops/sec.
- Future plans include integrating stream data type in Redis 4.2 for IoT data bus and making Pi a primary target platform for Redis.
- The author invites community feedback on embedded applications and improvements.
<antirez>
2 months ago
- Redis Streams 填补了列表、有序集合和发布/订阅之间的空白，用于建模消息序列或事件。
- 该概念受 Kafka 消费者组以及用户关于事务日志风格数据类型的想法启发。
- 实现使用基数树和列表包，以实现空间效率以及按 ID 或时间的索引访问。
- 关键命令包括 XADD（添加条目）、XRANGE（范围查询）和 XREAD（从多个流中阻塞读取）。
- 通过 MAXLEN 支持带上限的流，并可使用 '~' 进行可选的近似修剪。
- 消费者组（正在进行中）允许多个客户端共享消息，并具有确认和重试功能。
- 内存使用率低；RDB 加载速度快（例如，0.3 秒内加载 500 万条条目）。
- Streams 将在两个月内移植到 Redis 4.0 以用于生产环境。
<antirez>
2 months ago
- 在Redis GitHub上报告了一个关于Redis 4.0中PSYNC2复制协议的关键问题。
- PSYNC2允许在故障转移和从节点重启后进行差异重新同步，但重启从节点功能不可靠。
- 两个主要问题：该功能是最后一刻添加的，未经彻底审查；此外，重启后恢复完整复制状态非常复杂。
- Bug #4483：从节点重启后，主节点复制积压中的Lua脚本（EVALSHA）导致从节点因Lua脚本引擎被清空而无法处理写入。
- 作者匆忙修复该错误，但在4.0.3版本中错误地遗漏了一个提交，随后发布的4.0.4版本中引入的新修复又导致了新错误（对重复脚本加载的断言）。
- 该错误最终在4.0.5版本中修复，但这一系列故障给用户造成了问题。
- 经验教训：Redis 4.0发布过早；匆忙的修复需要更仔细的检查；测试应涵盖带有Lua脚本的PSYNC2情况。
- 作者道歉并感谢贡献者，尤其是@soloestoy。
<antirez>
2 months ago
- Redis 本身仍采用 BSD 许可，并未转用 Common Clause 许可。
- 混淆源于 Redis Labs 关于其模块采用 Common Clause 许可的公告，而非针对 Redis 核心。
- Redis Labs 将某些模块（例如 RediSearch）的许可更改为 Apache + Common Clause，以防止未经贡献回馈的转售。
- 作者将继续在 BSD 许可下开发 Redis 核心，并使用 AGPL 许可保护自己的模块，以防止云服务商的滥用。
- Redis Labs 在保护其企业级增值模块的同时，支持并资助开源 Redis 核心。
<antirez>
2 months ago
- Redis核心仍保留在原始BSD许可证下；只有某些Redis Labs模块从AGPL变更为非开源许可证。
- 开放核心模式需要一个模块化系统，其中专有部分从自由软件中移除有用的功能，而Redis并非如此。
- Redis被设计为模块化是为了允许超出其核心范围的扩展，而不是为了移除功能以进行货币化。
- Redis Labs开发了专有功能（例如全文搜索、JSON、图、CRDT），这些功能超出了Redis的预期范围，并非开源核心的一部分。
- 这种模式并非开放核心，因为没有任何东西从免费Redis中移除；相反，新功能是单独添加的。
<antirez>
2 months ago
- 作者拒绝更改Redis的主从术语，认为在技术语境中并无冒犯之意，且是从MySQL继承而来。
- 他批评政治正确性只关注表面文字，而不解决诸如系统性种族主义、贫困和医疗不平等之类的实际问题。
- 作者分享了他的进步政治观点，包括支持移民、LGBTQ+权利和全民医疗，以反驳法西斯主义的指控。
- 他认为禁止词汇会扼杀重要的对话，而免受冒犯的权利是主观且不可持续的。
- 作者认为有意义的变革来自行动和解决根本原因，而非更改术语或骚扰持不同意见者。
<antirez>
2 months ago
- 作者反思了关于替换Redis复制中词汇的争论，以及没有技术成果的代码的价值。
- 他重视‘黑客价值’——即编写起来有成就感、针对无用问题运用高级思想、或具有艺术性的代码。
- 他认为现代技术讨论已远离60年代的黑客，充满了壁垒和禁忌，因此他创作了LOLWUT，以向乔治·尼斯的《Schotter》致敬。
- LOLWUT使用盲文Unicode字符在终端中显示参数化艺术作品，并动态生成。
- 该代码以文学编程的方式编写，类似于教程，并可在GitHub上获取。
- 从Redis 5开始，LOLWUT将随每个版本变化，遵循规则：无技术用途、快速、娱乐性。它提醒我们编程关乎探索和人性。
<antirez>
2 months ago
- The author argues that code comments are essential for maintainability, contrary to the belief that self-documenting code is sufficient; comments explain *why* code exists and reduce cognitive load.
- Nine types of comments are identified from Redis source code: Function, Design, Why, Teacher, Checklist, Guide, Trivial, Debt, and Backup comments.
- Teacher comments teach domain knowledge (e.g., math, data structures) to expand readership, while Why comments explain rationale behind clear code actions.
- Guide comments, like those in Redis, lower cognitive load by providing structure and rhythm, though they risk becoming trivial if they restate the obvious.
- Debt comments (TODO/FIXME) signal technical debt but are inferior to design comments; Backup comments (commented-out code) are discouraged with version control.
- Writing good comments is harder than writing good code because it requires deeper understanding, writing skills, and serves as a tool for bug hunting and design validation.
<antirez>
2 months ago
- Redis 6将完全采用RESP3协议，不再提供服务器端RESP2兼容模式。
- 缓解措施包括为Redis 5提供额外支持（两年），提前发布不稳定版本供测试，以及可选地保持Lua向后兼容性。
- 放弃RESP2的原因：避免碎片化、降低复杂性、鼓励迁移以及简化客户端库的适配。
- RESP3提供更丰富的语义（如映射、集合、布尔值），从而能够开发更简单、更一致的客户端库。
<antirez>
2 months ago
- RESP3通过语义化回复简化了客户端库，并保持与RESP2的向后兼容性；Redis 6中可能出现用于客户端缓存的属性。
- ACL主要用于操作安全性（例如防止FLUSHALL等危险命令），而非仅用于企业安全，具有较低的CPU开销和模块化代码。
- 由于复杂性，I/O多线程（类似memcached）不太可能实现；Redis将专注于通过模块键级锁定实现慢命令线程化，并通过磁盘使用编排和代理改进Redis Cluster。
- 更好的持久性包括Redis 4和5中AOF文件的RDB前缀以及复制改进。
- 数据结构：Redis 5中新增了Streams；未来工作侧重于内存效率和正交设计，而非添加许多新结构。
- Redis的开发是机会主义的，没有固定路线图；博客有助于传达当前的优先级和决策原因。

redis

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>

<antirez>