Hasty Briefsbeta

全部标签

#performance optimization

共 122 篇

双语

Cache-Friendly B+Tree Nodes with Dynamic Fanout
7 months ago
- B+树节点需要连续内存块以实现高性能，避免使用std::vector带来的间接访问开销
- ‘struct hack’或柔性数组成员技术允许在C/C++中动态调整节点条目大小
- C++11支持将柔性数组成员声明为结构体末位的‘未知边界数组’
- 使用placement new在预分配内存缓冲区中构造B+树节点以保证连续内存布局
- 需要手动管理内存，包括谨慎执行析构和释放操作以防止内存泄漏
- 派生类无法添加新成员，否则可能因内存布局限制导致数据损坏
- 使用原始数组意味着需重新实现类似vector的功能，增加了复杂性和维护成本
- 该实现隐式要求类型可平凡复制，限制了std::string等复杂类型的通用性
Why We Need SIMD
7 months ago
- SIMD（单指令多数据流）以适中的芯片面积成本带来显著的性能加速
- SIMD指令复用CPU现有基础设施（如缓存和解码硬件），具有较高性价比
- x86架构首款SIMD是MMX技术（每指令处理8字节操作），后发展为更宽的SSE、AVX及AVX512指令集
- 与超标量等透明化CPU改进不同，SIMD需要更新软件才能使用新指令
- 视频编解码和加密运算最能体现SIMD优势，但3D渲染转向专用硬件后削弱了SIMD影响力
- 英特尔最新AVX512指令集包含逐通道谓词执行、掩码寄存器等先进特性以提升性能
- SIMD推广面临开发者需手动优化代码的障碍，这不同于硬件自动优化的改进方式
We didn't rewrite our feed handler in Rust
7 months ago
- 尽管Rust在金融科技领域广受欢迎，仍决定用C++重写市场数据馈送处理器
- 现有实现存在技术债务、复杂并发模型和锁竞争问题
- 新实现要求：最小化共享状态、基础并行能力、可预测的亚100微秒延迟
- Rust优势：内置工具链、编译器错误清晰度、金融应用安全性保障
- Rust面临的挑战：缓冲区重用优化、自引用结构体、编译时泛型限制
- C++优势：代码复用性、资源控制能力、模板灵活性、团队技术储备
- 未来考量：C++26编译时反射特性、Rust的Polonius借用检查器改进
- 结论：两种语言在金融科技领域各有生态位，应基于需求务实选择
Bulk Operations in Boost.Bloom
7 months ago
- Boost.Bloom在Boost 1.90中引入批量操作，通过将位置计算与内存访问分离来加速插入和查询
- 批量模式插入通过预取地址最小化CPU停顿，提升大位数组下的性能表现
- 当k>1时查询操作因分支预测变得复杂，批量模式运用位掩码技术减少迭代次数
- 批量版may_contain减少条件分支和冗余内存访问，最高可实现3倍加速
- 性能提升因过滤器配置和大小而异，某些场景可能反而不及非批量操作
- 核心std::countr_zero迭代缩减技术具有普适性，可应用于其他需要高效流水线的场景
Implementing ZADD If Key Exists
7 months ago
- 性能优化要求仅在已存在有序集合时执行Redis ZADD操作，而不创建新集合。
- 最初的方案是非原子性的，需要在ZADD前检查键是否存在，但需要原子操作。
- AI建议使用管道，但该方案不正确，因为它会无条件执行ZADD。
- AI随后提出用LUA脚本保证原子性，但因潜在性能问题被否决。
- 引入WATCH命令作为替代方案，但测试发现其与键过期机制配合不佳。
- 最终方案采用TTL检查配合缓冲期来确保键存在，兼顾简洁性与性能。
- 该方案允许极少数无TTL键的异常情况，可通过SCAN命令后续清理。
JIT: So you want to be faster than an interpreter on modern CPUs
7 months ago
- 这篇博客探讨了为PostgreSQL优化JIT编译器所面临的挑战，重点分析了相较于解释器的性能改进。
- 现代CPU的乱序执行和分支预测特性使得性能优化工作更加复杂。
- 解释器主循环中的操作码分发机制由于存在不可预测的分支跳转，可能导致性能损失。
- 使用'计算跳转'替代switch语句能通过提高跳转预测性来增强解释器性能。
- 优化诸如'SELECT a FROM table WHERE a = 42'这样的简单查询时，需要减少不必要的空值检查并内联常见操作。
- 内联int4eq函数调用能显著减少指令数量并提升性能。
- 作者尝试了包括消除空值检查和内联优化等多种方法，并展示了可测量的性能提升。
- 尽管CPU优化技术不断进步，解释器仍是强劲对手，但JIT编译器通过持续改进展现出发展潜力。
- 作者呼吁各界通过代码贡献、项目赞助或工作邀约等方式支持该项目合作。
Intro to Practical SIMD for Graphics
7 months ago
- SIMD（单指令多数据）指令使CPU能用一条指令处理多个数据点，显著加速矩阵乘法等运算
- 不同CPU架构支持不同的SIMD指令集：x86（SSE/AVX/AVX512）、ARM（NEON/SVE）、RISC-V（RVV），各具特性且存在兼容性挑战
- 游戏开发中，高端游戏建议采用AVX2指令集，SSE4则可确保几乎兼容所有PC。移动端和Switch开发必须支持NEON指令集
- SIMD编程可通过三种方式实现：直接调用intrinsics函数、使用XSIMD等封装库、或采用ISPC编译器，在性能与易用性间各有取舍
- 实际案例显示，向量化数组加法和4x4矩阵乘法运算相比标量代码可获得显著性能提升
- 视锥体裁剪可通过SIMD优化：利用AVX指令同时处理8个球体检测，配合FMA指令实现额外性能增益
- FMA（融合乘加）指令能为图形算法中常见的点积运算带来显著性能提升
Rethinking Async Loops in JavaScript
7 months ago
- 在循环中使用`await`会导致顺序执行，对于独立的网络调用会降低效率。
- 避免在未处理Promise的情况下在`map()`中使用`await`，否则会返回未解决的Promise数组。
- 结合使用`Promise.all()`和`map()`来并行执行API调用并一次性获取所有结果。
- `Promise.all()`会快速失败：只要有一个拒绝就会导致整个操作失败。
- 若需容错，使用`Promise.allSettled()`处理所有结果（包括失败）。
- 在映射函数内部处理错误，避免未处理的Promise拒绝。
- 当执行顺序或速率限制重要时，用`for...of`配合`await`实现顺序执行。
- 对独立任务进行并行处理时，使用`Promise.all()`搭配`map()`。
- 若需控制并发，使用节流工具（如`p-limit`）平衡速度与API限制。
- 切勿在`forEach()`中使用`await`，因为它不会等待异步操作完成。
- 根据需求选择异步模式：顺序（`for...of`）、速度（`Promise.all`）、安全（`allSettled`）或平衡（`p-limit`）。
A Fast Bytecode VM for Arithmetic: The Virtual Machine
7 months ago
- 文章详细介绍了在Haskell中为算术表达式创建快速字节码编译器和虚拟机（VM）的过程。
- 关键组件包括解析、编译为字节码以及通过基于堆栈的虚拟机执行，重点在于性能优化。
- 使用QuickCheck进行基于属性的测试确保了对任意输入的正确性，突出了测试在编译器开发中的重要性。
- 性能基准测试将Haskell虚拟机与C语言实现进行了比较，结果显示Haskell虚拟机慢1.5到2.6倍，但代码量显著减少。
- Haskell虚拟机的优化措施包括使用可变的、未装箱的数组作为堆栈，以及精心设计循环结构以帮助分支预测。
- 建议的未来改进包括解析器优化、超级指令、基于寄存器的虚拟机以及即时编译（JIT）以进一步提升性能。
Principles and Methodologies for Serial Performance Optimization
7 months ago
- 论文概述了八种串行性能优化方法：批处理、缓存、预计算、延迟执行、松弛化、情境化、硬件专用化和分层处理。
- 作者将GPT-4o微调为SysGPT模型，该模型能根据问题描述和性能观测数据推荐优化策略。
- SysGPT在针对给定问题选择优化技术方面表现优于基准GPT-4o模型。
- 本文主要研究串行代码优化，但暗示了该方法可扩展应用于并行化问题的潜力。
- 未来工作可探索从源代码和分析数据自动生成性能观测指标的功能。
A deep dive into BPF LPM trie performance and optimization
7 months ago
- BPF LPM trie映射对于网络路由中的IP及IP+端口匹配至关重要，但在处理大规模数据集时存在性能问题。
- 性能瓶颈包括缓慢的条目查询（数百毫秒）以及释放映射时的CPU锁死（超过10秒）。
- 前缀树（Trie）因其内存高效和搜索优化的特性，特别适合用于CIDR格式的IP路由前缀匹配。
- 多比特树通过单次对比多个比特位，以空间换时间，实现比二叉树更快的遍历速度。
- 路径压缩和层级压缩等优化技术可降低前缀树的内存占用并提升查询效率。
- 当前BPF LPM trie实现未充分优化，导致条目增长时出现高缓存/TLB未命中率等性能缺陷。
- 未来工作包括重构代码，采用net/ipv4/fib_trie.c中的层级压缩前缀树方案来提升BPF LPM trie性能。
Show HN: Incremental JSON parser for streaming LLM tool calls in Ruby
7 months ago
- 流式AI响应通过实时显示生成内容来提升用户体验
- 流式传输中的不完整JSON会导致UI问题，如持续加载动画和缺乏反馈
- 传统JSON解析方法效率低下（O(n²)复杂度），数据增长时会产生延迟
- 状态化增量解析（O(n)复杂度）仅处理新增数据，保持稳定性能
- 上下文相关字符串和不完整转义等边缘情况需要特殊处理
- JsonCompleter工具包能通过高效解析不完整JSON实现实时UI更新
- 性能测试显示：处理12KB数据时，O(n)解析比O(n²)快388倍
- 流式传输对现代AI界面至关重要，可避免系统假死现象
Helion: A High-Level DSL for Performant and Portable ML Kernels
7 months ago
- Helion是一种高级Python嵌入式领域特定语言(DSL)，可将代码编译为优化的Triton代码，在PyTorch的简洁性与底层性能之间架起桥梁。
- 它自动化了张量索引、内存管理和硬件特定调优，使开发人员能够专注于算法逻辑而非实现细节。
- Helion采用'PyTorch with Tiles'编程模型，最大限度减少样板代码并复用现有PyTorch知识，使内核开发更加直观。
- Helion的自动调优引擎能自动构建并探索庞大的搜索空间以寻找最优内核配置，显著减少人工调优工作量。
- 性能基准测试显示Helion优于torch.compile和手工编写的Triton内核，在NVIDIA和AMD GPU上均实现显著加速。
- 案例研究表明，Helion能达到甚至超越手工优化内核(如用CuTe DSL或TileLang编写)的性能水平。
- Helion编译器架构能高效地将Python函数降级为优化后的Triton代码，仅在最终代码生成阶段应用性能关键配置。
- Helion计划于2025年10月22日发布Beta版，旨在为高性能机器学习内核提供高效开发范式。
FlashPack: Fast Model Loading for PyTorch
7 months ago
- FlashPack是一种专为PyTorch设计的高吞吐量文件格式与加载机制，旨在加速模型检查点的I/O操作
- 它使模型加载速度比现有方法（如`accelerate`或`load_state_dict()`加`to()`）快3-6倍
- FlashPack将模型权重视为单一数据流而非独立文件，从而显著提升加载速度
- 核心特性包括：将state_dict展平为连续字节流、内存映射读取技术、通过CUDA流实现磁盘/CPU/GPU操作重叠
- 基准测试显示，其检查点加载速度比现有方法快2-6倍
- 当前限制包括：要求所有权重数据类型必须相同，且不支持设备映射或状态字典转换
- 用户可通过PyPI或GitHub安装FlashPack，它能无缝集成现有工作流（包括Hugging Face模型）
Why Your Social.org Files Can Have Lines Without Issues?
7 months ago
- Org Social 2.3+ 通过并发队列处理和基于HTTP Range的部分获取技术优化性能
- 传统顺序下载会浪费带宽和时间，当只需要最新文章时仍会下载整个订阅源
- 并发队列处理：使用工作池管理并行下载，可通过`org-social-max-concurrent-downloads`配置
- 基于HTTP Range的部分获取：使用Range头仅下载文件必要部分（头部和最新文章）
- 兼容性：自动检测并适配服务器限制（如Cloudflare CDN、Codeberg.org、GitHub原始内容）
- UI分页：每页仅渲染10篇文章以保持界面响应速度，即使处理大型下载
- 性能基准：对于含100+文章的订阅源，部分获取技术能将下载量稳定控制在~8KB
- 调优建议：用户可调整`org-social-max-concurrent-downloads`和`org-social-max-post-age-days`以获得最佳性能
- 结论：三层技术架构确保Org Social用户获得可扩展性、高效性和非阻塞UI体验
Opportunistic Mutation in Roc
7 months ago
- Roc是一门专注于简洁与性能的单范式函数式编程语言。
- Roc通过机会性突变优化性能，同时保持语义上的不可变性。
- Roc的语义不可变性消除了数据竞争和引用循环，从而提升了可靠性与性能。
- Roc禁止重新赋值和变量遮蔽，使得代码更易阅读和重组，且不会引发回归问题。
- Roc采用托管效应（Tasks）替代副作用，确保所有函数均为纯函数。
- Roc中的纯函数支持编译器优化，如循环融合、编译时求值和变量提升。
- Roc的设计选择使调试、测试和优化更简单，尽管某些算法可能更难表达。
We Deleted Tokio from Our Payment System and Cut Cloud Costs by $127,000
7 months ago
- 作者从其Rust微服务中删除了Tokio以降低成本并提升性能。
- 在移除Tokio改用阻塞I/O后，内存使用量下降了42%，P99延迟从340毫秒改善至180毫秒。
- 这一变更每年节省了超过127,000美元的成本。
- 作者反思了业界普遍认为异步编程总是更好的观点，质疑自己为何没有更早做出这一改变。
The Green Tea Garbage Collector
7 months ago
- Go 1.25 引入名为 Green Tea 的实验性垃圾回收器，可使多数工作负载的 GC 时间减少 10-40%
- Green Tea 已达到生产环境标准并在 Google 内部使用，计划于 Go 1.26 将其设为默认回收器
- 传统 Go 垃圾回收器采用标记-清除算法，需标记可达对象并清除不可达对象
- Green Tea 通过以内存页为单位（而非单个对象）进行优化，提升缓存利用率并减少内存停顿
- 向量硬件加速（如 AVX-512）通过支持高效的整页操作，进一步提升了 Green Tea 性能
- 初期基准测试显示 GC 的 CPU 开销降低 10-40%，预计向量加速还将带来额外改进
- 用户可通过 GOEXPERIMENT=greenteagc 在 Go 1.25 中启用 Green Tea，Go 1.26 支持使用 GOEXPERIMENT=nogreenteagc 禁用
- 官方鼓励用户提交反馈以完善 Green Tea 的最终版本
Vectorizing for Fun and Performance
7 months ago
- IBM Power处理器具备矢量处理功能（AltiVec、VMX、VSX），支持SIMD并行运算操作
- POWER8架构拥有64个128位矢量标量寄存器(VSR)，每个寄存器可存储多个浮点数值
- 矢量指令能同时执行加减乘除和乘加融合运算等并行操作
- 编译器虽支持自动矢量化，但通常需要显式实现才能获得最佳性能
- 示例展示：数组最大值查找的矢量化代码在大规模数组上实现显著性能提升
- 性能对比数据显示：32位浮点运算中，矢量化代码较非矢量化版本执行时间大幅缩短
What Caused Performance Issues in My Tiny RPG
6 months ago
- 使用网页技术开发的小型RPG游戏在打包为桌面应用后，相比Firefox浏览器运行时出现了性能问题。
- 通过KAPLAY Discord服务器、Substack和Hacker News等渠道收集的广泛用户反馈帮助定位了问题根源。
- 游戏最初使用NW.js和GemShell打包，选择GemShell是因它能快速生成跨平台可执行文件。
- 尽管KAPLAY在性能上不如Phaser或Excalibur等替代方案，但因其原型开发便捷性仍被采用。
- 问题1：KAPLAY设置最高FPS导致机器无法维持目标帧率时游戏卡顿，通过取消帧率限制解决。
- 问题2：Mac上性能较差源于Webkit相较Chromium的局限性，GemShell开发者可能提供修复方案。
- 问题3：Firefox性能优于Chrome和Safari，主因是低效文本渲染和缺乏对象池技术。
- 优化措施包括：在绘制循环直接渲染文本、批量处理绘制调用、为投射物实现对象池。
- 当前游戏在Chrome上运行流畅，Safari表现改善但仍不如Firefox稳定。
- 经验教训：需掌握更高性能的框架和引擎以避免未来开发瓶颈。

About|Login

#performance optimization

Cache-Friendly B+Tree Nodes with Dynamic Fanout

Why We Need SIMD

We didn't rewrite our feed handler in Rust

Bulk Operations in Boost.Bloom

Implementing ZADD If Key Exists

JIT: So you want to be faster than an interpreter on modern CPUs

Intro to Practical SIMD for Graphics

Rethinking Async Loops in JavaScript

A Fast Bytecode VM for Arithmetic: The Virtual Machine

Principles and Methodologies for Serial Performance Optimization

A deep dive into BPF LPM trie performance and optimization

Show HN: Incremental JSON parser for streaming LLM tool calls in Ruby

Helion: A High-Level DSL for Performant and Portable ML Kernels

FlashPack: Fast Model Loading for PyTorch

Why Your Social.org Files Can Have Lines Without Issues?

Opportunistic Mutation in Roc

We Deleted Tokio from Our Payment System and Cut Cloud Costs by $127,000

The Green Tea Garbage Collector

Vectorizing for Fun and Performance

What Caused Performance Issues in My Tiny RPG