Hasty Briefsbeta

全部标签

#go

共 117 篇

双语

Preserving Order in Concurrent Go Apps: Three Approaches Compared
9 months ago
- Go语言并发优势的代价是默认无序处理
- 三种需要保持顺序的场景：实时日志增强、文件列表首次匹配查找、时间序列数据处理
- 保持并发处理顺序的三种方法：ReplyTo通道、sync.Cond轮流机制、权限传递链
- ReplyTo通道每个元素增加410ns开销，但在高并发下表现良好
- sync.Cond方法存在'惊群效应'，goroutine增多时性能显著下降
- 权限传递链具有约500ns开销、零内存分配优势，为有序操作提供清晰抽象
- 结合通道池的权限传递方案(方法3a)在保持性能的同时消除内存分配
- 核心结论：权限传递是Go有序并发的最佳方案，兼顾性能、内存效率和可维护性
Show HN: Moribito – A TUI for LDAP Viewing/Queries
8 months ago
- 基于Go和BubbleTea构建的终端LDAP服务器浏览器
- 支持交互式树形导航浏览LDAP目录结构
- 带剪贴板集成的详细记录查看器（可复制属性值）
- 实时分页显示的自定义查询界面
- 支持SSL/TLS及多种认证方式
- 新版本自动更新通知
- 现代化TUI界面，简洁直观
- 支持保存和切换多个连接配置
- 可通过Homebrew、直接下载或源码编译安装
- 支持操作系统特定位置的配置文件
- 提供导航和操作的键盘快捷键
- 复杂LDAP查询的自动格式化功能
- 智能分页机制高效处理大型目录
- 连接失败自动重试功能
- 附完整的开发文档和配置指南
- 采用MIT许可证并包含贡献指南
Show HN: My first Go project, a useless animated bunny sign for your terminal
9 months ago
- 一个用于显示动画消息的Go包，包含举着牌子的小兔子。
- 最初是从JavaScript包移植而来，出于教育目的创建。
- 功能包括用兔子宣布消息、改善开发者心情、为Go应用增添趣味。
- 安装方式支持`go install`命令、下载Windows/macOS/Linux二进制文件或使用`go get`。
- 使用示例包含显示单条/多条消息以及展示后清除消息。
- 可通过导入包并使用`Display`函数集成到应用程序中。
- 开发说明包括克隆仓库、构建CLI工具、本地运行或安装。
- 欢迎贡献代码，提供分支创建、修改提交和PR提交流程指南。
- 未来改进计划包含添加单元测试、配置golangci-lint、启用GitHub Actions和完善文档。
- 采用MIT许可证，特别鸣谢原JavaScript版本及作者幽默的致谢声明。
Go for Bash Programmers – Part II: CLI Tools
8 months ago
- 为Bash程序员介绍如何用Go编写CLI工具
- 示例CLI工具：分别用Bash和Go实现终端打印'hello'
- Go测试实践：先写测试代码再实现功能，迭代优化测试设计
- 利用`io.Writer`接口实现灵活输出（测试用`bytes.Buffer`，生产环境用`os.Stdout`）
- 通过结构体和构造函数（如`NewPrinter`）避免使用全局变量
- 实战示例：统计输入中重复行的CLI工具，展示`io.Reader`的用法
- 使用`os.Args`和`flag`包处理命令行参数与标志
- CLI工具设计模式：默认行为、可选配置与错误处理方案
Show HN: Ark v0.5.0 – A Minimal, High-Performance Entity Component System for Go
8 months ago
- Ark 是一个基于原型的 Go 语言实体组件系统（ECS）框架
- 专为高性能设计并经过深度优化
- 提供完善的文档、类型安全API和全面的用户指南
- 将实体关系作为一等公民特性
- 支持快速批量操作以进行大规模数据处理
- 无需系统架构，仅需查询。可使用自定义结构（或配套工具）
- 通过 ark-serde 实现世界状态的序列化与反序列化
- 零依赖，100%测试覆盖率保证
- 通过 'go get github.com/mlange-42/ark' 安装
- 提供位置/速度组件的使用示例
- ark-serde 提供JSON序列化与反序列化功能
- ark-tools 提供系统架构、调度器等实用工具
- ark-pixel 提供OpenGL图形渲染和实时绘图功能
- 采用MIT和Apache 2.0双协议授权
Logging in Go with Slog: A Practitioner's Guide
8 months ago
- Go 1.21 引入了原生结构化日志解决方案 `log/slog`
- `slog` 围绕三个核心类型构建：`Logger`、`Handler` 和 `Record`
- `Logger` 提供 `Info()`、`Debug()` 和 `Error()` 等方法
- `Handler` 处理 `Record` 并决定日志输出格式与目标
- `Record` 包含时间、严重级别、消息和属性等日志事件详情
- `slog` 通过 `slog.Attr` 支持带上下文的结构化键值对日志
- `sloglint` 等检查工具可强制执行日志规范的最佳实践
- `slog` 提供四个严重级别：`DEBUG`、`INFO`、`WARN` 和 `ERROR`
- 可通过 `ReplaceAttr` 创建并映射自定义日志级别
- 内置处理器包含 `JSONHandler` 和 `TextHandler` 以支持不同输出格式
- 第三方处理器通过采样、着色等功能扩展能力
- 上下文日志模式包括全局记录器、上下文嵌入记录器和显式传递
- `LogValuer` 接口控制自定义类型在日志中的呈现形式
- 错误日志可通过结构化上下文和调用栈跟踪增强
- `slog` 性能虽慢于 `zerolog` 和 `zap`，但针对常见场景优化
- 集中式可观测性管道可接收 `slog` 日志并与追踪指标关联
Show HN: I made pgdbtemplate to cut PostgreSQL test time by 1.5x using templates
8 months ago
- 一个用于创建PostgreSQL测试数据库的高性能Go库，通过模板数据库实现更快的测试执行速度
- 特性包括：极速创建测试数据库（比传统方法快1.2-1.6倍）、线程安全操作、可随架构复杂度扩展
- 支持PostgreSQL特有功能，包含连接字符串验证和多种驱动（database/sql与pgx）
- 提供灵活测试支持，包括与Testcontainers集成实现容器化测试
- 可配置的迁移运行器和连接提供器，支持高级连接池选项
- 性能优化包括：无论架构复杂度如何都能保持一致的数据库创建时间，以及卓越的并发处理能力
- 内存效率比传统方法每操作减少17%内存占用
- 专为生产测试套件并发使用设计的线程安全操作
- 要求PostgreSQL 9.5+、Go 1.21+及PostgreSQL驱动（github.com/lib/pq或github.com/jackc/pgx/v5）
- 采用MIT许可证，欢迎在指定规范下贡献代码
The Day the Linter Broke My Code
8 months ago
- 在Go中设计自定义错误需要正确实现`Error`、`Is`和`Unwrap`方法。
- `DataEOFError`类型包含文件名，并通过`Is`方法使其与`io.ErrUnexpectedEOF`被视为相等。
- `ProcessingFailedError`类型包含处理ID并包装了`Reason`错误，其实例之间不相等。
- 错误比较推荐使用`errors.Is()`，但在`Is`方法内部必须使用直接比较（`==`）。
- 一个linter（`err113`）错误地建议在`Is`方法中用`errors.Is()`替换直接比较，这会破坏错误处理语义。
- `errors.Is()`函数不具备对称性，不应在`Is`方法中使用，以避免错误的等价判断。
- 真实案例（`fluxcd Controller Runtime`）展示了错误的`Is`实现如何导致意外的错误匹配。
- 关键原则：用直接比较实现`Is`方法，谨慎对待linter建议，并充分测试错误类型。
Be Careful with Go Struct Embedding
8 months ago
- Go语言的struct嵌入特性允许通过将一个结构体嵌入到另一个结构体中来实现类型组合。
- 示例展示了在`Rectangle`中嵌入`Position`和`Colour`结构体，从而可以直接访问嵌入字段如`r.X`。
- 演示了当嵌入具有相同字段名的结构体时可能产生的歧义（`FooService`和`BarConnectionOptions`中的`URL`字段）。
- 代码通过选择嵌套层级最浅的字段（`FooService.URL`）来解决歧义，打印出'abc.com'。
- 强调了在使用结构体嵌入时需要谨慎，以避免出现预期之外的行为。
Register allocation in the Go compiler (2024)
8 months ago
- Go编译器的寄存器分配器（RA）基于SSA（静态单赋值）形式工作，这与编译器中的其他优化阶段类似。
- Go寄存器分配器的关键组件包括：关键边消除、条件码值分配的flagalloc、垃圾回收的活跃值分析、寄存器分配（regalloc）和栈分配（stackalloc）。
- 寄存器分配是最复杂的部分，它按控制流图（CFG）的前序处理基本块（BBs），并跟踪寄存器或内存中的活跃值。
- 当寄存器不足时，RA采用启发式策略（如到下次使用的最长距离）决定溢出哪些值，该距离受基本块布局影响。
- Phi值及其操作数必须占用相同位置（寄存器或栈），这需要特殊处理并可能产生复制操作。
- 栈槽分配通过非重叠SSA值共享槽位来优化栈使用，采用冲突图进行优化。
- RA通过特殊操作（StoreReg/LoadReg/Copy）保持SSA形式，但分配后会产生无效SSA，这会限制后续优化。
- RA算法类似二次机会装箱策略而非线性扫描，重点关注CFG合并点和溢出位置选择。
- 调用ABI假设所有寄存器都会被调用破坏，导致低效代码；使用调用保留寄存器可提升性能。
- Go RA的优势包括代码精简、速度快、栈槽共享高效，缺点在于缺乏全局视角和Phi处理的复杂性。
FyneDesk: A full desktop environment for Linux written in Go
7 months ago
- FyneDesk是一个基于Go语言Fyne工具包构建的Linux/Unix桌面环境，专为易用性和开发便捷性设计。
- 编译需安装Fyne依赖项；推荐搭配arandr（屏幕布局工具）、xbacklight/brightnessctl（亮度控制）、connman-gtk（网络管理）和compton（窗口合成器）等外部工具增强体验。
- 通过'go get fyshos.com/fynedesk/cmd/fynedesk'安装并进入预览模式；完整部署需克隆代码库后执行make编译及安装。
- 测试时可用Xephyr配合'make embed'命令，将窗口管理器组件运行在嵌入式X窗口中。
- FyneDesk内置'fynedesk_runner'组件，用于预览版测试期间的崩溃恢复。
- 界面设计由Jost Grant贡献；建议发行版打包时包含显示管理器应用'fin'以完善集成。
How to reproduce and fix an I/O data race with Go and DTrace
7 months ago
- CI中的测试失败被追踪到由于写入和读取goroutine之间同步不当导致的文件数据竞争问题。
- 该问题属于TOCTOU（检查时间与使用时间差）问题——读取前检查了文件是否存在，但此时写入操作尚未完成。
- 一个最小化的Go复现代码重现了这种竞态条件，读取操作有时会看到空文件或部分内容。
- 使用DTrace观察系统和Go函数调用，揭示了写入和读取操作的交错执行情况。
- 通过`chill` DTrace动作模拟磁盘延迟，有效提高了竞态条件的复现概率。
- 修复方案移除了冗余的`os.Stat`检查，并通过重试机制确保读取成功，彻底解决了TOCTOU问题。
- 本文重点强调了在文件操作前使用`stat(2)`的不必要性及其可能引发的TOCTOU缺陷。
- `chill` DTrace动作被特别推荐为模拟延迟、检测竞态条件的实用工具。
We found a bug in Go's ARM64 compiler
7 months ago
- Cloudflare发现Go语言arm64编译器存在一个bug，该bug会因大规模并发导致生成的代码出现竞态条件。
- 最初在arm64机器上观察到零星panic现象，经分析发现与栈展开过程中的栈损坏有关。
- 该问题最初与recovered panic及一个历史Go issue (#73259)相关联，临时解决方案是避免使用panic/recover进行错误处理。
- 随后出现更高频率的致命panic且无明确触发条件，促使团队展开深入调查。
- 最终识别出两类bug：无效内存访问导致的崩溃，以及栈展开期间触发的显式致命错误。
- 根本原因被追溯到Go的arm64编译器中栈指针拆分调整期间的异步抢占问题，这导致栈展开时出现无效栈状态。
- 团队创建了最小化复现代码，确认这是运行时问题而非Cloudflare环境特有。
- 该bug已在Go 1.23.12、1.24.6和1.25.0版本中修复，解决方案是确保栈指针调整操作的原子性。
- 此次调查凸显了大规模场景下调试罕见竞态条件的挑战，以及理解底层运行时行为的重要性。
Goiaba: An experimental Go compiler, written in Rust
7 months ago
- Goiaba 是一个用 Rust 编写的实验性 Go 解析器和 WebAssembly 编译器。
- 它将 Go 源代码转换为适用于浏览器及其他 WASM 环境的 WebAssembly 字节码。
- 核心功能包括将 Go 解析为抽象语法树 (AST)、将函数编译为 WASM 模块，并支持 Go 基础语言特性。
- 可导出 Go 函数供 JavaScript、Rust（通过 C ABI）和 Zig（通过 C ABI）调用。
- 提供命令行界面和面向 Rust 项目的编程接口。
- 通过 `cargo install goiaba` 安装，文档提供使用示例。
- 支持多种 Go 结构：函数、控制流、算术运算、结构体、数组等。
- 导出函数需使用 `//export` 指令实现 WASM 可调用性。
- 主要组件包含解析器、AST、翻译器、编译器和命令行工具。
- 未来计划优化：死代码消除、常量折叠等编译优化。
- 当前限制：无垃圾回收、标准库支持有限、缺少并发原语。
- 采用 BSD-3-Clause 许可证，版权所有 Raphael Amorim 2024。
Ro – Reactive Programming for Go
7 months ago
- ReactiveX规范的Go语言实现，用于响应式编程
- 响应式编程通过声明式处理数据流，简化事件驱动和异步应用开发
- samber/lo（内存对象处理）与samber/ro（事件驱动异步流处理）的对比
- samber/ro专注于无限数据流及基于推送的流控制
- 使用ro.Pipe配合Filter和Map操作符处理并打印偶数的示例
- 该库提供丰富的操作符：创建、转换、过滤、错误处理等
- 包含HTTP、I/O、日志、验证等场景的插件生态
- 提供入门指南和高级用法文档及示例
- 欢迎通过提交PR、修复问题或提议新功能参与贡献
- 采用MIT许可证，企业版需遵守自定义许可协议
A modern approach to preventing CSRF in Go
7 months ago
- Go 1.25 引入了 `http.CrossOriginProtection` 中间件，无需基于令牌的检查即可防范CSRF攻击。
- 该中间件通过检查 `Sec-Fetch-Site` 和 `Origin` 请求头来拒绝不安全的跨源请求。
- 其局限性包括：仅在现代浏览器中有效，且依赖HTTPS才能完全发挥作用。
- 强制使用TLS 1.3可确保浏览器支持必要请求头，从而消除大部分CSRF风险。
- SameSite cookie（`SameSite=Lax` 或 `Strict`）能为跨站请求伪造提供额外防护层。
- HTTPS、TLS 1.3、`http.CrossOriginProtection` 和 SameSite cookie的组合方案可将CSRF/CORF风险降至最低。
- 未缓解的风险包括：Firefox v60-69中的同站CORF攻击，以及非主流浏览器的潜在攻击。
- 免除基于令牌的CSRF检查的前提条件是：严格使用HTTPS，并假设所有用户均使用支持相关标准的浏览器。
Timezones as Types: Making Time Safer to Use in Go
7 months ago
- Meridian 利用 Go 泛型将时区编码进类型系统，从根源防止运行时错误
- 传统 Go 的 `time.Time` 缺乏时区强制约束，常导致生产环境问题（如错误的任务调度或财务报告）
- Meridian 通过类型安全时区（如 `et.Time`, `pt.Time`）实现编译期时区正确性检查
- 该库为每个时区提供符合 Go 习惯的辅助方法，使代码具备自解释性并减少错误
- Meridian 在内部以 UTC 格式存储时间，确保零值安全性和行为一致性
- 通过 `Moment` 接口实现跨时区操作，支持不同时区类型的无缝比较
- 设计包含包级位置加载机制以提高效率，并对缺失时区采取快速失败策略
- 实际案例展示了如何用 Meridian 处理资金发放等调度任务，确保全流程时区准确性
Show HN: GoSMig – minimal, type-safe SQL migrations written in Go
7 months ago
- GoSMig 是一个用 Go 编写的简单、极简的 SQL 迁移工具
- 开箱即支持 database/sql 和 sqlx 两种驱动
- 与数据库无关，适用于任何实现了 Go 标准 database/sql 接口的数据库
- 具有 Go 泛型带来的类型安全特性，提供灵活迁移选项（事务性和非事务性）和健壮的错误处理机制
- 包含 CLI 就绪功能（但需用户自行构建命令行界面）
- 支持回滚操作、带分页的状态跟踪以及可配置的操作超时设置
- 零依赖（仅需 Go 标准库和 golang.org/x/term 实现分页支持）
- 提供 database/sql 和 sqlx 的用法示例
- 包含完整的测试套件和 PostgreSQL 集成测试
- 依据 Unlicense 协议发布至公共领域
Chezmoi introduces ban on LLM-generated contributions
7 months ago
- 禁止使用LLMs进行贡献，否则将导致封禁。
- chezmoi是一个Go项目，需要Go 1.24或更高版本。
- 克隆仓库：`git clone https://github.com/twpayne/chezmoi.git`。
- 使用`go build`构建chezmoi。
- 运行`go test ./...`执行测试；部分测试需要`$PATH`中包含额外软件。
- 使用`go tool chezmoi`运行chezmoi。
- 通过`make smoke-test`执行冒烟测试。
- 使用`make test-release`测试交叉编译。
- Fish shell用户可能会遇到警告；可通过`SHELL=bash`或`SHELL=zsh`避免。
Implementing the Raft distributed consensus protocol in Go
6 months ago
- 文章讨论了在Go语言中实现Raft分布式共识算法，重点介绍了领导者选举和日志复制机制。
- 基于Raft构建了一个分布式键值存储系统，展示了如何为复制操作建模状态机和命令。
- 实现包含与Raft集群交互的HTTP端点，支持严格和宽松两种读取操作模式。
- 详细解释了持久化状态管理，包括避免无限延迟的高效磁盘写入策略。
- 涵盖了领导者选举流程，包括超时机制、投票请求以及获得法定票数后转为领导者状态。
- 阐述了日志复制机制，包括领导者如何发送未提交消息和跟随者如何处理这些消息。
- 文章提及了竞态条件、死锁、无限内存占用等注意事项，以及可能需要的Jepsen测试。
- 描述了用于验证集群在各种条件下（包括节点故障和消息恢复）行为的测试框架。
- 提供了额外学习资源和相关实现方案的参考文献以便进一步学习和对比。

About|Login

#go

Preserving Order in Concurrent Go Apps: Three Approaches Compared

Show HN: Moribito – A TUI for LDAP Viewing/Queries

Show HN: My first Go project, a useless animated bunny sign for your terminal

Go for Bash Programmers – Part II: CLI Tools

Show HN: Ark v0.5.0 – A Minimal, High-Performance Entity Component System for Go

Logging in Go with Slog: A Practitioner's Guide

Show HN: I made pgdbtemplate to cut PostgreSQL test time by 1.5x using templates

The Day the Linter Broke My Code

Be Careful with Go Struct Embedding

Register allocation in the Go compiler (2024)

FyneDesk: A full desktop environment for Linux written in Go

How to reproduce and fix an I/O data race with Go and DTrace

We found a bug in Go's ARM64 compiler

Goiaba: An experimental Go compiler, written in Rust

Ro – Reactive Programming for Go

A modern approach to preventing CSRF in Go

Timezones as Types: Making Time Safer to Use in Go

Show HN: GoSMig – minimal, type-safe SQL migrations written in Go

Chezmoi introduces ban on LLM-generated contributions

Implementing the Raft distributed consensus protocol in Go