matching-engine
用 Go 写的限价订单簿撮合引擎:价格优先、时间优先,提供 REST 和 WebSocket 接口,重放命令日志能还原出同一本订单簿。
cmd/loadgen 每秒发送 2,000 个请求,引擎自带的订单簿页面实时显示 BTC-USD。 关键指标
- 撮合核心在单个交易对上每秒处理的命令数,在一台噪声较大的虚拟机上测得,同一基准的各次运行最多相差 1.96 倍
- 625 万–888 万
- 每秒 1 万个请求时,从下单到收到成交推送的 p99 延迟
- 1.76 ms
- 挂单 100 万笔时撮合核心的堆内存
- 124 MiB
- 语句测试覆盖率
- 93%
延迟的数字在一台 4 vCPU 的云虚拟机上、用 Go 1.24.7 测得,吞吐和内存的数字在第二台 4 vCPU 的云虚拟机上、用 Go 1.27.4 测得,都是在较早的提交上;端到端测试时,引擎和压测程序共用第一台机器。项目现在用 Go 1.27.4 构建;端到端测试早于引擎后来的修改(包括接口代码和撮合核心),仓库里没有这些修改之后在第一台机器上做的端到端测试。 基准测试报告
问题与目标
撮合引擎接收订单和撤单请求,先按价格、再按时间撮合,并把结果实时推给客户端。撮合本身是顺序的,每个结果都要能从日志重放出来,已确认的订单在进程崩溃后也不能丢。
项目定了三个目标:撮合核心在单个交易对上每秒超过 100 万次操作;每秒 5 万笔订单时,从 REST 下单到收到成交推送的 p99 延迟低于 5 ms;测出挂单 100 万笔时的内存占用。
撮合核心的吞吐是目标的 6 到 9 倍。端到端目标折合这套订单流约每秒 7.1 万个请求,在第一台 4 vCPU 的测试机上达不到;每秒 1.5 万个请求以内,p99 延迟都低于 5 ms。每秒 5 万个请求时接近饱和,p99 为 41 ms,这个数因机器而异。
架构
客户端通过 HTTP 和 WebSocket API 下单、撤单和查询。每个交易对有一个有界队列,后面接一个撮合 goroutine:它先把每批命令写进命令日志,再交给订单簿执行。产生的事件回到 API,再以快照、增量和成交的形式推给客户端。
关键决策
-
D003 每个交易对一个 goroutine
撮合本身是顺序的,所以每个交易对的订单簿和日志都归一个 goroutine 独占。订单簿因此不需要锁,重放日志能得到完全相同的订单簿。请求经有界队列进入这个 goroutine;队列满时,下单和撤单立刻收到 503,延迟不会越积越高。
-
D004 用基准测试选定红黑树
红黑树、跳表和有序切片跑的是同一套模型测试和基准测试。10,000 个价位时,删除一个价位、再在盘口附近新增一个,红黑树用 250 ns,跳表用 405 ns;在测过的各个规模上,跳表的写入都要慢 26% 到 101%。红黑树还有最坏情况的保证,也用不着随机种子。测试中,知道跳表种子的人专门挑选价格,就能让盘口附近的平均查找步数从 18 涨到 517。
-
D017 先写日志,每 10 ms 刷一次盘
每批命令先写进日志再执行,日志每 10 ms fsync 一次。进程崩溃不会丢失已确认的命令,有一个测试专门在压测中杀掉引擎来验证;机器崩溃则可能丢掉最后一个间隔内的命令,以及 fsync 进行期间收到的命令。每次回复前都 fsync 的做法也实测过:每秒 3 万个请求以内,p99 延迟会高出 1 到 10 ms。
-
D030 开环压测
cmd/loadgen给第 i 个请求定好应发时刻 t0 + i/rate,不等前面的回复,经 64 条长连接之一发出;延迟从这个应发时刻算起,一次卡顿会计入它拖慢的每一个请求。闭环压测要等到回复才发下一个,会悄悄少发,p99 看上去达标,实际速率却不够。
难点与解法
-
瓶颈不在订单簿
在每秒 2.5 万个请求下做 CPU 剖析,撮合 goroutine 连同订单簿只占约 10%,HTTP 的系统调用约占 19%,解析请求体占 14%,其中检查字段名就占了 9 个百分点。改为一次扫描检查字段名,不再经过
json.Decoder,这项检查从 5.79 µs、79 次内存分配降到 0.51 µs、零分配,引擎处理每个请求的 CPU 时间减少 5% 到 8%。在优化前后的 CPU 剖析里,Book.Apply都只占引擎 CPU 的 1.4% 到 2%。订单簿后来改用自己的订单索引,并复用离开订单簿的订单节点;端到端的数字都在这之前测得,之后没有重测。 -
一次 fsync 拖住所有命令
原先交易对的 goroutine 每 10 ms 停下来 fsync 一次,平均 0.8 ms,有时几十毫秒,所有命令都得等着。现在 fsync 交给一个辅助 goroutine,Redis、Kafka 和 PostgreSQL 也都在后台线程刷日志(D031)。每秒 1 万个请求时,三次运行的 p99 延迟中位数从 5.32 ms 降到 3.82 ms;每秒 2.5 万个请求的三次运行从 20.0、36.4、215 ms 降到 19.6、19.8、28.7 ms。这几轮测试跑在更早的提交上,用的是和第一台同型号但更慢的一台虚拟机,只能互相比较。
-
确认每笔成交都送到
每笔成交都按顺序、恰好一次送到客户端,这次压测才算数。
loadgen检查成交推送的序号没有缺口,核对推送、REST 回复里的成交和引擎的成交计数器三者数量一致,再用 64 位哈希之和比对推送和回复的内容(D036)。此外,一次运行至少要发出目标速率的 99%,并且没有失败的请求。 -
在同一台虚拟机上和其他引擎比较
flash1-dev 撮合引擎基准测试在一台 4 vCPU 的虚拟机上运行撮合核心、Liquibook、CppTrader 和 geseq,共 10 轮,各引擎依次运行,每次运行的回报都和公布的哈希值核对。成对比较的 50 次运行里,撮合核心有 46 次快于 CppTrader,后者是另外三个引擎里在这台机器上最快的;各场景比值的中位数为 1.28 到 1.60。同一引擎在同一场景下的各次运行相差最多 2.09 倍,所以结果只用来给这台虚拟机上的引擎排名,对绝对吞吐不作结论。撮合核心成批接收消息,CppTrader 的适配器每次调用只接收一条;geseq 没有一次运行满足基准测试关于探测耗时的规则。