算法工程与服务端系统。

下面每个项目的仓库里都有测试,以及决策记录或预注册文件。

算法
推荐、离策略评估与检索。双塔召回、梯度提升排序和增益模型,结果按证据等级标注;对 Open Bandit 基准做了预注册的复核,在两个确认性活动上,合并的 IPS 估计是在线点击率的 0.974(按 10 分钟时间块,区间 0.915 到 1.036),没有显示出偏低;用 Go 实现的 BM25 和稠密检索对照 Pyserini 公布的 BEIR 数字核对过:BM25 在六个数据集上四位小数相同,BGE-base 在六个数据集上相差不超过 0.0006。
服务端系统
用 Go 写的推荐服务系统:召回、特征、排序和重排在同一个 HTTP 接口后面,物品向量分片放在 gRPC 副本上。在 kind 集群里每秒 100 个请求下,网关滚动重启、副本滚动重启和一次换包期间,没有一个响应失败或降级;各阶段的时间预算设为 100 ms。
后端系统
用 Go 写的限价订单簿,带预写命令日志和开环压测:撮合核心每秒 625 万到 888 万条命令(在一台噪声较大的虚拟机上测得,同一基准的各次运行最多相差 1.96 倍),每秒 1 万个请求时 p99 为 1.76 ms;每秒 5 万个请求时接近饱和,p99 为 41 ms。

项目

ope-checks

对已发表的离策略评估结果做预注册检验。第一项研究重测 Open Bandit 基准:在两个确认性活动上,以 10 分钟时间块为重采样单位时,标准估计没有显示出低于在线点击率。

  • Python
  • 离策略评估
  • 预注册
  • 时间块 bootstrap
  • Open Bandit 数据集

retrieval-lab

用 Go 实现的 BM25 和稠密检索,其中 BM25、用精确搜索的稠密检索和融合各自对照 Pyserini 为 BEIR 公布的数字验收。BM25 在六个数据集上的 nDCG@10 和 Recall@100 与公布值四位小数相同。BGE-base 加精确搜索在六个数据集上的 nDCG@10 相差都不超过 0.0006,除 TREC-COVID 外不超过 0.0004。在此基础上的一项预注册研究发现:ef 相同时,HNSW 造成的 nDCG@10 损失随模型而变;每个模型都搜索到相同的近邻召回率 0.95 时,就不再随模型而变。

  • Go
  • 信息检索
  • BM25
  • 稠密检索
  • BEIR

seqrec-lab

对 Transformer 序列推荐模型 SASRec、BERT4Rec 和 gSASRec 的预注册研究:各组调参预算相同,每组 5 到 10 个种子,在全部物品上排序评测,在一块租用的消费级 GPU 上进行。在 MovieLens-1M、Video_Games 和 Steam 上,用完整交叉熵训练的 SASRec 领先 BERT4Rec 和 gSASRec,用 BCE 加一个负样本训练的 SASRec 比它低 2% 以上。MovieLens-1M 的测试目标在正式运行之前已被锚点检查读过。MovieLens-20M 还没有结果。

  • Python
  • PyTorch
  • 序列推荐
  • 预注册
  • 等价性检验

recserve

用 Go 写的推荐服务系统:召回、特征、排序和重排在同一个 HTTP 接口后面,物品向量分片放在 gRPC 副本上。在 kind 集群里每秒 100 个请求下,经过网关滚动重启、副本滚动重启和一次换包,15,000 个响应里没有一个失败或降级;各阶段的时间预算设为 100 ms。

  • Go
  • 推荐系统
  • gRPC
  • Kafka
  • Kubernetes

matching-engine

用 Go 写的限价订单簿撮合引擎:价格优先、时间优先,提供 REST 和 WebSocket 接口,重放命令日志能还原出同一本订单簿。

  • Go
  • 订单簿
  • WebSocket
  • 预写日志
  • 压测

早期项目