Skip to content
@holtwood-systems

Holtwood Systems

AI Infra & HPC systems: CUDA/Triton kernels, LLM inference runtimes, serving control planes, and reproducible performance evidence. Maintained by @holtwood.

Holtwood Systems

个人维护者:holtwood · AI Infra / HPC systems

从可验证的 CUDA/Triton kernel,到真实权重推理运行时与 Rust serving 控制面。

入口:portfolio · 项目总览

旗舰系统

paged-serving 控制面通过受测试的同进程 C ABI 调用 tiny-llm 数据面:

HTTP/SSE → continuous batching → Paged KV/block tables
                                      ⇅ C ABI
                              GGUF/W8A16 → CUDA decode

这是一个端到端项目,用两个仓库表达控制面/数据面边界,不是两个孤立 demo。

项目地图

角色 仓库 重点 状态
总入口 portfolio 作品集、学习路径、证据索引与跨仓契约 active
旗舰控制面 paged-serving 调度、Paged KV、HTTP/SSE、serving 评测 active
旗舰数据面 tiny-llm 真实权重、量化、decode、KV、C ABI active
CUDA 深挖 cuflash FlashAttention 前后向、Tensor Core、FlashDecoding stable
Triton 对照 trifuse 融合算子、参考实现、torch.library stable
CUDA 基础 cuda-foundations SGEMM 优化阶梯与可复用推理组件 stable
C++ 教学 cpp-high-performance-guide C++20 性能工程:内存、SIMD、并发、NUMA、GEMM 案例 stable
上游研究 kvtier SGLang HiCache/KV tiering 复现实验与上游贡献 active

从哪里开始

工程原则

  • 可追溯性能证据:数字绑定硬件、commit、复现命令、原始结果与限制
  • 差分测试:优化实现与独立参考实现做数值对比
  • 不变量验证:检查 KV Cache 资源守恒、调度状态机与跨语言布局
  • 边界先于宣传:CPU 参考、本地 smoke 和真实 GPU Serving 结果分开表述

维护者:holtwood · 项目总览:imshane.site/projects 相关组织:holtwood-arena(比赛与 benchmark) · holtwood-forks(上游研读)

Pinned Loading

  1. cuda-foundations cuda-foundations Public

    可验证的 CUDA 学习主线:SGEMM、通用 GPU 算子、性能优化与轻量推理组件

    C++ 11

  2. trifuse trifuse Public

    面向 Transformer 推理的可验证 Triton 融合算子与 torch.library 集成

    Python 4

  3. paged-serving paged-serving Public

    Rust LLM Serving 控制面:Paged KV、continuous batching、OpenAI SSE、C ABI 后端与可信压测

    Rust 1

  4. portfolio portfolio Public

    AI Infra 学习作品集:CUDA/Triton/FlashAttention、LLM 推理运行时、Serving、跨仓契约与证据导航

    TypeScript 1

  5. cuflash cuflash Public

    cuflash — FlashAttention from scratch in CUDA C++: scalar → WMMA tensor-core forward, FlashDecoding/Split-KV, Roofline analysis. FP16/BF16/FP32 fwd/bwd, sm_70–sm_90.

    Cuda 1

  6. tiny-llm tiny-llm Public

    CUDA/C++ LLM 推理运行时:GGUF、W8A16、tokenizer、Paged KV、CUDA Graph 与可复现基准

    C++

Repositories

Showing 9 of 9 repositories

Top languages

Loading…

Most used topics

Loading…