DSCS-Engine：多维异构分布式计算引擎

A High-performance Multi-dimensional Heterogeneous Distributed Computing Engine based on Go & C++

---

项目简介

DSCS-Engine 是一款面向超大规模在线搜索与推荐场景设计的分布式计算执行引擎，支持 DAG 任务编排、多维异构资源调度与高性能算子执行，可在单机环境下模拟万级节点规模的分布式调度行为，解决大规模任务下发延迟、资源隔离与异构算力调度问题。

对标能力：分布式计算、智能调度、异构计算加速。

---

核心特性

✦ 高性能计算内核

• 使用 C++ 实现底层计算算子
• 基于 SIMD(AVX-512) 指令集构建向量化执行引擎
• 单核吞吐量相比普通迭代提升 400%

✦ Go/C++ 跨语言高效通信

• 上层控制面使用 Go 开发
• 通过 CGO 无缝调用 C++ 高性能内核
• 实现内存对齐的共享内存机制，避免 Go/C++ 堆栈间大量数据拷贝开销

✦ 海量节点智能调度

• 自研多目标启发式调度算法
• 将调度复杂度从 (O(n)) 优化至 (O(\log n))
• 基于 Virtual Kubelet 模拟单集群 5000+ 节点调度压力
• 支持 Pod 亲和性、GPU/RDMA 资源调度 逻辑

✦ RDMA 高性能网络仿真

• 在 Linux 下配置 Soft-RoCE 模拟 RDMA 环境
• 实现 RDMA Zero-copy 零拷贝跨节点通信
• 相比传统 TCP 降低 ~60% 任务分发延迟

✦ DAG 任务编排与执行

• 支持通用 DAG 任务拓扑编排
• 单机可模拟千级节点分布式执行环境
• 支持百毫秒级算子动态调整

---

技术栈

• 计算层：C++、SIMD(AVX-512)、向量化执行引擎
• 控制层：Go、CGO
• 调度：多目标启发式调度、Virtual Kubelet
• 网络：RDMA、Soft-RoCE、Zero-Copy
• 部署：Linux、单机仿真集群

---

项目能力与产出

• 可在单机环境下模拟千级节点的 DAG 任务拓扑执行
• 实现百毫秒级算子动态调整
• 完成高并发、低延迟的大规模任务下发
• 支持 GPU、RDMA 等异构资源调度
• 复现生产级 Kubernetes 调度核心逻辑

---

适用场景

• 大规模在线搜索引擎
• 推荐系统分布式计算
• 异构算力集群调度
• 低延迟分布式任务执行
• 分布式内核教学与实验仿真

---

项目结构

---

快速开始

# 1. 克隆项目
git clone https://github.com/xxx/dscs-engine.git
cd dscs-engine

# 2. 编译 C++ 内核与 Go 调度器
make build

# 3. 启动单机仿真环境
make run-simulator

# 4. 提交 DAG 任务示例
make run-dag-demo