SGLang 在昇腾 910B 部署 Qwen3.6-35B-A3B 简记
发表于 1 天前
—- —— `–tp-size` 4 张量并行度,对应 4 张 910B `–context-length` 26 …
—- —— `–tp-size` 4 张量并行度,对应 4 张 910B `–context-length` 26 …
一、背景 HY-Embodied 0.5 官方代码默认依赖 CUDA 和 flash-attn,在 Ascend 910B 上需要 …
一、背景 需要在昇腾 ARM 节点上做 vLLM/MindIE 服务化性能测试。测试侧工具使用 AISBench,并叠加 aisb …
最近使用 RLinf 框架适配了 pi0.5 模型的 SFT(Supervised Fine-Tuning)训练,在 Ascend …
> 基于 RLinf 主分支(commit a4b6abe)适配 Ascend 910B3 NPU 的完整流程记录 — 一、背 …
环境概览 组件 版本/说明 硬件 8 × Ascend 910B (aarch64) 基础镜像 `rlinf/rlinf:agen …
一、背景 做 MiniCPM-o 全双工集成 CosyVoice3(Ascend-SACT HTTP 后端,RTF≈0.27)时, …
rtk Token压缩代理部署简记 一、背景 用 LLM coding agent 最大的隐形成本是 context 膨胀。一次 …