Työkalut · SGLang-päivitys

SGLang v0.5.18 tuo merkittäviä nopeushyötyjä erityisesti DeepSeek-malleille

SGLang-ajomoottori on julkaissut version 0.5.18, joka sisältää 710 pullopyyntöä [1]. Päivitys tuo mukanaan uusia tukemia ja suorituskykyparannuksia.

SGLang v0.5.18 -versio on julkaistu 22.8.2026 [1]. Päivitys sisältää 710 pullopyyntöä, joiden tekijöitä on 212 [1].

Uusi versio tuo tukea useille uusille malleille, kuten Muse Glimmer, Intern-S2-Mobius, SANA-Video, LingBot-Video-MoE, LTX-2.5 sekä Cosmos3 Edge & Distilled [1]. Lisäksi cookbook-reseptit kattavat Qwen3.8-perheen, Ling-3.0, Nemotron 3.5 Lightning, Dots3-Note ja DeepSeek-V4-Pro-0813 mallit [1].

Suorituskyky paranee merkittävästi checkpoint-vaiheen optimoinnin myötä [1]. Qwen3-32B-malli H100-laitteistolla käynnistyy 8.6-11.7 % nopeammin kuin aiemmin [1].

Tämä nopeusero on 2.38-kertainen verrattuna tavalliseen oletusasetukseen, jossa latausaika on 84.8 sekuntia [1]. Nopeampi lataus onnistuu käyttämällä --startup-weight-load-mode overlap -asetusta [1].

DeepSeek-V4-Pro B200 -laitteistolla LMHead-aika laskee 320 mikrosekunnista 169 mikrosekuntiin [1]. Tämä parantaa TPOT-arvoa 35.67 millisekuntiin 36.97 millisekunnista [1].

Blackwell-arkkitehtuurilla DeepSeek-V4-Flash TP4 -dekoodaus saa jopa +6.9 % nopeudenlisäyksen pienillä erillä [1]. Käyttäjän kannattaa päivittää SGLang-ajomoottori hyödyntääkseen nämä suorituskykyparannukset ja uudet mallit.