Työkalut · SGLang päivitys

SGLang v0.5.17 tuo tuen Kimi K3 -mallille ja laajentaa videogenerointia

SGLang-projekti julkaisi version 0.5.17, joka sisältää tuen 2.8T-parametrin Kimi K3 -multimodaalille [1]. Päivitys tuo mukanaan myös laajan tuen MiniMax-H3-videomallille [1].

SGLang-projektin uusi versio 0.5.17 julkaistiin 8.8.2026 [1]. Päivitys tuo päivän nollista tuen Kimi K3 -mallille, joka on 2.8T-parametrin monimuotoinen LatentMoE-malli [1].

Kimi K3 -mallissa on 896 asiantuntijaa ja se käyttää top-16-reititystä 3584-ulotteisessa latentissa avaruudessa [1]. Malli tukee 1M-tokenin kontekstia ja se on toimitettu natiivina MXFP4-tarkistuspisteenä [1].

SGLang tarjoaa mallille tuen DCP:n, DSpark-spekulatiivisen dekoodauksen ja chunked-prefill PP:n avulla [1]. Tuetut laitteistot sisältävät NVIDIA GB300:n ja AMD MI35x:n [1].

MiniMax-H3-videomalli saa myös tuen, ja se tuottaa videon ja synkronoidun stereon äänen yhdessä pyynnössä [1]. Malli toimii SGLang-Diffusionin kautta kolmella julkisella tehtäväprofiililla [1].

Uusi versio sisältää myös Rust-pohjaisen käyttöliittymän alkutason tuen, joka siirtää verkkoliikenteen hallintaa [1]. Lisäksi mukaan on lisätty EmbeddingGemma- ja LFM2.5-upotusmallit [1].

Käyttäjien kannattaa päivittää SGLang-kirjasto, jos tarvitaan tukea uusille videogenerointimalleille tai Kimi K3 -arkkitehtuurille [1]. Päivitys on suositeltava myös, jos hyödynnetään uusia Rust-pohjaisia toimintoja [1].