Koodi · Python-kirjasto

vLLM-kirjasto tarjoaa tehokkaan ja muistitehokkaan päättelymoottorin suuria kielimalleja varten

vLLM-versio 0.28.0 on julkaistu 26.8.2026. Kirjasto on suunniteltu tarjoamaan nopea ja edullinen päättelyympäristö suosituille kielimalleille [1].

vLLM on suunniteltu tarjoamaan korkean läpimenon ja muistitehokkaan päättelyn suuria kielimalleja varten [1]. Kirjasto on tarkoitettu LLM-mallien päättelyyn ja palvelun tarjoamiseen [1].

Kirjasto on kehitetty alun perin Sky Computing Labissa UC Berkelelyssä [1]. Se on kasvanut yhdeksi aktiivisimmista avoimen lähdekoodin tekoälyprojekteista [1].

Projektia ylläpitää laaja yhteisö, johon kuuluu kymmeniä akateemisia laitoksia ja yrityksiä [1]. Yhteisöön kuuluu yli 2000 kehittäjää [1].

Paikallisessa ajossa kirjasto auttaa optimoimaan päättelyprosessia ja resurssien käyttöä [1]. Se on suunniteltu tekemään mallien palvelusta helppoa ja nopeaa [1].

Kirjaston taustalla toimii monipuolinen yhteisö, joka on rakentanut projektin avoimen lähdekoodin periaatteilla [1]. Kehittäjät ovat tuoneet projektiin laajaa asiantuntemusta [1].

Käyttäjän kannattaa tutustua kirjaston dokumentaatioon, jos haluaa aloittaa vLLM:n käytön [1]. Lisätietoa löytyy projektin verkkosivuilta [1].