tinyvllm

Projektstatus: Unbekannt

Minimal reimplementation of the vLLM inference engine: PagedAttention, continuous batching, speculative decoding

Untersuchte Software oder Hardware: vLLM
Arbeitsansatz: Neuimplementierung und Kompatibilität
Öffentliches Hauptrepository: github.com/zarktt/tinyvllm

Projekte werden nach der zuletzt erfassten Anzahl an Repository-Sternen sortiert. Sterne zeigen Interesse, keinen Fortschritt. Fehlende Werte bleiben unbekannt.

Über das Projekt und seinen Umfang

Minimal reimplementation of the vLLM inference engine: PagedAttention, continuous batching, speculative decoding

Möglichkeiten zur Mitarbeit

Regeln zur Mitarbeit unbekannt

Regeln für KI-unterstützte Beiträge: Nicht angegeben

Dokumentierte Systeme für Mitwirkende

Arbeitsumgebung nicht dokumentiert

Gemeldeter Fortschritt

Kein Fortschritt gemeldet

Quellen, Builds und Veröffentlichungen

Repository öffnen · github.comgithub.com/zarktt/tinyvllm