VLLM

vLLM adalah proyek sumber terbuka yang dikembangkan oleh Neural Magic untuk penyajian model AI. Proyek ini menarik perhatian Red Hat karena kemampuannya dalam mengoptimalkan dan menerapkan model di berbagai lingkungan cloud.