CVE-2025-47277

Böyük dil modelləri (LLM) üçün inferensiya və xidmət mühərriki olan vLLM-in 0.6.5-dən 0.8.4-ə qədər olan versiyalarında YALNIZ V0 mühərriki ilə `PyNcclPipe` KV keş transfer inteqrasiyasından istifadə edən mühitləri təsir edən bir problem mövcuddur. Digər konfiqurasiyalara təsir göstərmir. vLLM paylanmış qovşaqlar arasında məlumat ötürülməsi üçün peer-to-peer kommunikasiya domeninin qurulmasında `PyNcclPipe` sinfinin istifadəsini dəstəkləyir. GPU tərəfində KV-Keş ötürülməsi `PyNcclCommunicator` sinfi vasitəsilə həyata keçirilir, CPU tərəfdəki idarəetmə mesajlarının ötürülməsi isə CPU tərəfindəki `send_obj` və `recv_obj` metodları vasitəsilə idarə olunur. Bu interfeysin yalnız `--kv-ip` CLI parametri ilə təyin edilmiş IP ünvanını istifadə edən şəxsi şəbəkəyə açıq olması nəzərdə tutulmuşdu. vLLM sənədləri bunun necə təhlükəsiz şəbəkə ilə məhdudlaşdırılmalı olduğunu əhatə edir. PyTorch-un standart və nəzərdə tutulan davranışı odur ki, hansı IP ünvanının təqdim edilməsindən asılı olmayaraq, `TCPStore` interfeysi BÜTÜN interfeyslərdə dinləmə aparır. Verilən IP ünvanı yalnız müştəri tərəfli ünvan kimi istifadə olunurdu. `TCPStore` instansiyasının soketini təyin edilmiş şəxsi interfeysə bağlamağa məcbur etmək üçün vLLM-də alternativ həll yolu tətbiq edildi. Versiya 0.8.5-dən başlayaraq, vLLM `TCPStore` soketini konfiqurasiya edildiyi kimi şəxsi interfeyslə məhdudlaşdırır.