CVE-2026-85670

tokenizers (Hugging Face), BpeBuilder::build (tokenizers/src/models/bpe/model.rs) funksiyasında buferin sərhədlərindən kənar giriş zəifliyindən təsirlənir. Tokenizer::from_file/from_str vasitəsilə tokenizer.json yüklənərkən, qurucu müvəqqəti buferi ən uzun lüğət açarına uyğun ölçüləndirir və sonra hər bir birləşdirilmiş birləşdirmə qaydasını onun daxilinə yazır. Birləşdirilmiş tokeni ən uzun lüğət açarından aşan birləşdirmə buferi dolduraraq daşırma yaradır ki, bu da Rust tərəfindən prosesi dayandıran panikaya çevrilir (həm Rust, həm də FFI embedding-lərdə). Bu, heç bir kodlaşdırma tələb olunmadan yükləmə zamanı baş verir, buna görə də xüsusi hazırlanmış tokenizer.json faylı təqdim edən hücumçu xidmətdən imtina (DoS) halına səbəb ola bilər. Eyni yerdəki ikinci bir qüsur, continuing_subword_prefix təyin edildikdə və birləşdirmə tokeni prefiksdən daha qısa olduqda, usize underflow-ya (debug rejimində panika, release rejimində potensial yaddaş korlanması) səbəb ola bilər. Versiya 0.23.1-də müşahidə edilmişdir.