Titulek: Češi z BottleCap AI zrychlili model od Nvidie: ThinkingCap šetří tokeny i čas

Český startup BottleCap AI představil další významný krok ve svém úsilí o efektivnější provoz jazykových modelů. Za tímto tuzemským projektem stojí výzkumník Tomáš Mikolov a podnikatel Jaroslav Beck, kteří se rozhodli upravit jazykový model Nemotron[1]. Upravená verze modelu patří do rodiny ThinkingCap, kterou tým BottleCap AI postupně vyvíjí a zveřejňuje[2]. Výsledný model nese název ThinkingCap-NVIDIA-Nemotron-3.5-Lightning-30B-A3B a je zdarma k dispozici na platformě Hugging Face[3].

Úspornější uvažování a zachování přesnosti

Společnost Nvidia standardně nabízí své modely ve variantách Nano/Lightning, Super a Ultra[4]. Startup BottleCap AI pro svou optimalizaci upravil konkrétní model Nemotron-3.5-Lightning-30B-A3B, který slouží jako rychlý model určený mimo jiné pro různé úkoly AI agentů[5].

Metodou úpravy modelu ThinkingCap na bázi Nemotron-3.5-Lightning-30B-A3B-BF16 je post-training zaměřený na zkrácení stop uvažování[6]. Tento přístup zachovává výkon na náročných i agentních úlohách a zároveň přináší znatelné omezení mnohomluvnosti při přemýšlení[6]. Model ThinkingCap dosahuje snížení počtu tokenů při uvažování až o více než 31 % a v průměru o necelých 23 %[7]. Výrazné zkrácení myšlenkových kroků přitom neohrozilo kvalitu výstupů, protože model ThinkingCap Nemotron 3.5 Lightning 30B-A3B si zachovává průměrnou přesnost 71,4 % oproti 72,2 % u výchozího modelu Nvidia[8].

Rychlejší řešení úloh a stabilnější generování

Úspora výpočetních tokenů má praktický dopad na celkovou rychlost zpracování. Při experimentálním řešení stejné chemické úlohy s časovým limitem 20 minut dokončil model ThinkingCap 25 úloh, zatímco základní model jich ve stejném čase stihl vyřešit pouze 11[9].

Zároveň došlo ke snížení výskytu chyb při generování dlouhých odpovědí. Chybovost typu useknutí uvažování před formulací finální odpovědi klesla u modelu ThinkingCap z 0,43 % na 0,22 % a zacyklení uvažování se snížilo z 0,30 % na 0,16 %[10]. Při testování v benchmarcích byl u většiny zkoušek nastaven generovací limit na 253 952 tokenů, zatímco u benchmarků AA-LCR a τ²-bench činil 65 536 tokenů z důvodu obsazení zbývajícího kontextového okna dokumenty a vícestupňovými přepisy[11].

Zázemí BottleCap AI a předchozí projekty

Pro český startup nejde o první vydaný model v této sérii. V řadě ThinkingCap vyšly před modelem od Nvidie již dva optimalizované modely Qwen od Alibaby[12].

Startup staví na zkušeném týmu zakladatelů. Spoluzakladatelem BottleCap AI je Jaroslav Beck, který stál také u zrodu hry Beat Saber[13]. Druhý ze spoluzakladatelů, uznávaný vědec Tomáš Mikolov, v jarním období opustil své akademické působiště na ČVUT[14]. Startup BottleCap AI vedle samotné optimalizace velkých jazykových modelů nabízí také softwarové aplikace AI Scan a Pulse[15]. Pro svůj rozvoj firma získala novou investici a stihla již uvést první aplikaci pro operační systém iOS[16].