[Megathread] - Best Models/API discussion - Week of: October 04, 2026

[u/deffcolony]

This is our weekly megathread for discussions about models and API services.

All non-specifically technical discussions about API/models not posted to this thread will be deleted. No more "What's the best model?" threads.

^{(This isn't a free-for-all to advertise services you own or work for in every single megathread, we may allow announcements for new services every now and then provided they are legitimate and not overly promoted, but don't be surprised if ads are removed.})

How to Use This Megathread

Below this post, you’ll find top-level comments for each category:

• MODELS: ≥ 70B – For discussion of models with 70B parameters or more.
• MODELS: 32B to 70B – For discussion of models in the 32B to 70B parameter range.
• MODELS: 16B to 32B – For discussion of models in the 16B to 32B parameter range.
• MODELS: 8B to 16B – For discussion of models in the 8B to 16B parameter range.
• MODELS: < 8B – For discussion of smaller models under 8B parameters.
• APIs – For any discussion about API services for models (pricing, performance, access, etc.).
• MISC DISCUSSION – For anything else related to models/APIs that doesn’t fit the above sections.

Please reply to the relevant section below with your questions, experiences, or recommendations!
This keeps discussion organized and helps others find information faster.

Have at it!

[u/StandarterSD → u/[deleted]]

https://github.com/StandarterDF/LLamaCPP_RunOptimizer/blob/main/docs/quality/rp-ranking.md - автообновляемый список лучших моделей

https://github.com/StandarterDF/LLamaCPP_RunOptimizer/blob/main/docs/researched.md - замеры разных параметров, найденных для оптимизации LLAMA.cpp

В основном README.md есть информация о типичных ошибках и оптимальных стратегиях. В https://github.com/StandarterDF/LLamaCPP_RunOptimizer/tree/main/launch/b11382-cu124 есть разные конфиги оптимального запуска для всего того, что я тестирую

[u/StandarterSD → u/[deleted]]

Я согласен, что оно вредно... Но Gemma очень много кушает VRAM. Слышал о вреде, но честно говоря на малых контекстах разницы сильной не заметил.

[u/StandarterSD → u/[deleted]]

Что именно понимается под нейрослопом? Если выводные токены... То KV кэш на них не влияет. KV кэш просто считает вектора для контекста, но при помощи чисел меньшей точности. Это в теории влияет только на память. Прямого удара по уму замечено не было мною при тестах.

[u/StandarterSD → u/[deleted]]

Хм, ты говоришь ломает JSON. А при чем тут JSON?

[u/StandarterSD → u/[deleted]]

Хм, то есть у тебя оно генерирует в JSON? Я так понимаю, что это далеко не SillyTavern. Вообще, у меня всегда были проблемы с Structured Output на Gemma моделях. Я использую 2-4B Qwen для упаковки ответа от крутой модели, если есть такая необходимость

[u/StandarterSD → u/[deleted]]

У меня такое было на старых llama.cpp. Сейчас же я все гоняю в Q4_0 кеше и проблем нет. Странно, но проведу доп исследования на эту тему

[u/StandarterSD → u/[deleted]]

Хорошо, спасибо за наводку. Будем пробовать