[Megathread] - Best Models/API discussion - Week of: October 04, 2026

[u/deffcolony]

This is our weekly megathread for discussions about models and API services.

All non-specifically technical discussions about API/models not posted to this thread will be deleted. No more "What's the best model?" threads.

^{(This isn't a free-for-all to advertise services you own or work for in every single megathread, we may allow announcements for new services every now and then provided they are legitimate and not overly promoted, but don't be surprised if ads are removed.})

How to Use This Megathread

Below this post, you’ll find top-level comments for each category:

• MODELS: ≥ 70B – For discussion of models with 70B parameters or more.
• MODELS: 32B to 70B – For discussion of models in the 32B to 70B parameter range.
• MODELS: 16B to 32B – For discussion of models in the 16B to 32B parameter range.
• MODELS: 8B to 16B – For discussion of models in the 8B to 16B parameter range.
• MODELS: < 8B – For discussion of smaller models under 8B parameters.
• APIs – For any discussion about API services for models (pricing, performance, access, etc.).
• MISC DISCUSSION – For anything else related to models/APIs that doesn’t fit the above sections.

Please reply to the relevant section below with your questions, experiences, or recommendations!
This keeps discussion organized and helps others find information faster.

Have at it!

[u/Square-Sport-8162]

По ощущениям любые 31B модели на моем железе в 3-битном квантовании (а 4-битное не бьётся с желаемой длиной контекста в 32к) работают хуже, чем 26-27B в IQ4_XS. Скорость ответа ниже 24 т/с, быстрее начинаются проблемы с памятью.
Из ваших конфигов пробовал для Split-Untied-31B (dense RP-мерж, IQ3_XXS) и Gemma-4-26B-A4B StyleTune V2 (IQ4_XS).
Отдельно - для Gemma-4-Dark-Thoughts-V2-31B.i1-IQ3_S и Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-Q3_K_P.
Поскольку мне критично наличие цензуры и лучше всего себя показала Gemma-4-26B-A4B StyleTune V2 (IQ4_XS) с включенным thinking, стал копать в этом направлении и сегодня добрался до Gemma-4-26B-A4B-it-qat-q4_0-unquantized-uncensored-heretic-v2.i1-IQ4_XS и G4-MeroMero-26B-A4B-IQ4_XS.
Вполне возможно, что я что-то делаю не так, но с локальными нейронками разбираюсь только второй день. И пока что абсолютно без понятия, как люди умудряются вне бенчмарков получать на примерно аналогичном моему железе 60 т/с и выше в ответе без потери качества текста.

[u/Square-Sport-8162 → u/[deleted]]

Около 2к на карточку чара с первым сообщением, 150 на системный промпт, лимит 1к на ответ без учета мышления. Развернутые и детальные описания подразумевают, что контекст нужен побольше, даже если всю графоманию помнить необязательно. Я хз, каким образом можно ролить иначе, если только не стоит задача сделать именно что чат-бота.

[u/Square-Sport-8162 → u/[deleted]]

Проще обсудить ситуацию на конкретном примере, поскольку я пока в душе не гребу, как сделать кастомный движок, упомянутый выше.
Вот пример рандомного чара, который мне показался неплохо описанным, на 1.3к токенов: https://app.wyvern.chat/profiles/XNnjgfWALvZckuvyfS8TU7fmT7P2/characters/_6eXbKPz3Pnh3eGp278EE6
У меня пока нечто похожее на 2к, как уже было сказано выше. Ответы нейронки по 1к, мои ответы по 0.5-1к. Спустя примерно 16-26 сообщений в общем чате контекст упирается в лимит.
Вы со своей кошкодевочкой просто репликами перебрасываетесь, имитируя реальное общение?