Локальный AI-разработчик в 6 ГБ видеопамяти: разбираем файн-тюны Gemma 4 🧑💻
Разбираем интересную линейку файнтюнов на базе свежей Gemma-4-12B. Это тот случай, когда один энтузиаст сам собрал на коленке интересные специализированные fine-tune сборки, заточенные под программирование, работу в терминале и автономный дебаг. Работают на любом утюге с 8 ГБ объединенной памяти или VRAM (при использовании GGUF-квантизации).
Это базовая версия (v1) файнтюна. Вся суть в тренировочных данных: модель учили не просто на кусках кода из GitHub, а на проверенных цепочках рассуждений (CoT). Модель-учитель решала алгоритмические задачи, код прогонялся через тесты, и в датасет попадали только те решения, которые реально компилировались и работали. На выходе: 12B модель, которая сначала расписывает краевые случаи, а потом выдает чистый Python-код.
2️⃣ Gemma-4-12B-agentic-fable5-composer2.5-v2
Тут становится интереснее. V2 научили быть агентом.
Ей вшили нативный протокол работы с тулзами. На бенчмарке tau2-bench (это где ИИ должен работать как сисадмин: прочитать логи, сделать grep, найти баг в сети, накатить фикс и проверить) эта малышка выдает ~55% успешных решений. Для сравнения, базовая Gemma-4-12B там же набирает жалкие 15% и уходит в отказ, перекидывая задачу на кожаного мешка. А вот эта v2-сборка выбивает ~55% и методично долбит терминал, пока не найдет причину бага, реализуя цикл «прочитал -> подумал -> сделал -> проверил».
3️⃣ Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated
Есть еще версия от huihui 🤣
Зачем нужен этот форк? Это версия v1, которой провели аблитерацию — хирургическое удаление векторов отказа на уровне весов, без поломки логики самой модели.
Классическая проблема: просишь модель написать скрипт для парсинга, автоматизации сети или работы с файловой системой, а она падает в обморок с криками «Я не могу это сделать, это небезопасно!». Abliterated-версия лишена этих моральных терзаний. Она просто делает то, что ей говорят программисты, без лекций об этике.
А при чем тут вообще Fable 5, который фигурирует в названиях? Чтобы модель научилась хорошо думать, автор собирал датасет так:
🔵 Основной массив успешных решений сгенерировали через Composer 2.5.
🔵 Те задачи, где Composer облажался, планировалось скормить Fable 5, чтобы он сгенерировал альтернативный Chain-of-Thought (так называемые синтетические данные «второй попытки»).
Но вот незадача — Fable 5 благополучно отрубили ровно в тот момент, когда автор собирал датасет. Что сделал автор? Он просто сгенерировал недостающие трейсы через Claude Opus 4.8, но историческое название fable5 в нейминге весов решил оставить.
Вот такая реальность 2к26, мы запускаем локально модель от Google, дообученную энтузиастом на данных от Composer и Claude, которая притворяется Fable 5, чтобы дебажить вам скрипты. 🙄
