Отключение режима размышления у моделей в LM Studio

Оказалось, что многие не в курсе как выключить режим рассуждения в LM Studio. В данной статье я расскажу, как добавить виртуальную модель с собственными настройками c добавлением кнопки включения/выключения режима размышлений.

Это возможно для моделей, в которых есть аналогичная возможность для llama.cpp. Обычно это описание присутствует в описаниях запуска модели на huggingface.co.

1. Как обычно скачивайте модель

После скачивания модели она появится в папке: :\Users\*папка_пользователя*\.lmstudio\models

На изображении выше вы видите, что папка модели называется: «Qwen3.6-35B-A3B-GGUF» Вам понадобиться для редактирования файлов это название (не конкретно это, а название вашей модели).

2. Создаём конфигурацию виртуальной модели

Далее нужно перейти в папку: «»C:\Users\%User_name%\.lmstudio\hub\models\

Далее переходите в папку с названием «поставщика» модели. В моём случае это папка «unsloth», так как я скачал квантованную версию, у этой команды.

В этой папке создаёте папку с названием вашей модели: В моём случае это папка «qwen3.6-35b-a3b».

В этой папке создайте два файла:

  • manifest.json
  • model.yaml

Далее будут тексты для файлов, но рекомендую скачать архив с моими версиями, так как есть вероятность того, что при копирование может слететь разметка файла:

Содержание файла manifest.json

{
  "type": "model",
  "owner": "unsloth",
  "name": "qwen3.6-35b-a3b",
  "dependencies": [
    {
      "type": "model",
      "purpose": "baseModel",
      "modelKeys": [
        "unsloth/qwen3.6-35b-a3b-gguf"
      ],
      "sources": [
        {
          "type": "huggingface",
          "user": "unsloth",
          "repo": "Qwen3.6-35B-A3B-GGUF"
        }
      ]
    }
  ],
  "revision": 1
}

В этом файле вам нужно заменить:

  • «owner»: «unsloth«
  • «name»: «qwen3.6-35b-a3b«
  • «modelKeys»: [ «unsloth/qwen3.6-35b-a3b-gguf«

Использовать название копированием названия папки и модели в директории .lmstudio\hub\models\

  • «user»: «unsloth«
  • «repo»: «Qwen3.6-35B-A3B-GGUF«

Использовать название копированием названий папок и моделей в директории .lmstudio\models

Содержание файла model.yaml

model: unsloth/qwen3.6-35b-a3b
base:
  - key: unsloth/qwen3.6-35b-a3b-gguf
    sources:
      - type: huggingface
        user: unsloth
        repo: Qwen3.6-35B-A3B-GGUF
metadataOverrides:
  domain: llm
  architectures:
    - qwen35moe
  compatibilityTypes:
    - gguf
  paramsStrings:
    - 35B
  minMemoryUsageBytes: 18000000000
  contextLengths:
    - 262144
  vision: true
  reasoning: true
  trainedForToolUse: true
config:
  operation:
    fields:
      - key: llm.prediction.temperature
        value: 1.0
      - key: llm.prediction.topKSampling
        value: 20
      - key: llm.prediction.topPSampling
        value:
          checked: true
          value: 0.95
      - key: llm.prediction.minPSampling
        value:
          checked: false
          value: 0
      - key: llm.prediction.repeatPenalty
        value:
          checked: false
          value: 1.0
customFields:
  - key: enableThinking
    displayName: Enable Thinking
    description: Enable the model to think before answering.
    type: boolean
    defaultValue: true
    effects:
      - type: setJinjaVariable
        variable: enable_thinking
suggestions:
  - message: The following parameters are recommended for thinking mode
    conditions:
      - type: equals
        key: $.enableThinking
        value: true
    fields:
      - key: llm.prediction.temperature
        value: 0.7
      - key: llm.prediction.topPSampling
        value:
          checked: true
          value: 0.8
      - key: llm.prediction.topKSampling
        value: 20
      - key: llm.prediction.minPSampling
        value:
          checked: false
          value: 0

В этом файле вам нужно заменить:

  • model: unsloth/qwen3.6-35b-a3b
  • key: unsloth/qwen3.6-35b-a3b-gguf
  • user: unsloth
  • repo: Qwen3.6-35B-A3B-GGUF

Использовать параметры из файла: manifest.json

  • architectures: — qwen35moe

Этот параметр взять из списка моделей в LM Studio, взять тот, что указан для оригинальной модели (на текущий момент у вас уже будет отображаться новая виртуальная модель, но с параметрами, как у скопированного файла):

  • paramsStrings: — 35B
  • minMemoryUsageBytes: 18000000000
  • contextLengths: — 262144
  • vision: true
  • reasoning: true
  • trainedForToolUse: true

Настройка данных параметров на работу нейросети влиять не будет, но желательно установить корректные значения для вашей модели. Параметр minMemoryUsageBytes отвечает за проверку влезет модель в ваше железо или нет. В данном случае указано значение 18 ГБ.

  • variable: enable_thinking

Правильное слово в этот параметр должно быть указано в описании модели для настроек запуска llama.cpp (пример для выбранной модели на изображении ниже). Как правило нужно оставить неизменным.

Параметры temperature и аналогичные указаны в рекомендациях в описании модели.

PROFIT!

В списке моделей появилась новая модель со значком «мозга». Используйте её. Для неё добавиться кнопка включения/выключения режима размышлений.

При использовании LM Studio как сервера для нейросетей нужно загрузить модель в LM Studio и выбрать нужный параметр (вкл/выкл) режима размышления в чате. Этот параметр применится к внешнему использованию этой нейросети по API.

Видео на YouTube канале "Этот компьютер"

Добавить комментарий