Блоги: заметки с тегом ИИ

FP8 и Nvidia A100

Евгений Степанищев — Thu, 09 Oct 2025 22:08:18 +0500

Недавно вышла новая модель Qwen3 с 80 миллиардами параметров. Мы её решили попробовать, но оказалось, что версия фреймоворка vllm, которую мы используем, с ним несовместима. Чтобы не экспериментировать на своём оборудовании, арендовали у «Селектела» две Nvidia A100. Хотели что-нибудь поновее, но всё расхватали.

Модель рассчитывали взять квантованную до FP8, такая есть в выпущенном наборе моделей. Нам она хорошо подходит — как раз уместится в память наших карт. Я рассчитываю, что 80 миллиардов с точностью восемь бит побьют предыдущие тридцать с вдвое большей точностью.

Но нас тут ждало разочарование — карты A100 тип FP8 не поддерживают, есть только эмуляция через FP16. Так как карты с FP8 всё равно пока арендовать не получится, выделили себе четыре A100 и поставили полную модель, без квантованния. Не совсем то, что хотелось, но всё равно полезно посмотреть как встанет и немного погонять по производительности.

В итоге, «завалить» модель одновременными соединениями не вышло (модели, которые мы крутили на одной или двух H100 заваливались), время ответа от нашего эталонного промпта получилось от 3,59 секунд до 8,74. Это очень быстро.

ИИ-сериал. Пробую — не работает

Юрий Ээльмаа — Sat, 04 Oct 2025 22:51:37 +0500

Юрий Ээльмаа:

В настоящее время я довольно много экспериментирую с различными системами искусственного интеллекта (ИИ): пробую самостоятельно, читаю об опыте, делаю эксперименты. В общем, думаю. Естественно, ИИ меня интересует не сам по себе, а применительно к использованию в образовании. Есть очень интересные авторы, предлагающие самые неожиданные повороты и допущения. А есть (и их масса) сказителей с похожей песней:

«Вот ChatGPT, вот Deepseek, вот X, Y, Z. Ссылки еще на 10 сервисов я собрал ниже. Посередине экрана у них поле — сюда забиваете запрос, теперь надо говорить „промпт“. И ваша жизнь изменится!»

Но про сервисы мне неинтересно. Во-первых, я вряд ли могу объяснить, чем реально одна LLM отличается от другой (да и кто это, кроме разработчиков, знает?). Во-вторых, мне интересно, какие новые задачи я могу решать при помощи этих новых инструментов, а не какого цвета у них интерфейсы. И вот тут становится уже очень интересно.

Обычно размышления и выводы рождаются из конкретного кейса использования. Так и сейчас — расскажу про один эксперимент.

Пробую — не работает

Понадобилось решить простую, как мне изначально казалось, задачу. Вот есть гуглотаблица, с ней есть список, допустим, из 100 строк. Строки мной руками красятся и потом перекрашиваются в красный, желтый, зеленый цвета. То есть сперва ячейка была красная, а потом стала зеленая. Можно ли вывести сбоку «легенду», где отображалось бы, сколько ячеек какого цвета в списке?

Явно ведь несложная задача. Погуглил — ничего. Ладно, пойдем к ИИ.

Сперва мне сообщили, что задача сложная, ресурсами Spreadsheets не решается, потому что цвет — это не данные, а признак. И мне нужен для этой цели Google Apps Script. Узнал, что он есть. Сразу же дали javacript, объяснили, как сохранить-вставить и какую формулу в ячейках надо писать.

Пробую — не работает.

Чтобы не ковыряться в коде самому (ибо в таком не умею) — прошу его переписать, исходя из того, что список у меня находится в столбце А. Переписывает. Новый код — вставляю.

Пробую — не работает. Выдает error с указанием строки.

Сообщаю ИИ об этом. Получаю весть, что «Проблема, скорее всего, в том, что вы передаете в функцию COUNT_BY_COLOR неправильный аргумент, из-за чего скрипт не может найти указанный диапазон». Это он сам себе, видать, объяснил. Я не стал просить объяснить мне попроще, я не учиться пришел, мне задачу надо решить. ИИ предлагает 2 решения. И обновленный код скрипта.

Пробую оба — не работают. Та же ошибка. Говорю: ау, не работает.

Здесь ИИ предлагает 3 (!!!) причины, почему это может быть и предлагает 2 новых (!!!) решения.

Пробую последовательно — не работает.

ИИ предлагает: «Давайте ещё раз внимательно проверим, как вы вводите формулу».

Проверили. Пробую — не работает. ИИ понимает, что случай тяжелый и клиент тонет и предлагает: пришли мне скришот — я разберусь. Скриншот, Карл! Делаю, прикрепляю.

ИИ отвечает: «Судя по скриншоту, проблема, скорее всего, в разделителе аргументов в формуле. В русскоязычной версии Google Таблиц в качестве разделителя используется точка с запятой (;), а не запятая (,).». Предлагает следующие 2 решение, дает обновленный скрипт.

Отладка скрипта прошла (ИИ комплиментарно порадовался, что у нас хоть что-то работает), но у нас новая ошибка.

— Отлично, — говорит ИИ, — может, у нас скрипт сложноватый? Давайте-ка я вам его упрощу. Держите.

Пробую — не работает.

ИИ отвечает: «Это очень странно и должно быть крайне неприятно. Если даже упрощенный код выдает „Ошибка: Range not found“, это указывает на очень специфическую проблему… Чтобы раз и навсегда решить эту проблему, давайте полностью откажемся от ссылок на ячейки и будем использовать их номера прямо в формуле». Дает решение.

Пробую — ЗАРАБОТАЛО! Но ларчик просто не открывается. Если я перекрашиваю красную ячейку в желтую — цифры не меняются. Понятно, форматирование — не значение ячейки. Возвращаюсь: ИИ, работает наполовину, мне так не нужно, что делать будем?

Он спрашивает: а давайте введем переключатели? Я могу предложить решение, но тогда для перекраски легенды вам нужно будет кликнуть на эту ячейку. Вам не затруднит, вы согласны? Снисходительный барин в моем лице соблаговоляет. Получаю новый скрипт.

Пробую — скрипт начинает работать, как мне и нужно. Задача решена. Занавес.

А теперь давайте по шагам подумаем, что произошло.

Некоторые наблюдения

У меня была конкретная задача, которую я мог описать. Что, кстати, не всегда бывает. Мне казалось, что она решается несложно, штатными средствами инструмента. Выясняем, что штатно не решается, но есть способ. Моей квалификации на использование этого способа не хватает, в обычной ситуации здесь следует поворот в тупик. Но я не новый учебник пришел читать, у меня задача висит нерешенная.
ИИ раз за разом предлагает мне разные решения и, реагируя на мое поведение, ведет со мной диалог. Не уставая. То есть я могу до предела оставаться непонимающим — и это остается его проблемой. Если бы сказал, что не умею — он бы и скриншоты меня научил делать. Мы пробуем разные способы и после каждого фиаско ИИ притаскивает мне новое решение. Чтобы найти его — он даже скриншоты у меня запрашивает.
Меня удивил пассаж: «Судя по скриншоту, проблема, скорее всего, в разделителе аргументов в формуле. В русскоязычной версии Google Таблиц в качестве разделителя используется точка с запятой (;), а не запятая (,)» Вы понимаете, какая это мелкая, даже не знаю, где описанная деталь — в каком мануале на полях или на последней странице форума разработчиков это можно почерпнуть? И можно ли не разбирающемуся человеку догадаться вообще о ее существовании? Никогда.
ИИ — сторонник красивых решений. Только перебрав всё (точнее, не всё, он бы и дальше искал, если бы я запрашивал) стандартное, он начал думать в другой парадигме: попросить промежуточной активности пользователя. Думаю, если бы я на это не согласился, он бы вернулся к поиску решений обычных.
Заметил, что надо постоянно держать в голове, какую задачу ты решаешь. Не уходить вбок, следуя предложения ИИ (хотя интересно), а постоянно возвращать его: мы решаем мою задачу. Он хорошо дисциплинируется:)

Некоторый вывод

Стал ли большим специалистом в Google Apps Script, понимал ли код, который мне давали и чем одна версия отличается от другой? Нет, этой цели у меня не было, я решал свою конкретную задачу: как перекрашивать ячейки. В обычной ситуации я либо бы бросил (99%) и результата бы не получил, либо отправился читать учебник «Азы Javascript» и через дни-недели-месяцы вернулся бы к этой задаче… Да что я вру, там появились бы новые, а эту бы я забыл, точнее, не забыл, а она бы осталась нерешенной. А тут, не имея квалификации, я могу решать нужные, но сложные задачи. Решения которых раньше не представлял.

Приступ «гопникомании»

Евгений Степанищев — Fri, 03 Oct 2025 14:05:04 +0500

Блоги: заметки с тегом ИИ

FP8 и Nvidia A100

ИИ-сериал. Пробую — не работает

Пробую — не работает

Некоторые наблюдения

Некоторый вывод

Приступ «гопникомании»

Модели BitNet

Промпты и маленькие большие языковые модели

Qwen3, T4 и разные фреймворки

GPU и охлаждение

Какая модель у меня запустится?

Ещё немного про Nvidia H100 NVL

Китайская Nvidia A100

Питание для Nvidia Tesla H100 NVL

Nvidia Tesla H100 NVL

Очеловечивание ИИ

ИИ в дипломах

Недокументированные возможности bc

ДНК-портрет китайца

Платная нейросеть ChatGPT

«Тайна Карпатского замка», 1981

Портреты предков

«Курсор»