Блоги: заметки с тегом сервер

Замена больших вложений в email на ссылку

Копытов Иван — Mon, 31 Mar 2025 11:45:17 +0500

Устанавливаем MIMEDefang:

apt update
apt install mimedefang -y

Правим файл /etc/default/mimedefang:

SOCKET=/var/spool/postfix/mimedefang/mimedefang.sock
MD_ALLOW_GROUP_ACCESS=yes

Добавляем пользователя postfix в группу defang:

usermod -aG defang postfix

Так как postfix работает в chroot-окружении, создаем папку для сокета mimedefang:

mkdir /var/spool/postfix/mimedefang

Правим /etc/postfix/main.cf:

milter_default_action = accept
milter_protocol = 6
smtpd_milters = unix:mimedefang/mimedefang.sock
non_smtpd_milters = unix:mimedefang/mimedefang.sock

Теперь нужно добавить следующее в конец функции filter в файле /etc/mail/mimedefang-filter:

# Если файл больше указанного размера, он удаляется из письма,
    # его копия остается на диске, а вместо него предоставляется ссылка, по которой его можно скачать.

    # Максимальный размер вложения (например, 10MB)
    my $MAX_ATTACHMENT_SIZE = 10 * 1024 * 1024;
    # Директория для сохранения вложений
    my $ATTACHMENTS_DIR = "/var/mail/attachments";
    # URL, по которому будут доступны вложения
    my $ATTACHMENTS_URL = "https://mail.kini24.ru/attachments";

    # Создаем директорию, если её нет
    mkdir $ATTACHMENTS_DIR unless -d $ATTACHMENTS_DIR;

    $size = (stat($entity->bodyhandle->path))[7];
    if ($size > $MAX_ATTACHMENT_SIZE) {
        md_graphdefang_log("The attached file $fname is too big, replaced with a link");
        return action_replace_with_url($entity,
            "$ATTACHMENTS_DIR",
            "$ATTACHMENTS_URL",
            "Размер вложения превысил ограничения сервера, поэтому оно было удалено.\n" .
            "Вы можете скачать его по следующей ссылке:\n\n" .
            "_URL_");
    }

В результате аыполнения функции action_replace_with_url в конец письма будет вставлен текст и ссылка для скачивания вложения, а сам файл бует сохранен в папку /var/mail/attachments. Надо, кстати, покопаться и найти как вставлять ссылку в текст самого письма. Но пока что оставим как есть.

У меня почтовый и веб-сервер находятся на разных виртуальных машинах, поэтому папку /var/mail/attachments надо сделать общей. На почтовом сервере устанавливаем пакет сервера NFS:

apt install nfs-kernel-server -y

Открываем файл /etc/exports и вписываем в конец файла что-то вроде такого:

/var/mail/attachments 192.168.1.0/24(rw,sync,no_subtree_check)

И выполняем в консоли команду:

exportfs -a

Теперь переходим на веб-сервер и выполняем следующие команды:

apt update
apt install nfs-common -y

Открываем файл /etc/fstab и дописываем в конец:

192.168.1.12:/var/mail/attachments /var/www/mail/attachments nfs4 defaults 0 0

где 192.168.1.12 — IP-адрес почтового сервера.
Дальше выполняем команды:

mkdir -p /var/www/mail/attachments
chown -R www-data:www-data /var/www/mail/attachments
mount -a

И проверяем что папка смонтировалась:

ls -l /var/www/mail/attachments

После этого все вложения, которые были удалены из писем, должны стать доступны для скачивания.

Свой сервер OTP

Копытов Иван — Sat, 10 Feb 2024 22:58:59 +0500

Копытов Иван:

Достаточно давно появилось желание завести свой сервер одноразовых паролей. Искал, не особо торопливо, как обычно. Отчасти потому, что еще немногие серверы поддерживали такой механизм аутентификации. Да и данных, которые нужно защищать было немного. Позже появились сервисы типа госуслуг, в почте стало храниться больше «чувствительных» данных, стало необходимо ограничить доступ к некоторым функциям своего сервера... В общем, причин накопилось достаточно. Про сервер OTP (One Time Password) стал вспоминать всё чаще и вот на днях мне попалась один простой, но в тоже время достаточно функциональный сервер 2FAuth.
Как пишет автор, он создал его потому, что:

Я хотел, чтобы мои учетные записи 2FA хранились в отдельной базе данных и я мог легко создавать и восстанавливать ее резервные копии.
Я ненавижу доставать свой смартфон, чтобы получить OTP, когда пользуюсь настольным компьютером.
Я люблю программировать и люблю самостоятельные решения.

Какие есть «плюсы» данного решения:

возможность регистрации новых пользователей. Кто-то отнесет ее к «минусам», я не вижу ничего плохого. Способа отключить не нашел.
Восстановление пароля от своей учетной записи, используемой для входа. Не проверял.
Возможность импорта и экспорта данных.
Возможность загрузки QR-кода из файла.
Возможность ручного ввода данных (сервис, учетная запись, секретный шифр).
Поддержка TOTP, HOTP, Steam, WebAuthn.
Загрузка логотипов. Мелочь, а приятно.
Поддержка SQLite, MariaDB, MySQL, PostgreSQL и SQL Server (внезапно).
Присутствует REST API (снова сюрприз).
Есть темная тема.

Пройдемся по «минусам»:

Отсутствует приложение для мобильных телефонов, только веб-страница.
Нет поддержки кодов, генерируемых Яндексом. То есть у вас не получится запихать в сервис OTP от Яндекса. Ну тут «на любителя».
На мой непрофессиональный взгляд слишком много файлов находится в папке.

Теперь немного скриншотов:

Уход с Domoticz на Home Assistant

Копытов Иван — Sat, 13 Jan 2024 14:36:35 +0500

Копытов Иван:

Попробую сравнить эти две системы «умного дома».
На Domoticz я «просидел» несколько лет. Эта система была хороша тем, что имела низкий порог вхождения, не требовала особых ресурсов и имела достаточно много возможностей. Что я понял спустя некоторое время:

Интерфейс достаточно жестко закреплен. Вы не можете создавать свои вкладки (разделы), только заданные разработчиками.
Нельзя сгруппировать датчики одного устройства в группу. Один датчик — одна карточка. Которые могут быть разнесены по разным разделам. Например, данные из домашней метеостанции будут присутствовать в трех разделах, между которыми нужно переключаться, чтобы получить всю информацию от нее.
Есть темы оформления, но их мало и не все работают корректно. Некоторые предъявляют требования к именам устройств, чтобы была возможность объединить их в одну карточку.
Чтобы получить данные с сайта, из операционной системы или что-то еще, выходящее за рамки протокола MQTT — придется использовать python или lua. Тут, кстати, небольшой «плюс» — скрипты хранятся в базе данных. После запуска Domoticz они выгружаются во внешние файлы. Зачем? Ладно, пусть.
База данных имеет формат SQLite. Тут свои «плюсы» и «минусы».
Группа Domoticz в Telegram, в которой я состоял, «топит» за использование «домика» в связке c Node-Red. Я не любитель установки множества программ на сервер, поэтому от последнего отказался. Что, с одной стороны, сильно меня ограничило в изменении интерфейса системы, с другой... Да ну его нафиг! Там свои ограничения.
Несмотря за заявленную несколько лет назад возможность синхронизации данных между несколькими серверами Domoticz, она так и не была реализована. Судя по некоторым данным, разработчики просто «забили» на неё.
Мне так и не удалось подключить часть устройств, типа пылесоса Xiaomi, телевизора Samsung, чайника Redmond. И, уверен, в ближайшее время, этого не будет в «домике».
Система может просто не запуститься после обновления ОС или если вы допустили ошибку с своем скрипте. Может не понравиться версия glibc, python или его библиотеки. Проверка целостности отсутствует напрочь.
«Умные» колонки вы не подключите.

Скорее всего, было что-то еще, что меня не устраивало в этой системе, но я перечислил основное. К тому же на меня порой «находит» и я начинаю экспериментировать. Поэтому качаем образ Home Assistant для KVM и начинаем пробовать что он может.

У меня много «простых» устройств, работающих по протоколу MQTT. Их пришлось прописать ручками. Копипаста с небольшими правками сильно помогла. Это был начальный этап, я еще ничего не знал. НА может обнаруживать такие устройства сама.
Пылесос, телевизор, чайник «влетели» как родные, после установки нужных дополнений.
Базу данных в формате MySQL пришлось подключать ручками. Основной формат опять же был SQLite, но для большой истории показаний он не годится. Перенес данные из Domoticz в Home Assistant (есть скрипт в интернете).
Сделал нужные мне разделы (вкладки) в интерфейсе, занес в них нужные устройства с нужными параметрами. Разница с Domoticz просто огромная.
Оповещения в Jabber, Telegram, на почту подключаются достаточно просто.
Нашел несколько групп в Telegram по этой системе. Общение между участниками идет постоянно, поэтому пришлось отключить уведомления.
Парсинг данных с сайтов вообще порадовал — достаточно указать URL, с которого будешь забирать данные и тэг, который нужно искать. Ну и номер тэга иногда.
Есть проверка ошибок конфигурации перед перезапуском. Если найдет — выдаст предупреждение. Это вообще кайф :-)
По ресурсам, конечно, более требовательна, но оно того стоит.
Хотите подключить колонку яндекса или марусю — не вопрос!

Наверное, на этом закончу. Продолжу тему в другой заметке — там уже много чего описать.

Сервисы для тестирования веб, почты и других серверов (обновляемая запись)

Копытов Иван — Fri, 20 Jan 2023 11:35:10 +0500

Копытов Иван:

Соберу, пожалуй, в одном месте список серверов для тестирования различных сервисов. Одни сервисы уходят, другие приходят, поэтому постараюсь сделать этот список обновляемым. Да и просто порой открываешь для себя новые сервисы и хочется их сохранить для использования в дальнейшем.

Почта
CheckTLS. Очень любопытный сервис проверки почты. Наблюдаем за прогрессом в реальном времени.

DKIM Core Tools. Генерация и проверка настроек DKIM.

DMARC Inspector. Проверка корректности записи DMARC.

ESMTP email. Проверка настройки MTA-STS. Это функция, призывающая удаленные серверы обмениваться почтовыми сообщениями, используя защищенное соединение.

Mail tester. Всё время «теряю» этот сервис. Отправляете письмо на указанный адрес и через некоторое время можете посмотреть отчет о прохождении письма.

MX Toolbox. Сервис проверки почтового сервера и, немножко, веб-сервера. Множество самых различных тестов. Имхо, один из самых лучших сервисов.

SSL Tools. Старый и уже позабытый мной сервис проверки SSL почтового сервера. Также есть проверка web-сервера и некоторых уязвимостей.

UptimeBot. Можно по быстрому посмотреть на каких портах поддерживается TLS/STARTTLS. А также проверить DKIM, DMARC, SPF, Whois.

Сканеры открытых портов
Сканер IPv6. Сканирует на выбор либо только указанный порт, либо все часто используемые. В первом случае можно указать использовать TCP или UDP протокол.

Jabber
Тест jabber-сервера. Проверка jabber-сервера на наличие часто используемых функций.

IPv6
Тест IPv6. Тест доступности сервера по IPv6. Краткий, но доступный для понимания проблем отчет.

IPv6 тест. Назвал так, потому что название схоже с предыдущим сервером, только поменяны местами два слова. Функционал такой же, как и у сервера выше. Также позволяет проверить скорость соединения, пропинговать сервер и показывает статистику распространения протокола по странам. Позабавило, что Россию исключили из списка, раньше она там точно была.

Черепашка. Если вы видите танцующую черепашку, то доступ к страницам, работающим по IPv6, у вас есть.

Скорость соединения
Speedtest. Всем известный ресурс проверки скорости соединения. Настолько известный, что почти все провайдеры так или иначе мухлюют при обращении клиента к этому сайту, чтобы он показал скорость выше той, что есть на самом деле.

Тест от Cloudflare. Не менее известный сервис проверки скорости соединения.

Общее
DNS Checker. Несмотря на название, это комплекс утилит для проверки почты, домена и т. д. В чем-то схож с MX Toolbox.

HSTS Preload. Сервис проверки на включение вашего сервера в список HSTS Preload. Это список серверов, при обращении к которым будет сразу использоваться HTTPS-соединение, минуя HTTP. На мой взгляд, сейчас не сильно актуально, потому все поголовно переходят на HTTPS. Там же находятся рекомендации по настройке сервера для последующего включения его в список. Если проверка прошла успешно, фон страницы станет зеленым. Эта настройка отображается в отчете SSL Labs.

Hardenize. Проверяет веб- и почтовый серверы. Выдает информацию по зоне, DNS-записям и настройкам. Среди проверяемых функций такие как: DNSSEC, CAA, MTA-STS, TLSRPT, SPF, DMARC, DANE, заголовки ответов и прочее. Выдает достаточно информативный отчет.

Immuniweb. Есть два неплохих теста: SSL и безопасности сайта. В первом проверяет настройки сервера на соответствие стандартам PCI DSS, HIPAA and NIST и Industry Best Practices. Второй проверяет GDPR Compliance, PCI DSS и заголовки ответов (куда же без них?).

internet.nl. Позволяет проверить настройки веб- и почтового серверов. Тестирует DNSSEC, IPv6, DANE, заголовки ответов и RPKI. Для меня лично новинкой стала проверка файла security.txt.

NetTools. Сборник самых различных тестов: почта, веб-сервер, сканер открытых портов, скорости соединения, NTP-сервера, DNS, FTP..

Security Headers. Проверяет заголовки ответов веб-сервера. Пройдя по ссылкам, можно попасть на блог Scott Helme и узнать как настроить тот или иной заголовок. Вообще в блоге много полезной информации. Единственный «минус» — всё на английском.

SSL Labs. Один из самых популярных сервисов тестирования веб-серверов. Проверяет сертификаты, используемые шифры, протоколы (HTTP, HTTP/2), совместимость с популярными браузерами, наличие уязвимостей и некоторых настроек (HSTS, OCSP, HPKP и другие). К сожалению, почту проверять не умеет.

Verisign анализатор. Быстрая проверка DNSSEC. Не могли что ли сделать шрифт покрупнее в отчете?

ZoneMaster. Проводит полную проверку вашего доменного имени.

Проверка STUN и TURN. Собственно весь функционал описан в названии. В случае корректной настройки STUN должен вернуть «srflx» в списке. В случае с TURN — «relay».

Тест DoH. Проверка работоспособности DNS-over-HTTPS от Cloudflare. Показывает «Yes» только в случае, если вы настроили DoH на их серверы. В противном случае стоит ориентироваться на ASN.

Тест утечки DNS. Отображает серверы, которым вы «доверяете» хранить и, возможно, использовать информацию о том, к каким серверам или сайтам вы подключаетесь.

Генераторы настроек
Генератор настроек SSL. Генератор настроек SSL от Mozilla для различных программ.

Генератор файла security.txt Удобная форма генератора security.txt.

Реклама
CheckAdBlock. Один из первых сайтов, который мне попался много лет назад, когда возникла мысль протестировать работу блокировщиков рекламы в браузере.