Жёсткая и мягкая фильтрация спама в The Bat

Тот, кто активно работает в ПланФиксе с e-mail сообщениями, рано или поздно сталкивается с попаданием в систему спама. Конечно, его можно просто удалять — но в какой-то момент понимаешь, что тратишь много лишних усилий, а прогресс, мягко говоря, отсутствует

Поэтому мы потратили квант времени и сделали простую систему, позволяющую блокировать спам, попадающий в ваш аккаунт. Конечно, это не решит всех проблем, но в распространенных случаях помогает.

Как это работает
Когда вы впервые получаете письмо от нового контакта и оно становится задачей в ПланФиксе , помимо привычных кнопок “Принять” и “Отклонить” теперь вы увидите кнопку “В спам”:

По действию она очень похожа на аналогичные кнопки в почтовых клиентах. Нажатие на нее приведет к удалению задачи, а контакт получит специальное “спамерское” обозначение вместо иконки:

Если спам пришел от контакта, с которым раньше у вас были вполне рабочие взаимоотношения (дело житейское, могли почту увести, например), получившуюся задачу можно отправить в спам в меню действий:

Работает это аналогично: задача удаляется, а ее постановщик помечается как спамер.

Обратите внимание: новые письма от такого контакта приниматься не будут, так что не злоупотребляйте отправкой в спам задач-писем, которые вам просто не нравятся. Например, если ваш вчерашний клиент решил включить ваш адрес в рассылку о своем продукте, возможно будет правильнее отписаться от этой рассылки, а не отмечать ее спамом. Вдруг он через какое-то время напишет вам о новом заказе ваших услуг и его письмо попадет под спам-обрезку.

Бывает и так, что спам приходит на e-mail адрес задачи и становится новым действием к ней. Для таких случаев мы добавили возможность отправить в спам конкретный комментарий, пришедший по почте:

Есть и прямая возможность отметить контакт спамером. В карточке контакта появился дополнительный пункт меню для таких случаев:

Как вернуть контакт к жизни
Жизнь учит, что в любом деле возможны ошибки. Если вы по ошибке отправили в спамеры хорошего человека, есть возможность это исправить. Список всех контактов, которые любой из сотрудников любым образом отправил в спам, администратор аккаунта может увидеть в Управлении аккаунтом / Работа с e-mail / Корзина спам-контактов:

Если удалить контакт из этого списка, он станет обычным контактом и вы начнете получать от него почту. При этом письма, которые были им отправлены в период пребывания в спам-листе, в ПланФикс уже не попадут.

Как еще можно бороться со спамом
Вообще, мы всем советуем не доводить дело до борьбы со спам-письмами внутри ПланФикса. Гораздо эффективнее отдать ее в руки тех, кто на этом съел не одну @ — почтовым сервисам.

Идеальным для вас будет такая схема работы с почтой в ПланФиксе:

• Входящая почта попадает на внешний ящик на одном из сервисов, обладающих качественным спам-фильтром: GMail, Mail.ru и так далее. Ну или на ваш корпоративный почтовый сервер, если там все хорошо с антиспамом.
• Там настраивается автоматическая переадресация внутрь ПланФикса — например, на виртуальный почтовый ящик , на котором удобно настроить правила обработки почты и формирования из писем задач в нужных проектах.
• Добавив настройки своей почтовой записи в ПланФикс , вы обеспечите ответ клиенту с того же внешнего ящика, на который он написал свое письмо.

Такая конструкция позволит вам получать в ПланФикс минимум спама, так как основная его часть будет отсекаться внешними спам-фильтрами почтовых систем. А остатки можно при необходимости добить и планфиксовским Антиспамом.

Ну а если ваш внутренний e-mail адрес ПланФикса попал в базу какому-то злостному спамеру и вы получаете почту напрямую на него, то есть еще одно верное средство — сменить его:

• если это ваш личный адрес, то изменить его можно, сменив логин в систему. Логин является составной частью вашего внутреннего e-mail адреса, поэтому изменив его, вы изменяете и сам адрес. Минусом такого подхода является то, что если вам на этот адрес писали не только спамеры, то после смены такие письма доходить не будут — нужно предупредить всех, с кем вы переписывались, о смене адреса.
• если это виртуальный e-mail, то его можно удалить и создать новый. Есть определенные неудобства, связанные с перенастройкой правил обработки писем, приходящих на этот адрес — но если спама действительно много, то эти неудобства не кажутся такими уж страшными.

Заключение
Я не зря добавил 1.0 к названию заметки — со временем Антиспам в ПланФиксе будет развиваться. Каждый из вас может помочь этому, оставляя комментарии под этой записью или присылая свои предложения в нашу Службу поддержки . Мы всегда слушаем то, что нам говорят — так что ваши труды не пропадут зря.

Примечание. Антиспам доступен только пользователям сторонних почтовых сервисов , например Microsoft Outlook. При этом в организации или соответствующих подразделениях нужно включить Gmail.

Пользователи Gmail могут прочитать статью о том, как . Чтобы помочь пользователям Outlook перейти на Антиспам, отправьте им шаблон специального письма: template .

Антиспам – это веб-консоль для работы с сообщениями, помещенными в карантин. В зависимости от выбранных администратором настроек здесь также можно найти и посмотреть доставленные сообщения, не попавшие в карантин.

Кроме того, в настройках Антиспама можно добавлять одобренные контакты.

Письма находятся в следующих разделах консоли:

• Спам. Здесь содержатся сообщения, которые были помечены как спам системой Gmail в течение последних 30 дней и не были доставлены или удалены пользователем. Подробные сведения можно найти ниже.
• Доставленные (если включена администратором). В этой папке находятся сообщения, которые были доставлены пользователем из сводки карантина или Антиспама в течение последних 30 дней. Подробно об управлении доставленными сообщениями рассказано ниже.
• Корзина. Здесь находятся сообщения, которые были удалены пользователем из Антиспама в течение последних 30 дней. Подробнее от управлениями сообщениями в корзине рассказано ниже.

Чтобы открыть список сообщений в нужной папке ("Спам", "Доставленные" или "Корзина"), нажмите на ее название в левой части экрана.

В верхней части любой страницы списка есть два элемента управления:

• Чтобы выбрать все сообщения в списке, установите флажок слева от кнопки Удалить/Удалить навсегда .
• Перемещаться по страницам списка можно с помощью стрелок в правом верхнем углу экрана.

В режиме списка можно также выполнять поиск писем и задавать настройки Антиспама.

Примечание. Почта хранится в Антиспаме не более 30 дней. Однако письма из папки "Доставленные" всегда доступны в стороннем почтовом сервисе.

Чтобы войти в Антиспам, откройте страницу https://email-quarantine.google.com/messagecenter и введите учетные данные аккаунта G Suite. Обычно они совпадают с учетными данными в сервисах Postini. Если у вас нет этих данных, обратитесь к администратору.

Просматривая почту в консоли, вы можете переместить письма, ошибочно помеченные как спам, в почтовый ящик. В результате система начнет эффективнее распознавать похожие сообщения.

Чтобы посмотреть сообщения, помеченные как спам:

1. Откройте Антиспам и нажмите Спам в левой части экрана.
2. Выполните нужное действие:
   • Чтобы переместить сообщения в почтовый ящик, установите флажки рядом с ними и нажмите Не спам (доставить) . Сообщения появятся в разделе Доставленные в Антиспаме.
   • Чтобы удалить сообщения из системы, установите флажки рядом с ними и нажмите Удалить навсегда
   • Чтобы полностью очистить папку "Спам", нажмите Удалить весь спам . При этом сообщения не перемещаются в корзину.
   • Чтобы открыть сообщение, нажмите на него. В этом режиме можно доставить или удалить сообщение, а также просто вернуться к списку.

Примечание. В режиме просмотра сообщения можно увидеть названия и размеры всех прикрепленных к нему файлов, но сами файлы при этом будут удалены.

Просматривая доставленную почту в Антиспаме, вы можете найти письма, которые считаете спамом, и переместить их в соответствующую папку. Благодаря этому в дальнейшем система сможет определять похожие сообщения как нежелательные.

Примечание. Список доставленных писем в Антиспаме доступен только в том случае, если администратор включил эту функцию.

Чтобы посмотреть сообщения в почтовом ящике.

Инструкция

Для того чтобы найти папку со спамом, зайдите в раздел с соответствующим названием в меню сайта вашего почтового сервера или клиента, который вы используете для обмена электронными письмами. Если вы не авторизованы, введите данные логина и пароля для входа в меню вашего почтового ящика, после этого перейдите к списку сообщений. Скорее всего, в данном меню будет несколько пунктов: входящие, исходящие, сомнительные/спам, черновики и корзина. Перейдите к соответствующему пункту и упорядочите корреспонденцию в папке согласно имеющимся в меню фильтрам для более быстрого поиска нужного письма среди них.

Если вам нужно найти папку со спамом в почтовом клиенте, поступите аналогично: авторизуйтесь и перейдите к списку сомнительных писем, после чего упорядочите их для более быстрого поиска. Обратите внимание, что не все почтовые клиенты имеют данный пункт меню, если вашей программой его не предусмотрено, воспользуйтесь инструкцией, написанной в предыдущем пункте.

Также заметьте, что спам может фильтроваться сначала на почтовом сервере, после чего он попадает в фильтр используемого вами клиента, где он доходит до вас уже согласно заданным вами параметрам, поэтому лучше всего проверяйте папку со спамом на почтовом сервере.

В случае, если вы хотите просмотреть сообщения со спамом в социальной сети «Вконтакте», авторизуйтесь на ее сайте и перейдите в меню входящих сообщений. Переключитесь из диалогового режима в обычный, после чего откройте список с названием «Спам ». Там будут находиться сообщения, отмеченные вами или автоматически определенные в данном качестве системой безопасности социальной сети.

Если вы хотите очистить папку со спамом, перейдите к меню сообщений в ней и выделите все сообщения на странице при помощи отметки галочкой. Выберите пункт «Удалить сообщения», после чего весь спам будет удален.

Полезный совет

Настраивайте фильтр для спама самостоятельно.

Рассылка приходит на электронную почту в огромном количестве и пользователю Интернета необходимо знать, как отличить спам от нужных писем. Существует несколько подсказок, по которым стоит определять, что перед человеком: важный документ или ловушка мошенников.

Инструкция

Если письмо приходит с незнакомого адреса, независимо от того, обращаются к вам по имени или нет, стоит задуматься. Порой располагают исчерпывающей информацией о , вплоть до суммы кредита, поэтому нет ничего удивительного, что угадывают фамилию. Не знаете адрес отправителя – не доверяйте ему.

Бывает, что подруга жалуется на то, что хочет сделать в интернет- , но не знает, стоит ли ему доверять. Она отправляет электронный адрес, чтобы вы смогли выразить свое мнение, и вы с удовольствием листаете . Во избежание проблем, лучше и уточнить, действительно ли запрос был написан рукой . Порой совершенно незнакомый рассказывает, что ему одиноко, и он хотел бы с вами познакомиться. Не верьте. Не только вы получаете подобные письма и не все здесь так просто, как кажется.

" накопился определённый опыт эксплуатации в реальных условиях описанных там антиспамных фильтров, что заставило меня вновь уткнуться в компьютер и обобщить сильные и слабые стороны предложенной в этой статье системы фильтров, а также внести в схему построения фильтров некоторые усовершенствования.

Большое спасибо всем читателям, которые откликнулись на данную статью и написали мне все свои замечания, просьбы и предложения. Ставя точку в той статье, я и не планировал писать продолжение, наивно полагая, что всё и так хорошо и будет идеально работать. Именно вопросы, возникшие при использовании фильтров в The Bat! и выявленные в результате моего личного опыта и общения по мылу с читателями, послужили стимулом к написанию продолжения.

Вся прелесть этих фильтров состоит в их полном автоматизме: нажал на кнопку "Получить новую почту" и отдыхай, пока Бат не сделает всё сам. Никаких напрягов - не надо до опупения всматриваться в заголовки сообщений и искать в них знакомые и незнакомые адреса, не надо вчитываться в темы, не надо читать всякий рекламный вздор, не надо его вручную разгребать и перетаскивать в корзину...

Вместе с тем, система фильтров, описанная в старой статье, не достаточно гибка. Принцип фильтрации основан на методе белого списка. Белый список - это вся адресная книга. Письма, пришедшие от "знакомых" адресатов (т.е. из адресной книги) пропускаются, а от незнакомых - удаляются. Последним рассылаются уведомления с предложением набрать в теме письма ключевое слово (цифровой код). Входящие сообщения с этим кодом в теме тоже проходят через фильтры.

Какие же минусы у данной схемы?

Во-первых: из 100 спаммеров всегда найдётся 1, у которого реальный обратный адрес. Поэтому вполне вероятно, что спаммер наберёт Ваш код и его письмо дойдёт до Вас. Лично у меня было несколько таких случаев. Не менять же код ради нескольких спаммеров! Здесь сразу же напрашивается идея прикрутить чёрный список, куда можно было бы засунуть адреса прорвавшихся спаммеров.

Во-вторых: при большом количестве спама некоторые читатели отметили возросший исходящий трафик, состоящий из уведомлений. Если в почтовом ящике на сервере лежит 20 сообщений от неизвестных адресатов, то им будет отослано ровно 20 уведомлений.

Конечно, за всё надо платить. Полный автоматизм, абсолютная чистота почтового ящика и экономия Вашего личного времени оплачиваются незначительным увеличением исходящего трафика. Этой отмазкой можно было бы ограничиться, но нельзя не отметить, что систему фильтров можно сделать более гибкой, значительно снижающей входящий и исходящий трафики. А трафик - это время и килобайты, и, в конце концов, деньги, которые нужно отдавать провайдеру. И ведь далеко не все сидят на толстых и бесплатных каналах связи!

В-третьих: в старой конструкции слабо задействована фильтрация по заголовку письма, кроме фильтра № 1 "Спам по заголовку", который удаляет сообщения, адресованные не Вам, сообщения с Вашего адреса и сообщения без адреса отправителя. Полномасштабный формальный анализ позволяет удалить 40-80% откровенного спама без рассылки уведомлений и при практически нулевом трафике. Выйдя на работу после отпуска, я обнаружил в ящике 304 письма (около 8Мб). С помощью чистильщика на основе формальных признаков было выделено и удалено 252 сообщения (83%)!

А если спам идёт с одного и того же адреса? Было бы неплохо запоминать адреса отправителей, чтобы не посылать многократно уведомления одному и тому же адресату, возможно несуществующему. В последнем случае (если адрес не существует), почтовые серверы разразятся руганью и возвратят Вам диагностические сообщения [email protected], сообщающие о несуществующем адресе или об ошибке DNS. Поэтому при отсутствии истории отправителей, придётся платить не только за лишний исходящий трафик на тупую рассылку уведомлений одним и тем же несуществующим адресатам, но и за обратный входящий трафик для обработки сообщений типа [email protected].

В-четвёртых: схема, описанная в статье "Убийство спама в The Bat!", требует от получившего уведомление вручную добавлять код в тему письма, а отправителю письма обязательно нужно заносить адрес человека, которому он пишет впервые, в адресную книгу. Иначе возможна ситуация, когда два юзера, имеющие жёсткую систему фильтров, будут бесконечно обмениваться уведомлениями (так называемый email-пинг-понг). Вы написали мне письмо и забыли занести мой адрес в адресную книгу, мой фильтр послал Вам уведомление, а в ответ на моё уведомление Ваш фильтр послал мне уведомление и так до бесконечности. Правда, этим же недостатком грешат и специальные антиспамные проги, типа WinAntispam, имеющие такую же жёсткую схему фильтрации, основанную на белых/чёрных списках и уведомлениях.

В-пятых: письма от незнакомых отправителей в старой схеме полностью удалялись, хотя предварительно скачивались на компьютер пользователя (для обработки фильтром "От неизвестного адресата"). Разумнее всё-таки некоторое время (например, 30 дней) хранить их в корзине, раз уж они скачиваются, чтобы не заставлять незнакомого адресата повторно отправлять письмо.

Таким образом, появилась потребность усовершенствовать старую конструкцию фильтров. Новая схема - это та же старая схема + чёрные списки + фильтрация по заголовку до скачивания письма. Чёрные списки - это текстовый файл "spam.txt" и спец. группы в адресной книге, где накапливаются адреса от незнакомых отправителей, не набравших Ваш код в теме письма, либо адреса спаммеров, набравших проходной код. Если от этой категории отправителей продолжают идти письма, то повторные сообщения удаляются уже без посылки уведомления, что не было реализовано в старой системе фильтров.

Конструкция фильтров, основанная на методе белых-чёрных списков с подтверждением переписки для нового адресата, является очень эффективным оружием конечного пользователя. Как и всякая схема защиты, она имеет свои плюсы и минусы. Плюсы - высокая эффективность, экономичность, полный автоматизм. Минусы - достаточно сложная, трудоёмкая в настройке, требует подтверждений для новых контактов.

Она предназначена, в первую очередь для домашних пользователей, которые имеют достаточно стабильный круг знакомств с небольшим приростом новых переписчиков, для которых новые контакты не являются критически важными.

Однако жёсткая система фильтров не подходит для служебного использования, когда высока вероятность новых контактов, и не всегда допустимо требовать подтверждений, например, любой фирме, ожидающей новых клиентов. В этом случае можно воспользоваться сокращённым набором фильтров (смотрите раздел "Мягкая система фильтров " в конце статьи). В "мягкой" схеме отключен режим подтверждения переписки ценой пропуска некоторого количества спама.

Описанная ниже система фильтров было разработана и успешно испытана для версии The Bat! не ниже 1.62.

Жёсткая система фильтров
Новая конструкция состоит из 2 групп фильтров. Первая группа в сортировщике The Bat! входит в правило "Входящая почта". Фильтры первой группы пропускают письма от знакомых адресатов и с заданным кодом в теме, удаляют сообщения от незнакомых адресатов, рассылают им уведомления и ведут чёрные списки спаммеров.

Вторая группа фильтров входит в правило сортировки "Выборочное скачивание" и осуществляет фильтрацию на основе полей заголовка письма RFC-822. Для срабатывания фильтров этой группы с сервера скачиваются только заголовки писем.

Особенностью сортировщика The Bat! является то, что первым срабатывает правило сортировки "Выборочное скачивание" (хотя оно в сортировщике стоит последним), а затем - "Входящая почта". Это противоречие связано с тем, что правило "Выборочное скачивание" появилось в более поздних версиях (раньше его не было), т.е. было прикручено к сортировщику. Сначала Бат скачивает с сервера заголовки писем, обрабатывает их фильтрами "Выборочное скачивание" (письма, удовлетворяющие условиям фильтрации, либо удаляются с сервера, либо исключаются из списка загрузки, т.е. остаются на сервере). Затем оставшиеся в списке сообщения скачиваются с сервера, после чего обрабатываются фильтрами "Входящая почта". Так и хочется здесь воскликнуть: "Господа, это не глюк программы, это её свойство!". Вот почему фильтры этой группы очень существенно экономят входящий трафик. Чем больше хлама (спама) мы предварительно убьём на сервере (в "Выборочном скачивании"), тем меньше потом придётся качать и обрабатывать во "Входящей почте". Правило сортировки "Выборочное скачивание" в старой статье вообще не было задействовано, тем не менее, схема успешно работала.

Наконец, мы подошли к описанию сути новой конструкции фильтров.

Создадим в адресной книге 3 группы адресов (открываем адресную книгу: меню [Инструменты / Адресная книга]; выделяем "Personal address book"; меню [Правка / Создать новую группу:]). Назовём их, например, так:

Отстойник
_Сортир
_Шлюз

Символ "_" перед каждым названием стоит только для того, чтобы все три группы были рядом друг с другом в адресной книге, а не разбросаны в алфавитном порядке среди других групп.

В "_Отстойник" будут кидаться адреса писем от незнакомых отправителей, т.е. от тех, кто написал в первый раз. В результате в этой группе накопится большое кол-во спам-email-адресов, на 100% не существующих. Периодически (раз в год - в полгода) сюда нужно заходить, чтобы вычистить авгиевы конюшни:-).

В группу "_Шлюз" из "_Отстойника" будут автоматически перемещены те адресаты, кто введёт заданный нами код в теме письма. Если адрес находится в "_Шлюзе", то письма с него будут проходить на наш компьютер. Чтобы адресат стал доверенным, его адрес нужно из "_Шлюза" вручную перетащить в любую группу (кроме этих трёх) или в корень "Personal address book". В идеале папка "_Шлюз" должна быть пустая, т.к. там только временно хранятся адресаты, которые станут либо друзьями, либо врагами (спаммерами).

Группа "_Сортир" - это чёрный список спаммеров. В _Сортир мы вручную или с помощью спец. фильтра из _ Шлюза переносим адреса прорвавшихся спаммеров, т.е. тех, которые набрали наш код. Если спаммер попал в _Сортир, пусть он хоть до потери пульса пишет нам письма - они будут методично удаляться, не смотря на набранный код.

Таким образом, при скачивании почты всё происходит автоматически. Как только Вы получили новое письмо от незнакомца с Вашим кодом в теме, зайдите в адресную книгу и из "_Шлюза" перетащите его либо в группу друзей, либо в "_Сортир" на вечный покой. И раз в год в "_Отстойнике" грохните все мёртвые адреса, ежели не жалко:-). Вот и все дела:-))).

Общая схема фильтров будет выглядеть так:

1. На сервере правилом удаляются следующие сообщения:
   • без адреса отправителя в поле "From:";
   • с моим адресом в поле "From:" (от меня);
   • если в поле "To:" не мой адрес (не мне);
   • если в заголовке письма отсутствуют некоторые поля;
   • для некоторых очень характерных для спама случаев (паранойя);
   • для адресатов из стоп-листа.
2. Далее оставшиеся письма скачиваются на Ваш компьютер и обрабатываются правилом.
3. Принимаем все письма от известных адресатов.
4. Обрабатываем диагностические сообщения MAILER-DAEMON.
5. Пропускаем все письма, в теме которых стоит наш код (кроме адресатов из _Сортира), а отправителей перемещаем из _Отстойника в _Шлюз.
6. Удаляем в корзину спам от отправителей из _Отстойника и _Сортира.
7. Обрабатываем письма от неизвестных адресатов:
   • перемещаем письма от них в корзину и храним там 30 дней;
   • помещаем их адреса в "_Отстойник";
   • рассылаем им уведомления с предложением ввести код в тему нового письма или автоответить на уведомление с уже введённым кодом.
8. Удаляем отосланные уведомления.

Если некто (возможно полезный отправитель) не позднее 30 дней автоответит на наше уведомление, то его письмо по теме и дате отправления можно найти в корзине. Если это спаммер, выделяем его письмо и нажимаем заветную комбинацию клавиш - это письмо удаляется, а его адрес перемещается в _Сортир и в стоп-лист (файл spam.txt). Письма от адресатов, попавших в стоп-лист уничтожаются прямо на почтовом сервере и не скачиваются на наш компьютер.

Более наглядно новую конструкцию фильтров можно представить в виде таблицы:

Обработка входящей почты
Пусть Ваш email-адрес, как в старой статье, будет [email protected] .

Если у Вас старая система фильтров, то фильтр № 1, который раньше назывался "Спам по заголовку" удалим. В новой схеме его заменят правила фильтрации по формальным признакам (правило "Выборочное скачивание", см. далее).

Теперь фильтром № 1 будет стандартное правило сортировщика (известные адресаты). Оно работает так: если к Вам пришло письмо, адрес отправителя которого находится в указанных Вами группах адресной книги, то это письмо пропускается на Ваш компьютер и по умолчанию кладётся в спец. папку [Входящие - Известные адресаты].

В принципе правило не нужно. Всё будет работать и без него. Но я считаю, что включить его надо для надёжности, чтобы гарантированно пропускать знакомых адресатов, так как система фильтров достаточно сложная и в случае ошибки в каком-нибудь фильтре дополнительная избыточность (в смысле надёжности) не помешает.

Фильтр № 1

1. Выделяем ящик [email protected]
2. Разворачиваем [+] правило сортировки [Входящая почта]
3. Выделяем правило
4. Вкладка [Известные адресаты]
5. Переместить письмо от известных адресатов в папку (кнопка [Выбор папки])
   [Входящие]
6. Искать в адресных книгах:
   • ставим галки напротив всех групп, кроме "_Отстойник", "_Шлюз" и "_Сортир"
7. [√] Правило активно
8. [√] Продолжать обработку последующих правил

Фильтр № 1 пропускает на Ваш компьютер письма от знакомых адресатов из всех отмеченных групп, кроме групп "_Отстойник", "_Шлюз" и "_Сортир". Более мягкий вариант, если в пункте 7 напротив "_Шлюза" поставить галку, тогда отправитель, один раз набрав код в теме письма, станет доверенным адресатом. При отсутствии галки - адресату из "_Шлюза" нужно каждый раз набирать код.

В пункте 6 нужно обязательно выбрать папку [Входящие] вместо стоящей по умолчанию [Входящие - Известные адресаты], если письма в дальнейшем нужно раскладывать с помощью других фильтров по папкам, иначе все письма от знакомых будут валиться во [Входящие - Известные адресаты], а нижестоящие фильтры будут игнорироваться.

Фильтр № 2 обрабатывает диагностическое сообщение MAILER-DAEMON: извлекает из него адрес несуществующего адресата и записывает этот адрес адрес в стоп-лист.

Фильтр № 2

1. Выделяем ящик [email protected]
2. Меню [Ящик / Настройка сортировщика писем]
3. Кнопка [Создать]
4. Вкладка [Правила]
5. Название фильтра "MAILER-DAEMON "
6. Переместить письмо в папку
   [Корзина]
7. Сигнальные строки:
8. Вкладка [Альтернативы]
9. Кнопка [Добавить набор]
10. Кнопка [Добавить набор]
11. Вкладка [Действия]
12. 
    C:\spam.txt
    Формат [Текст]
13. 
    
14. Кнопка [Закрыть] - закрывает сортировщик и сохраняет введённый фильтр.

Сами плюшки MAILER-DAEMON в этом фильтре перемещаются в корзину, но, если надо, можно изменить для них папку назначения и создать специальную.

Не исключено, что данный фильтр вообще никогда не сработает:-), т.к. сообщения MAILER-DAEMON по каким-либо формальным признакам будут удалены ещё раньше при "Выборочном скачивании" (см. далее "Обработка почты на сервере", фильтр № 12).

Фильтр № 3 пропускает письма отправителей с заданным нами кодом в теме (например, 456123), кроме тех, которые уже попали в группу "_Сортир". Раньше в старой схеме этого фильтра не было. Зачем же он нужен? Именно этот фильтр перемещает адрес отправителя, набравшего код в теме, из _Отстойника в _Шлюз, откуда мы впоследствии с помощью фильтра или вручную перенесём его либо в группу друзей, либо в группу спаммеров "_Сортир".

Фильтр № 3

1. Выделяем ящик [email protected]
2. Меню [Ящик / Настройка сортировщика писем]
3. Выделяем правило сортировки [Входящая почта]
4. Кнопка [Создать]
5. Вкладка [Правила]
6. Название фильтра "Пропуск по ключу "
7. Переместить письмо в папку
   [Входящие]
8. Сигнальные строки:
9. Вкладка [Действия]
10. [√] Добавить адрес(а) в адресную книгу Элементы: [Отправитель (От)] Добавить в группы: [_Шлюз]
11. [√] Удалить адрес(а) из адресной книги: Элементы: [Отправитель (От)]
    • Из групп:[_Отстойник]
12. Вкладка [Дополнительно]
13. [√] Адрес должен присутствовать в адресной книге: Элементы: [Отправитель] [√] Адрес должен принадлежать группам: [_Отстойник+_Шлюз]
14. [√] Адрес должен отсутствовать в адресной книге: Элементы: [Отправитель] [√] Проверять только следующие группы: [_Сортир]
15. Остальные пункты оставляем по умолчанию
16. Кнопка [Закрыть] - закрывает сортировщик и сохраняет введённый фильтр

Следующие два фильтра № 4 и 5 удаляют спам от отправителей из _Отстойника и _Сортира. Два фильтра понадобились потому, что повторные письма от адресатов из _Отстойника накапливаются в корзине, а их адреса не заносятся в стоп-лист, иначе они заблокируются на сервере, а письма от людей из _Сортира (они же из стоп-листа) уничтожаются непосредственно на сервере. Стоп-лист - это текстовый файл "spam.txt", который в нашем примере находится на диске C:\, хотя его можно положить на любой диск в любую папку. Такая схема выглядит несколько избыточной: группа _Сортир в адресной книге дублирует стоп-лист в файле "spam.txt". Если отказаться от этого файла, то нельзя будет удалять сообщения на сервере правилом "Выборочное скачивание". Тогда, может быть, обойтись только стоп-листом без _Сортира? Конечно можно, но при случайном удалении spam.txt, последний автоматически восстанавливается благодаря _Сортиру.

Фильтр № 4

1. Выделяем ящик [email protected]
2. Меню [Ящик / Настройка сортировщика писем]
3. Выделяем правило сортировки [Входящая почта]
4. Кнопка [Создать]
5. Вкладка [Правила]
6. Название фильтра "Спам-отстой "
7. Переместить письмо в папку
   [Корзина]
8. Вкладка [Действия]
9. [√] Пометить письмо как прочитанное
10. Вкладка [Дополнительно]
11. [√] Адрес должен присутствовать в адресной книге Элементы: [Отправитель] [√] Адрес должен принадлежать группам: [_Отстойник]
12. Остальные пункты оставляем по умолчанию
13. Кнопка [Закрыть] - закрывает сортировщик и сохраняет введённый фильтр

Фильтр № 5

1. Выделяем ящик [email protected]
2. Меню [Ящик / Настройка сортировщика писем]
3. Выделяем правило сортировки [Входящая почта]
4. Кнопка [Создать]
5. Вкладка [Правила]
6. Название фильтра "Спам-сортир "
7. Переместить письмо в папку
   [Корзина]
8. Вкладка [Действия]
9. [√] Удалить письмо
10. [√] Экспортировать письмо в файл
    C:\spam.txt
    Формат [Текст]
    • Добавить к существующему файлу
11. Кнопка [Шаблон] - вставляем в редакторе шаблонов текст:
    %REGEXPTEXT="\w+[-\w]*@\w+[-\w\.]+\w{2,4}" %Cursor
12. Кнопка - сохраняем шаблон и возвращаемся в сортировщик писем
13. Вкладка [Дополнительно]
14. [√] Адрес должен присутствовать в адресной книге Элементы: [Отправитель] [√] Адрес должен принадлежать группам: [_Сортир]
15. Остальные пункты оставляем по умолчанию
16. Кнопка [Закрыть] - закрывает сортировщик и сохраняет введённый фильтр

В _Отстойнике будут накапливаться одноразовые несуществующие адреса спам-сообщений, поэтому раз в год полезно очищать _Отстойник от мусорных адресов.

Фильтр № 6 обрабатывает письма от незнакомцев: перемещает их в корзину, рассылает им уведомления и помещает их адреса в _Отстойник. В уведомлении неизвестному адресату предлагается либо автоответить этим уведомлением (с уже введённым кодом), либо написать новое письмо с этим же кодом в теме. Если незнакомец авотоответит уведомлением, то его старое письмо уже лежит в нашей корзине, мы просто его там найдём по дате отправления и теме, указанными в вернувшемся уведомлении.

В нашем примере используется цифровой код 456123. Можно задать код английскими буквами, но не русскими, чтобы избежать проблем с кодировками кириллицы.

Фильтр № 6

1. Выделяем ящик [email protected]
2. Меню [Ящик / Настройка сортировщика писем]
3. Выделяем правило сортировки [Входящая почта]
4. Кнопка [Создать]
5. Вкладка [Правила]
6. Название фильтра "От неизвестного адресата "
7. Переместить письмо в папку
   [Корзина]
8. Сигнальные строки:
9. Вкладка [Действия]
10. [√] Пометить письмо как прочитанное
11. [√] Добавить адрес(а) в адресную книгу Элементы: [Отправитель От] Добавить в группы: [_Отстойник]
12. [√] Отправить автоответ
13. Кнопка [Шаблон] - вставляем в редакторе шаблонов текст:
    Уважаемый отправитель письма %OFROMNAME! Вы написали %ODATE в %OTIMELONG с адреса %OFROMADDR на адрес %OTOADDR. Ваше сообщение было автоматически удалено фильтрами от спама и в течение 30 дней будет храниться в корзине моей почтовой программы. Исходное сообщение: ====================================================================== От: %OFROMNAME <%OFROMADDR> Кому: %OTONAME <%OTOADDR> Отправлено: %ODATESHORT %OTIMELONG Тема: %OSUBJ ====================================================================== Если Вы хотите, чтобы я: а) прочитал Ваше письмо, ответьте этим письмом. б) получил от Вас новое письмо, добавьте в его тему число 456123. Приношу извинения за доставленное неудобство при первом контакте. С наилучшими пожеланиями - автоответчик %FROMADDR %SUBJECT="%OSUBJ 456123" %ATTACHFILE="C:\message.msg"
14. Кнопка - сохраняем шаблон и возвращаемся в сортировщик писем
15. Экспортировать письмо в файл
    C:\message.msg
    Формат
16. Вкладка [Свойства]
17. Отправка созданных писем:
    • немедленная
18. Вкладка [Дополнительно]
19. [√] Адрес должен отсутствовать в адресной книге Элементы: [Отправитель]
20. Остальные пункты оставляем по умолчанию
21. Кнопка [Закрыть] - закрывает сортировщик и сохраняет введённый фильтр

К уведомлению прикрепляется файл исходного сообщения, что может увеличить исходящий трафик. В принципе это нужно только для юзера-отправителя, не являющегося спаммером, чтобы выслать ему оригинал его письма. Если это кажется Вам излишним, тогда уберите из шаблона последнюю строку:

%ATTACHFILE="C:\message.msg"

и пункт 15 из фильтра № 6.

Итак, фильтр № 6 "От неизвестного адресата" переместит письмо от незнакомца в корзину, где оно должно пролежать какой-то срок, например 30 дней, чтобы либо дождаться автоответа от юзера и быть прочитанным, либо через 30 дней сгинуть в небытиё.

Чтобы корзина могла подчищать себя от старых писем месячной давности, нажмём на неё правой кнопкой мыши и в свойствах укажем:

1. [√] Срок хранения писем (дней)
2. [√] Удалить старые письма

Обработка отправленных и прочитанных писем
Здесь, в основном, сосредоточены обслуживающие фильтры, без которых, однако, очень трудно обойтись. Фильтр № 7 удаляет уведомления, которые мы разослали неизвестным адресатам. Оригиналы писем от незнакомцев пролежат в корзине 30 дней, а сами уведомления нам не нужны, т.к. они только захламят папку "Отправленные" или корзину.

Фильтр № 7

1. Выделяем ящик [email protected]
2. Меню [Ящик / Настройка сортировщика писем]
3. Выделяем правило сортировки [Отправленные письма]
4. Кнопка [Создать]
5. Вкладка [Правила]
6. Название фильтра "Удаление извещения неизвестному адресату "
7. Переместить письмо в папку:
   [Корзина]
8. Сигнальные строки:
   

   Если все эти признаки будут найдены в отправленном письме, то это письмо и есть уведомление неизвестному адресату, именно оно удаляется после отправки за ненадобностью.

9. Вкладка [Действия]
10. [√] Удалить письмо
11. Остальные пункты оставляем по умолчанию
12. Кнопка [Закрыть] - закрывает сортировщик и сохраняет введённый фильтр

Представим себе ситуацию, когда найдётся несколько спаммеров, имеющие реальный обратный адрес, которые наберут наш код в теме своего очередного рекламного сообщения. Не менять же нам код ради нескольких выскочек! Я, например, вообще не собираюсь менять код, который установил полгода назад. Просто нужно переместить их адреса из _Шлюза в _Сортир и в стоп-лист, а присланное спам-сообщение выбросить в корзину. А ещё лучше завести специальный фильтр № 8 "Обработка спама", который всё сделает сам.

Фильтр № 8.

1. Выделяем ящик [email protected]
2. Меню [Ящик / Настройка сортировщика писем]
3. Выделяем правило сортировки [Прочитанные письма]
4. Кнопка [Создать]
5. Вкладка [Правила]
6. Название фильтра "Обработка спама "
7. Переместить письмо в папку:
   [Корзина]
8. Правило
   [√] Активно
   [√] Ручное
9. Вкладка [Действия]
10. [√] Пометить письмо как прочитанное
11. [√] Добавить адрес(а) в адресную книгу Элементы: [Отправитель От] Добавить в группы: [_Сортир]
12. [√] Удалить адреса из адресной книги: Элементы: [Отправитель (От)]
    • Из групп:[_Отстойник+_Шлюз]
13. [√] Экспортировать письмо в файл
    C:\spam.txt
    Формат [Текст]
    • Добавить к существующему файлу
14. Кнопка [Шаблон] - вставляем в редакторе шаблонов текст:
    %OFROMADDR %Cursor
15. Кнопка - сохраняем шаблон и возвращаемся в сортировщик писем
16. Вкладка [Свойства]
17. [√] Применить правило к выбранному письму при нажатии:
    [ Ctrl + Ё ] [√] Это правило исполняется только при нажатии
18. Остальные пункты оставляем по умолчанию
19. Кнопка [Закрыть] - закрывает сортировщик и сохраняет введённый фильтр

Теперь всё просто - выделяем письмо "прорвавшегося" спаммера и Ctrl+Ё его:)))

Обработка почты на сервере
Это примерно от 40 до 80% входящего почтового трафика. Совсем не хило, если прямо на сервере в почтовом ящике испаряется такое количество спама. А всё дело в том, что есть стандарт RFC-822, который определяет, какие поля обязательно должны присутствовать в заголовке почтового сообщения. И все почтовые клиенты и web-службы соблюдают этот стандарт. Так, например, в заголовке письма должны быть поля "Date:" (дата и время создания письма), "From:" (от кого), "To:" (кому), "Subject:" (тема),"Message-ID:" (идентификатор сообщения) и необязательные с префиксом "X-": X-Mailer (почтовый клиент) и др. В полях From и To должны быть email-адреса вида "[email protected]", причём в поле To - ваш адрес.

Спаммерским роботам эти правила по барабану. Они могут записать туда что угодно или вообще проигнорировать эти поля. Вот по их глупости не следовать стандарту и можно отличить спам от обычного письма.

Увидеть заголовок письма в The Bat! можно, нажав меню [Вид / Показывать заголовки (RFC-822)].

Для обработки почты на сервере в Бате используется правило сортировки "Выборочное скачивание". Вся прелесть этого правила состоит в том, что оно срабатывает первым, и удаляет письма без скачивания непосредственно на сервере.

Сначала на компьютер пользователя скачивается список заголовков писем, лежащих на сервере. Фильтрация осуществляется на основе наличия или отсутствия полей или какого-то текста в этик полях заголовка письма, в результате чего можно определить, какие письма являются 100% спамом. Затем все нежелательные сообщения удаляются с сервера, а оставшиеся скачиваются на машину пользователя и передаются для дальнейшей обработки фильтрам правила "Входящая почта".

Фильтр № 9 удалит письма, у которых в поле From отсутствует email-адрес. Как известно, email-адрес должен обязательно содержать символы "@" и ". " (точку). Если эти символы отсутствуют, значит в поле From нет email-адреса.

Фильтр № 9

1. Выделяем ящик [email protected]
2. Меню [Ящик / Настройка сортировщика писем]
3. Кнопка [Создать]
4. Вкладка [Правила]
5. Название фильтра "Без отправителя "
6. Определять по
   • Отправителю
7. Сигнальные строки
   @
   .
8. Правило
   [√] Активно
9. Вкладка [Дополнительно]
10. Действие
    • Удалить
11. Метод определения
12. Остальные пункты оставляем по умолчанию
13. Кнопка [Закрыть] - закрывает сортировщик и сохраняет введённый фильтр

Следующий фильтр удалит письма, у которых в поле From стоит Ваш адрес. Это излюбленный приём спаммеров, имитировать Вас в качестве отправителя письма Вам же. Писать самому себе с точки зрения пользователя бессмысленно, кроме случая тестирования своего собственного ящика.

Фильтр № 10

1. Выделяем ящик [email protected]
2. Меню [Ящик / Настройка сортировщика писем]
3. Выделяем правило сортировки [Выборочное скачивание]
4. Кнопка [Создать]
5. Вкладка [Правила]
6. Название фильтра "От меня "
7. Определять по
   • Отправителю
8. Сигнальные строки
   [email protected]
9. Правило
   [√] Активно
10. Вкладка [Дополнительно]
11. Действие
    • Удалить
12. Метод определения
    • Любая строка найдена
13. Остальные пункты оставляем по умолчанию
14. Кнопка [Закрыть] - закрывает сортировщик и сохраняет введённый фильтр

Ещё один любимый спаммерский приём - в поле To (кому) ставить любой вымышленный, но не Ваш адрес. Такие письма отсечёт фильтр № 11 "Не мне".

Фильтр № 11

1. Выделяем ящик [email protected]
2. Меню [Ящик / Настройка сортировщика писем]
3. Выделяем правило сортировки [Выборочное скачивание]
4. Кнопка [Создать]
5. Вкладка [Правила]
6. Название фильтра "Не мне "
7. Определять по
   • Получателю
8. Сигнальные строки
   [email protected]
9. Правило
   [√] Активно
10. Вкладка [Дополнительно]
11. Действие
    • Удалить
12. Метод определения
    • Ни одна из строк не должна быть найдена
13. Остальные пункты оставляем по умолчанию
14. Кнопка [Закрыть] - закрывает сортировщик и сохраняет введённый фильтр

Здесь следует отметить, что если Ваш ящик [email protected] используется для сбора почты с других адресов, то в фильтре № 11 в сигнальных строках (п. 8) нужно перечислить все адреса, с которых осуществляется пересылка на Ваш ящик.

Следующий фильтр удалит письма, не соответствующие стандарту RFC-822 и не содержащие одно из обязательных полей в заголовке письма (From, To, Subject, Date, Message-ID), а при жёстком подходе и некоторых необязательных полей (X-Mailer и др.).

Фильтр № 12

1. Выделяем ящик [email protected]
2. Меню [Ящик / Настройка сортировщика писем]
3. Выделяем правило сортировки [Выборочное скачивание]
4. Кнопка [Создать]
5. Вкладка [Правила]
6. Название фильтра "Нет полей в заголовке RFC-822 "
7. Определять по
   • Заголовкам
8. Сигнальные строки
   Date:
   From:
   To:
   Subject:
9. Правило
   [√] Активно
10. Вкладка [Дополнительно]
11. Действие
    • Удалить
12. Метод определения
    • Хотя бы одна строка не должна быть найдена
13. Остальные пункты оставляем по умолчанию
14. Кнопка [Закрыть] - закрывает сортировщик и сохраняет введённый фильтр

Более жёстко этот фильтр будет работать и, соответственно, больше спама убьёт на сервере, если в сигнальные строки добавить поля "Message-ID:" и "X-Mailer:". Но при этом нужно иметь в виду, что он также удалит сообщения MAILER-DAEMON, у которых нет в заголовке хотя бы одного из этих полей.

Поле Message-ID (идентификатор письма) обязательно должно присутствовать в заголовке письма и практически все почтовые клиенты и почтовые web-сервисы следуют этому правилу. Исключение составляют спец. сообщения, например, те же MAILER-DAEMON некоторых почтовых серверов.

Поле "X-Mailler:" ставится практически всеми почтовыми клиентами и известными мне почтовыми web-службами, хотя является необязательным с точки зрения стандарта RFC-822 (начинается с префикса X-). Некоторые зарубежные почтовые серверы вместо поля X-Mailer пишут X-Sender или X-SenderIP, поэтому существует небольшая вероятность блокирования полезных писем.

Прежде чем принимать решение включать или не включать поля Message-ID и X-Mailer, нужно изучить заголовки приходящих к Вам писем. В Бате увидеть заголовок письма можно, нажав меню [Вид / Показать заголовки (RFC-822)]. И руководствоваться надо принципами "Не навреди", "Семь раз отмерь и один раз отрежь". Но лучше перестраховаться и согласиться на некоторое увеличение входящего трафика, чем потерять хотя бы одно полезное письмо.

Ещё один фильтр, названный мной "Паранойя", помогает "зарубить" много спама на сервере благодаря тому, что спаммеры в заголовке письма в строке получателя пишут:

To: pupkin

Напишет ли такое имя Ваш друг или знакомый? Вряд ли. Скорее всего, он напишет так:

To: Вася Пупкин

Описать строку вида " To: pupkin " можно с помощью регулярных выражений. Такой строке соответствует следующее регулярное выражение:

To:\supkin\s\

В результате фильтр "Паранойя" будет выглядеть таким образом:

Фильтр № 13

1. Выделяем ящик [email protected]
2. Меню [Ящик / Настройка сортировщика писем]
3. Выделяем правило сортировки [Выборочное скачивание]
4. Кнопка [Создать]
5. Вкладка [Правила]
6. Название фильтра "Паранойя "
7. Определять по
   • Заголовкам
8. Сигнальные строки
   To:\supkin\s\
   To:\sPUPKIN\s\
9. Правило
   [√] Активно
10. Вкладка [Дополнительно]
11. Действие
    • Удалить
12. Метод определения
    • Любая строка как регулярное выражение
13. Остальные пункты оставляем по умолчанию
14. Кнопка [Закрыть] - закрывает сортировщик и сохраняет введённый фильтр

И, наконец, последним идёт фильтр, который рубит на сервере письма "прорвавшихся" спаммеров. Он "берёт" сигнальные строки из текстового файла "spam.txt". Это и есть неоднократно упоминавшийся в этой статье стоп-лист. Откуда же берутся email-адреса в файле "spam.txt"? Их туда добавляет:

• во-первых, фильтр № 2, который выковыривает их из MAILER-DAEMON (несуществующие адреса спаммеров);
• во-вторых, ручной фильтр № 8 при нажатии комбинации клавиш (в нашем случае Ctrl+Ё) для писем спаммеров, набравших наш код;
• в-третьих, фильтр № 5 для адресатов из _Сортира (повторные письма от "прорвавшихся" спаммеров).

Фильтр № 14

1. Выделяем ящик [email protected]
2. Меню [Ящик / Настройка сортировщика писем]
3. Выделяем правило сортировки [Выборочное скачивание]
4. Кнопка [Создать]
5. Вкладка [Правила]
6. Название фильтра "Стоп-лист "
7. Определять по
   • Отправителю
8. Правило
   [√] Активно
9. Вкладка [Дополнительно]
10. Действие
    • Удалить
11. Метод определения
    • Любая строка найдена
12. [√] Прочитать сигнальные строки из файла
    C:\spam.txt
13. Остальные пункты оставляем по умолчанию
14. Кнопка [Закрыть] - закрывает сортировщик и сохраняет введённый фильтр

Пользуясь этими фильтрами, не забывайте внести в свою адресную книгу нового адресата, которому пишете впервые, чтобы ему не пришлось автоотвечать на Ваше уведомление или лишний раз писать Вам повторное письмо с Вашим кодом в теме.

Мягкая система фильтров
Описанная выше жёсткая система фильтров требует от нового отправителя письма автоотвечать на присланные ему уведомления либо добавлять Ваш код в тему нового письма, чтобы его письмо было Вами прочитано. Такая конструкция не всегда приемлема для служебного использования, потому что в реальной деловой жизни потеря оперативности (а ещё хуже самого контакта) не допустима по различным мотивам (экономическим, этическим, временным).

Например, жёсткая схема не подходит любой фирме, ожидающей новых клиентов. Или Вам должен придти по мылу счёт на оплату Вашего заказа с неизвестного адреса, который возможно генерируется скриптом web-магазина. Или вышестоящая организация должна сообщить Вам важную информацию (там могут не понять, если получат уведомление, запрашивающее подтверждение переписки:). Или завтра рецензент должен с неизвестного адреса прислать рецензию на Ваш диплом, который Вы защищаете послезавтра.

Для решения этой проблемы надо в описанной здесь схеме фильтров отключить все фильтры, требующие подтверждения переписки. Цена этого - упрощённая система фильтров будет пропускать небольшое количество спама.

Для служебного пользования кастрируем приведённую схему:

• в "мягкой" схеме оставим только фильтры № 8 -- 14;
• удалим или отключим фильтры № 1 -- 7;
• в фильтре № 8 исключим пункты 11 и 12;
• из адресной книги удалим группы _Отстойник, _Шлюз и _Сортир.

Всё, теперь никаких подтверждений и практически вся работа по отсечению спама ложится на правило "Выборочное скачивание". По-прежнему удаляем спам-сообщения комбинацией клавиш Ctrl+Ё. Теперь все спаммерские email-адреса, в том числе и несуществующие, накапливаются в стоп-листе "spam.txt".

Надеюсь, что изложенные здесь методы помогут Вам полностью или частично избавиться от почтового мусора и существенно сэкономить время при работе с электронной почтой.

Я по-прежнему считаю, что самым лучшим средством было бы построение системы защиты от спама на уровне почтового сервера. То, что делают владельцы почтовых порталов Яндекс.ru, KM.ru и Mail.ru (Spamtest.ru) достойно всякого внимания. Именно их усилиями можно завершить эпоху спама в рунете.