Множество хитростей помогут сделать работу с электронной почтой более удобной - SMS-уведомления, автоответчик, сборщик почты и другие возможности.

Несмотря на повсеместное распространение программ и сервисов для быстрого обмена небольшими сообщениями (ICQ, Google Talk и прочих), старая добрая электронная почта - тот способ обмена информацией, с которого, вообще говоря, начался Интернет - по-прежнему пользуется популярностью, почетом и уважением.

К сожалению, электронные почтовые ящики многих из нас используются, что называется, не в полную силу. Вы знаете, например, что несколько ящиков, даже расположенных в разных почтовых службах, можно фактически объединить в один? Или что в ожидании важного письма необязательно сидеть возле экрана, потому что можно настроить SMS-уведомление? Эти и многие друге возможности скрыты в настройках ваших почтовых ящиков, добраться к ним - дело нескольких кликов, но надо знать, в какую сторону «копать».

«Нас нет дома»

Если вы по тем или иным причинам в течение долгого времени будете отрезаны от Интернета (всякое бывает - простудились, уехали на дачу или в отпуск), то имеет смысл включить на этот срок так называемый автоответчик, который на все поступающие письма будет сообщать, что владелец ящика отбыл «в Париж по делу срочно» и ответит не сразу.

В системе Mail.ru (www.mail.ru) доступ к этой возможности можно получить, зайдя в почтовый ящик, нажав в верхнем меню кнопку «Еще», выбрав пункт «Настройки», а в нем - меню «Мастер писем». В нижней части открывшейся страницы вы увидите раздел «Автоответчик». Поставив галочку напротив пункта «Включить автоответчик», заполните поле «Текст автоответа». В нем вы вольны написать все что угодно, лишь бы ваш абонент понял, что вы не можете сию секунду прочесть его письмо, но как только окажетесь у компьютера, сразу прочтете. Под полем для текста задается время работы автоответчика - можно указать не только дату, но даже часы и минуты. Для того чтобы автоответчик заработал, необходимо ввести пароль, который вы используете для входа в почту.

В «Яндекс.Почте» (mail.yandex.ru) автоответчик доступен в меню «Настройка - Правила обработки почты». Чтобы включить его, необходимо нажать кнопку «Создать правило», а затем в разделе «Выполнить действие» выбрать пункт «Ответить следующим текстом» и ввести в поле нужный текст (вроде «Я сейчас не могу прочитать ваше письмо, но обещаю сделать это, как только у меня появится такая возможность»). Когда закончите, нажмите кнопку «Создать правило».

Есть автоответчик и в популярной почтовой системе Gmail (www.gmail.com). Его можно включить в настройках, кликнув на изображение шестеренки в верхнем углу. В разделе настроек зайдите во вкладку «Общие» и установите переключатель в положение «Включить автоответчик». При этом можно настроить автоответчик так, что письма о вашей недоступности будут отправляться только тем, кто добавлен в список контактов, - посторонние люди об отсутствии владельца ящика знать не будут.

Вся почта в одном ящике

Если вы используете несколько почтовых ящиков, то вам может пригодиться функция «сбора почты». Практически любая почтовая система позволяет подключаться к другим адресам электронной почты и скачивать оттуда письма. Таким образом у вас отпадет необходимость следить сразу за несколькими ящиками - вся корреспонденция будет складироваться в одном месте. В Mail.ru «сборщик почты» находится в разделе «Настройки - Сборщик почты (POP3-сервера)». Настраивается эта функция так: нужно указать название POP3-сервера и ввести пароль от ящика. Например, если вы хотите, чтобы в ваш ящик на Mail.ru поступали письма с «Яндекс.Почты», укажите адрес сервера pop.yandex.ru и пароль, который вы используете в почте «Яндекса». А если вам нужно, чтобы ваша почтовая система «забирала» почту с Gmail, то адрес pop3-сервера должен быть таким: pop.gmail.com. О том, как называются pop3-серверы других почтовых служб, можно узнать на сайтах этих служб. Их в Сети достаточно много, и каждую из них упомянуть будет сложновато.

В «Яндекс.Почте» сбор писем из других ящиков настраивается проще: нужно просто указать e-mail, с которого вы хотите выкачивать письма, и пароль к нему. Все остальные настройки система выполнит самостоятельно. В Gmail «сборщик почты» настраивается в разделе «Настройки почты - Аккаунты и импорт». В этой вкладке есть раздел «Сбор почты с других аккаунтов».

К слову сказать, собрать всю почту в одном ящике можно и иным способом. Так, в каждом из ваших электронных ящиков вы можете указать, что желаете всю входящую корреспонденцию перенаправлять на тот или иной адрес. Так, в «Яндекс.Почте» это делается в «Правилах обработки входящей почты». Зайдя в этот раздел, нажмите на кнопку «Создать правило» и выберите действие под названием «Переслать по адресу», после чего укажите адрес, куда следует перенаправлять почту. В Mail.ru перенаправлением почты заведует меню «Пересылка» в разделе настроек, а в Gmail, для того чтобы настроить пересылку писем, зайдите в раздел «Настройки почты - Пересылка и POP/IMAP», после чего в первом раскрывающемся меню выберите пункт «Добавить новый адрес электронной почты».

Непрошеные гости

Умеют почтовые системы и «отсекать» письма, которые вы по тем или иным причинам не хотите видеть в своем ящике. В «Яндекс.Почте» добавить адрес того или иного человека в так называемый «черный список» можно в разделе «Настройки - Правила обработки входящей почты». В поле черного цвета просто укажите «недружественный» e-mail и нажмите кнопку «добавить». Пункт «Черный список» существует и в настройках ящика Mail.ru. В Gmail проще всего нажать кнопку «Спам!» - письмо от неприятного адресата переместится в «мусорную корзину», и то же самое будет происходить в дальнейшем, но уже без вашего участия.

Почта в SMS

В ожидании важного письма совершенно необязательно часами сидеть перед компьютером и каждую минуту проверять почту. Так, например, Mail.ru позволяет настроить отправку SMS-уведомлений о приходе новых писем. В разделе «SMS-уведомления» укажите свой номер мобильника и поставьте галочку напротив пункта «Уведомлять о новой почте по SMS». Можно также выбрать время, когда SMS о новых письмах присылаться не будут - например, вряд ли кто-то захочет, чтобы его беспокоили по ночам. В Gmail и «Яндекс.Почте» такой возможности пока не предусмотрено, однако почта «Яндекса» позволяет при отправке письма отослать на тот или иной мобильный номер уведомление. Сделать это можно, нажав на ссылку «Дополнительные параметры» внизу формы написания письма и указав в соответствующем окне номер телефона.

«Заказное с уведомлением о вручении»

Почтовые системы позволяют вам узнавать, было ли письмо доставлено до адресата. После того как получатель сообщения откроет его, вам в ответ отправится специальное письмо, в котором будет об этом сказано. В «Яндекс.Почте» это делается при помощи ссылки «Дополнительные параметры» под текстом нового письма - в открывшемся окне надо просто поставить галочку напротив пункта «Уведомить о получении письма». А вот разработчики почты Gmail считают такую функцию излишней - во всяком случае, отыскать ее в настройках не удалось.

На сегодняшний день это, пожалуй, самые популярные почтовые сервисы. И мы при рассмотрении того или иного ресурса как бы невзначай оговаривались о том, что к каждому ящику можно подключить другой почтовый адрес с другого сервиса.

Ведь заходить на каждый почтовый ящик и проверять почту не всегда удобно. Поэтому для удобства и была создана возможность добавления почтового ящика к уже имеющемуся адресу. Тогда все почта будет собираться в одном месте, в одном почтовом ящик. Сегодня как раз мы и узнаем, как организовать сбор почты с других ящиков.

Начнем с Mail ru

Как добавить ящик в Mail ru

Почтовый сервис mail ru предоставляет возможность добавления стороннего почтового ящика к вашему основному.

Для того, чтобы добавить еще один почтовый ящик, зайдите в свой основной почтовый аккаунт mail ru и вверху справа кликнете по своему адресу

И кликнете по кнопочке «Добавить почтовый ящик ».

После ввода данных, нажимаем «Войти ».

Результатом наших действий появилась папка с нашим именем и фамилией, туда и будут доставляться письма от Яндекс почты. И вам отпадет надобность заходить в почтовый ящик от Яндекса, чтобы проверить новую почту.

Теперь нечто подобное сделаем в Яндекс почте.

Как добавить почтовый ящик в Яндекс?

Для добавления ящика с другой почтовой службы в системе Яндекс, также заходим в свой аккаунт Яндекс почты

И нажимаем на значок шестеренки и выбираем пункт «Сбор почты с других ящиков ».

Переходим в Настройки «Сбор почты ». Теперь мы будем добавлять ящик от mail ru. Вводим наш электронный ящик, пароль к нему и нажимаем «Включить сборщик »

На следующем этапе вы можете указать для писем с Mail метку. Все письма от сервиса mail будут поступать в папку «Входящие». Старые письма пусть отмечаются как прочитанные. Далее повторно указываем пароль и жмем «Сохранить изменения ».

Все, мы подключили дополнительный почтовый ящик к Яндекс почте. Если в дальнейшем вы не захотите больше получать письма с подключенного ящика, его в любое время можно отключить.

Подобным образом можно добавить и другие ящики.

Для перехода между основным и добавленными ящиками используйте основное меню, далее выбирайте ящик, который вам нужен.

Как добавить ящик в Gmail?

Почта от компании Google тоже дает возможность подключения дополнительных 5 почтовых ящиков.

И выбираем пункт «»

Переходим на вкладку «Аккаунты и импорт » и нажимаем на ссылочку «Добавьте почтовый аккаунт »

В новом окне вводим адрес ящика, который мы будем добавлять. Жмем «Дальше ».

Затем по очереди указываем пароль от добавляемого ящика, затем меняем POP-сервер на pop3. mail . ru . Отметьте галочкой параметр, который отвечает за то, чтобы копии получаемых писем были сохранены на сервере. Это будет ваша подстраховка на тот случай, если что-то случится с аккаунтом Google ваши письма будут сохранены на сервере mail ru. Для удобства распознания на какой ящик пришло письмо, добавьте ярлык ко всем входящим письмам от mail ru

После этого нажимаем «Добавить аккаунт ».

На следующей странице мы ничего такого не меняем, разве что можете задать свое имя пользователя . Вводим пароль от ящика mail и нажимаем «Добавить аккаунт ».

После этого на ваш добавляемый почтовый ящик придет письмо с кодом подтверждения. Подтвердить можно двумя способами: перейти по ссылке в письме или скопировать из письма код и вставить в поле. Нажимаем «Подтвердить ».

Теперь настройки изменились. Как видим внизу на скриншоте появился наш добавляемый почтовый адрес, который можно изменить или удалить.

Можно также установить по умолчанию ящик от mail ru для отправки писем, нажав на соответствующую ссылку.

И вот письма с ящика mail ru успешно поступили в ящик от Google. Как и видим, все письма помечены ярлыком, которым мы задали в процессе добавления ящика.

И при создании нового письма вы сможете выбрать с какого ящика вам нужно отправить письмо.

Также для сбора писем в одном месте можно использовать специальные программы - почтовые клиенты. Наиболее популярным является «The Bat ». Но данная программа платная. Среди бесплатных - Mozilla Thunderbird . О том, что , читайте на нашем сайте.

Напишите в комментариях пользуетесь ли вы почтовыми клиентами или сборщиком писем, как мы сегодня описали.

А на этом позвольте закончить. Удачи и успехов всем вам!

Мы должны стремиться не к тому, чтобы нас всякий понимал, а к тому, чтобы нас нельзя было не понять.

Переключаться с одной вкладки с Gmail на другую с «Яндекс.Почтой» довольно утомительно. А уж если у вас имеется десяток учётных записей у разных почтовых провайдеров, утренняя проверка новой корреспонденции и вовсе превращается в пытку. Объединив письма в одном месте, вы избавитесь от этого неудобства.

Веб-интерфейс

Большинство провайдеров электронной почты предоставляют встроенную функцию сбора писем с нескольких почтовых ящиков. Например, попробуем собрать письма со всех ваших ящиков в одном аккаунте Gmail.

Прежде всего убедитесь, что в почтовой службе, откуда вы хотите забирать письма, есть доступ по протоколу POP. Затем зайдите в настройки Gmail и нажмите «Настройки» в правом верхнем углу. Перейдите на вкладку «Аккаунты» и отыщите раздел «Получать почту из других аккаунтов».

Добавьте аккаунт, введите адрес электронной почты и нажмите «Далее», затем ведите пароль. Для того чтобы обмен почтой между провайдерами был безопаснее, убедитесь, что включена опция «Всегда использовать защищённое соединение (SSL) при получении почты». Затем кликните на «Добавить аккаунт».

Теперь письма, приходящие на добавленный адрес, будут автоматически собираться в Inbox вашего Gmail. Вы можете добавить столько почтовых адресов, сколько вам нужно.

Десктопные клиенты

Электронной почте нужен софт. Да, вы можете сделать многое в веб-клиенте почты (иногда гораздо больше, чем Google сейчас позволяет делать в Gmail). Но веб-интерфейс не сравнить с нативным приложением. Даже самый современный Web UI - это узкое место в работе с почтой.

Рэйф Нидлман, Сnet.com

Десктопные почтовые клиенты хороши тем, что могут агрегировать письма из множества аккаунтов. При этом вы можете работать с десятками адресов и даже не задумываться, у какого провайдера хранится то или иное сообщение.

Большинство десктопных клиентов электронной почты имеют встроенный общий Inbox. Даже если ваш излюбленный клиент поддерживает работу только с отдельными папками для входящих писем, вы всё равно легко можете собрать их вместе с помощью умных фильтров.

Несмотря на то что Outlook предназначен для одновременного управления несколькими почтовыми ящиками, он всё равно отображает отдельный Inbox для каждой учётной записи. Но это легко можно исправить с помощью фильтров.

Откройте Outlook, зайдите на вкладку «Папки» и кликните «Создать папку поиска» на панели инструментов. Затем выберите «Создание настраиваемой папки поиска». Щёлкните на «Выбрать», но не выбирайте критерии поиска, чтобы в папку отправлялись все новые сообщения. Назовите папку как угодно, например «Вся почта».

Кликните на «Обзор», выберите все папки и ящики, из которых нужно собирать почту, и отметьте опцию «Поиск во вложенных папках».

Теперь в созданной вами умной папке будут появляться письма из всех почтовых аккаунтов, добавленных вами в Outlook. Вы можете включить опцию «Отображать в избранном», чтобы ваша новая почта всегда была на виду.

Почтовый клиент Mac предоставляет единую папку для входящих писем из всех подключённых учётных записей. Просто добавляйте свои аккаунты, и все новые письма окажутся собранными в одном месте.

В Thunderbird собрать все ваши письма в одной папке «Входящие» очень просто. Зайдите в меню «Вид» (если строка меню не отображена, нажмите Alt). Затем выберите «Папки» → «Объединённые». Теперь у вас будет одна папка «Входящие» для новых писем, одна папка «Черновики», одна папка «Отправленные» и один «Архив». Вам не придётся долго искать, что где лежит. При этом сообщения будут, как и раньше, храниться на серверах ваших почтовых провайдеров.

Мобильные клиенты

Объединённый Inbox есть во многих мобильных почтовых клиентах, в том числе в Gmail. Приложение Gmail собирает ваши входящие из всех аккаунтов электронной почты, в том числе из Yahoo, Outlook или других сервисов.

Если вам не нравится приложение от Google, можете попробовать сторонние почтовые клиенты, такие как Outlook или MyMail.

Может быть, у вас есть свои идеи, как сгруппировать почту в одном месте? Делитесь в комментариях.

В Gmail можно получать письма из нескольких почтовых аккаунтов. Выберите один из вариантов:

• Импортировать все сообщения (старые и новые). Воспользуйтесь этим способом, если собираетесь и далее получать письма на другой адрес (в том числе и адрес Gmail). Возможны незначительные задержки между поступление писем в другой почтовый ящик и их импортом в Gmail.
• Получить только старые сообщения . Подходит для тех, кто недавно перешел на Gmail.
• Пересылать только новые сообщения . Выберите этот вариант, если хотите мгновенно получать новые сообщения из другого ящика.

Как импортировать все письма

Вы можете импортировать все старые и новые письма из другого аккаунта.

Примечание. Из другого аккаунта можно перенести только письма. Папки и ярлыки импортировать невозможно.

Шаг 1. Измените настройки во внешнем аккаунте

Yahoo, Outlook или другой сервис

Убедитесь, что в вашей почтовой службе есть доступ по протоколу POP. Затем измените настройки в Gmail .

Другой аккаунт Gmail

Шаг 2. Измените настройки Gmail

Ошибка "Сервер отказал в доступе по протоколу POP3"

• Если вы используете двухэтапную аутентификацию , введите пароль приложения .
• Если вы используете Gmail в организации или учебном заведении , в поле "POP-сервер" введите mail.domain.com и выберите порт 110.
• Если вы используете записи Google MX в корпоративном или учебном аккаунте, в поле "POP-сервер" введите pop.gmail.com и выберите порт 995.
• Если войти не удается , попробуйте включить доступ для ненадежных приложений . Также, возможно, понадобится отключить защиту по коду или слову .

этими советами .

Другие ошибки

Если вы столкнулись с другими ошибками, нажмите Показать сведения об ошибке и выполните следующее:

• Если POP отключен , включите его в настройках аккаунта, из которого импортируете письма.
• Если POP недоступен , скорее всего, ваш сервис электронной почты не поддерживает доступ по этому протоколу. В этом случае можно импортировать старые письма и включить автоматическую пересылку новых сообщений.

Если у вас возникают проблемы со Сборщиком писем, воспользуйтесь этими советами .

Если нужно получить только старые сообщения

Если вы перешли на Gmail недавно, перенесите старые письма из ящика, которым вы пользовались раньше.

Мы будем пересылать письма из старого аккаунта на ваш новый адрес Gmail в течение 30 дней, чтобы вы могли постепенно уведомить свои контакты о смене адреса.

Разумеется, всё должно быть распараллелено. Тут на сцену выходит моя любимая библиотека TPL DataFlow .

Забирать почту будем по POP3. Все «модные штучки» IMAP в данной задаче излишни - надо как можно быстрее и проще забрать исходник письма и удалить его на сервера. POP3 тут хватит за глаза. Используем OpenPop.NET .

В качестве факультатива прикрутим мониторинг в Zabbix . (Мы же собрались работать 24/7 и выдавать хваленую скорость - нужно следить за этим).

Поехали

Создаем обычное консольное приложение. Открываем NuGet консоль и ставим все нужные пакеты:

Install-Package Nlog Install-Package OpenPop.NET Install-Package TopShelf Install-Package Microsoft.TPL.DataFlow
Переходим в папку проекта, создаем App.Debug.config и App.Release.config. Выгружаем проект из студии, открываем его код (Здесь и далее TopCrawler.csproj). В секцию с конфигом добавляем:

Конфигурации

App.config App.config

А ниже собственный таргет для MSBuild:

Transform target

$(TargetFileName).config

Лично я привык именно таким способом - по старинке - добавлять трансформацию конфигов для разделения сред.
Для удобства предлагаю strongly-type конфиги. Отдельный класс будет читать конфигурацию. (О теоретических аспектах такого решения можно пообщаться в комментах). Конфиги, логи, мониторинг - отличный повод реализовать паттерн Singleton.

Создаем в проекте одноименную папку (должен же быть порядок). Внутри создаем 3 класса - Config, Logger, Zabbix. Наш логгер:

Logger

static class Logger { public static NLog.Logger Log { get; private set; } public static NLog.Logger Archive { get; private set; } static Logger() { Log = LogManager.GetLogger("Global"); Archive = LogManager.GetLogger("Archivator"); } }

Мониторинг с помощью Zabbix заслуживает отдельного поста, поэтому я просто оставлю тут класс, реализующий агента:

Zabbix

namespace TopCrawler.Singleton { ///

/// Singleton: zabbix sender class ///

static class Zabbix { public static ZabbixSender Sender { get; private set; } static Zabbix() { Sender = new ZabbixSender(Config.ZabbixServer, Config.ZabbixPort); } } struct ZabbixItem { public string Host; public string Key; public string Value; } class ZabbixSender { internal struct SendItem { // ReSharper disable InconsistentNaming - Zabbix is case sensitive public string host; public string key; public string value; public string clock; // ReSharper restore InconsistentNaming } #pragma warning disable 0649 internal struct ZabbixResponse { public string Response; public string Info; } #pragma warning restore 0649 #region --- Constants --- public const string DefaultHeader = "ZBXD\x01"; public const string SendRequest = "sender data"; public const int DefaultTimeout = 10000; #endregion #region --- Fields --- private readonly DateTime _dtUnixMinTime = DateTime.SpecifyKind(new DateTime(1970, 1, 1), DateTimeKind.Utc); private readonly int _timeout; private readonly string _zabbixserver; private readonly int _zabbixport; #endregion #region --- Constructors --- public ZabbixSender(string zabbixserver, int zabbixport) : this(zabbixserver, zabbixport, DefaultTimeout) { } public ZabbixSender(string zabbixserver, int zabbixport, int timeout) { _zabbixserver = zabbixserver; _zabbixport = zabbixport; _timeout = timeout; } #endregion #region --- Methods --- public string SendData(ZabbixItem itm) { return SendData(new List(1) { itm }); } public string SendData(List lstData) { try { var serializer = new JavaScriptSerializer(); var values = new List(lstData.Count); values.AddRange(lstData.Select(itm => new SendItem { host = itm.Host, key = itm.Key, value = itm.Value, clock = Math.Floor((DateTime.Now.ToUniversalTime() - _dtUnixMinTime).TotalSeconds).ToString(CultureInfo.InvariantCulture) })); var json = serializer.Serialize(new { request = SendRequest, data = values.ToArray() }); var header = Encoding.ASCII.GetBytes(DefaultHeader); var length = BitConverter.GetBytes((long)json.Length); var data = Encoding.ASCII.GetBytes(json); var packet = new byte; Buffer.BlockCopy(header, 0, packet, 0, header.Length); Buffer.BlockCopy(length, 0, packet, header.Length, length.Length); Buffer.BlockCopy(data, 0, packet, header.Length + length.Length, data.Length); using (var socket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp)) { socket.Connect(_zabbixserver, _zabbixport); socket.Send(packet); //Header var buffer = new byte; ReceivData(socket, buffer, 0, buffer.Length, _timeout); if (DefaultHeader != Encoding.ASCII.GetString(buffer, 0, buffer.Length)) throw new Exception("Invalid header"); //Message length buffer = new byte; ReceivData(socket, buffer, 0, buffer.Length, _timeout); var dataLength = BitConverter.ToInt32(buffer, 0); if (dataLength == 0) throw new Exception("Invalid data length"); //Message buffer = new byte; ReceivData(socket, buffer, 0, buffer.Length, _timeout); var response = serializer.Deserialize(Encoding.ASCII.GetString(buffer, 0, buffer.Length)); return string.Format("Response: {0}, Info: {1}", response.Response, response.Info); } } catch (Exception e) { return string.Format("Exception: {0}", e); } } private static void ReceivData(Socket pObjSocket, byte buffer, int offset, int size, int timeout) { var startTickCount = Environment.TickCount; var received = 0; do { if (Environment.TickCount > startTickCount + timeout) throw new TimeoutException(); try { received += pObjSocket.Receive(buffer, offset + received, size - received, SocketFlags.None); } catch (SocketException ex) { if (ex.SocketErrorCode == SocketError.WouldBlock || ex.SocketErrorCode == SocketError.IOPending || ex.SocketErrorCode == SocketError.NoBufferSpaceAvailable) Thread.Sleep(30); else throw; } } while (received < size); } #endregion } }

Конфиги… Пора уже делать хоть что-то интересное. Во-первых, в конфигах будем хранить ящики, которые мы опрашиваем. Во вторых настройки DataFlow. Предлагаю так:

Конфиги

Итак, хост и порт куда конектится, юзер и пароль - тут всё понятно. Дальше тип ящика. Допустим, служба используется маркетингом (как и другими отделами). У них есть ящики, куда сваливаются автоответы на рассылки, а также отчеты о спаме FBL . Сам ящик уже категоризирует письмо, поэтому для таких ситуаций сразу задаем тип ящика. С настройками DataFlow будет понятно дальше, когда начнем создавать объекты. Тут у нас будут собственные секции в конфиге. Мануалов куча как это сделать, поэтому просто покажу результат:

Определяем типы

#region --- Types --- static class MailboxType { public const string Bo = "bo"; public const string Crm = "crm"; public const string Fbl = "fbl"; public const string Bounce = "bounce"; } class MailboxInfo { public string Type { get; set; } public string Hostname { get; set; } public string User { get; set; } public string Password { get; set; } public int Port { get; set; } } class DataBlockOptions { public int Maxdop { get; set; } public int BoundedCapacity { get; set; } public DataBlockOptions() { Maxdop = 1; BoundedCapacity = 1; } } #endregion

Создаем секции

///

/// Custom config section ///

public class CustomSettingsConfigSection: ConfigurationSection { public CredentialsCollection CredentialItems { get { return base["CredentialsList"] as CredentialsCollection; } } public DataBlockOptionsCollection DataFlowOptionsItems { get { return base["DataFlowOptionsList"] as DataBlockOptionsCollection; } } }

///

/// Custom collection - credentials list ///

public class CredentialsCollection: ConfigurationElementCollection, IEnumerable { protected override ConfigurationElement CreateNewElement() { return new CredentialsElement(); } protected override object GetElementKey(ConfigurationElement element) { return ((CredentialsElement)element).Username; } public CredentialsElement this { get { return BaseGet(index) as CredentialsElement; } } public new IEnumerator < Count; i++) { yield return BaseGet(i) as CredentialsElement; } } } ///

/// Custom credentials item ///

public class CredentialsElement: ConfigurationElement { public string Hostname { get { return base["hostname"] as string; } } public string Username { get { return base["username"] as string; } } public string Password { get { return base["password"] as string; } } public string Type { get { return base["type"] as string; } } public string Port { get { return base["port"] as string; } } } ///

/// Custom collection - DataBlock options list ///

public class DataBlockOptionsCollection: ConfigurationElementCollection, IEnumerable { protected override ConfigurationElement CreateNewElement() { return new DataBlockOptionsElement(); } protected override object GetElementKey(ConfigurationElement element) { return ((DataBlockOptionsElement)element).Name; } public CredentialsElement this { get { return BaseGet(index) as CredentialsElement; } } public new IEnumerator GetEnumerator() { for (var i = 0; i < Count; i++) { yield return BaseGet(i) as DataBlockOptionsElement; } } } ///

/// Custom DataBlock options item ///

public class DataBlockOptionsElement: ConfigurationElement { public string Name { get { return base["name"] as string; } } public string Maxdop { get { return base["maxdop"] as string; } } public string BoundedCapacity { get { return base["boundedcapacity"] as string; } } }

Полную реализацию конфига писать не буду, подразумевается, что в процессе разработки туда будут добавляться нужные нам параметры.

Наши кастомные настройки прочитаем так:

Читаем

public List CredentialsList { get; private set; } public Dictionary DataFlowOptionsList { get; private set; } ... static Config() { try { var customConfig = (CustomSettingsConfigSection)ConfigurationManager.GetSection("CustomSettings"); //Get mailboxes foreach (var item in customConfig.CredentialItems) CredentialsList.Add(new MailboxInfo { Hostname = item.Hostname, Port = Convert.ToInt32(item.Port), User = item.Username, Type = item.Type, Password = item.Password }); //Get DataFlow settings foreach (var item in customConfig.DataFlowOptionsItems) DataFlowOptionsList.Add(item.Name, new DataBlockOptions { Maxdop = Convert.ToInt32(item.Maxdop), BoundedCapacity = Convert.ToInt32(item.BoundedCapacity) }); } catch (Exception ex) { Logger.Log.Fatal("Error at reading config: {0}", ex.Message); throw; } }

Как-то очень затянуто получается, а мы даже не дошли до самого интересного.

Опустим пока обвязку из TopShelf, счетчики производительности, общение с БД и перейдем к делу! Создаем класс Crawler - ядро. Для начала читаем почту:

Private volatile bool _stopPipeline; ... public void Start() { do { var getMailsTasks = _config.CredentialsList.Select(credentials => Task.Run(() => GetMails(credentials))).ToList(); foreach (var task in getMailsTasks) task.Wait(); Thread.Sleep(2000); } while (!_stopPipeline); //Stop pipeline - wait for completion of all endpoints //Тут будет остановка DataFlow конвейера if (_stopPipeline) Logger.Log.Warn("Pipeline has been stopped by user"); }
Вот тут лень взяла свое и я решил не заморачиваться - если ящиков порядка 20-30 можно под каждый запустить таск и не париться о количестве потоков. (Разрешаю закидать помидорами.)

Переходим к самому чтению:

Private void GetMails(MailboxInfo info) { try { using (var client = new Pop3Client()) {
Сразу посчитаем тайминги доступа к ящику - пригодится для диагностики сети и загруженности сервера.

//Get Zabbix metrics var stopwatch = new Stopwatch(); stopwatch.Start(); //Get mail count client.Connect(info.Hostname, info.Port, false); client.Authenticate(info.User, info.Password); stopwatch.Stop();
Отправляем данные в Zabbix. Всё просто - указываем имя хоста (как оно заведено в Zabbix), ключ (опять таки строго, как в Zabbix) и строковое значение.

//Send it to Zabbix Zabbix.Sender.SendData(new ZabbixItem { Host = Config.HostKey, Key = info.Type + Config.TimingKey, Value = stopwatch.ElapsedMilliseconds.ToString() }); Logger.Log.Debug("Send [{0}] timing to Zabbix: connected to "{1}" as "{2}", timing {3}ms", info.Type, info.Hostname, info.User, stopwatch.ElapsedMilliseconds); var count = client.GetMessageCount(); if (count == 0) return; Logger.Log.Debug("We"ve got new {0} messages in "{1}"", count, info.User); //Send messages to sorting block for (var i = 0; i < count; i++) { try { var mailInfo = new MessageInfo { IsSpam = false, Mail = client.GetMessage(i + 1), Type = MessageType.UNKNOWN, Subtype = null, Recipient = null, Mailbox = info }; Logger.Log.Debug("Download message from "{0}". Size: {1}b", info.User, mailInfo.Mail.RawMessage.Length);
DataFlow pipeline будет создана при создании класса Crawler. Считаем, что наш первый этап - отсортировать письмо.

While (!_sortMailDataBlock.Post(mailInfo)) Thread.Sleep(500);
Видите, как просто - сам конвейер один. Все таски, читающие почту, кидают туда сообщения по одному. Если блок занят, Post вернет false и мы просто подождем пока он не освободится. Текущий потом в это время продолжает работать. Вот это я называю параллелизм без забот.

Сообщение ушло на конвейер, теперь его можно со спокойной душой сохранить в RAW архив (да-да! всё, что читаем - сохраняем в файловый архив. Служба поддержки нам потом скажет спасибо).

Настроим, например, ротацию архива:

NLog.config

Потом на него можно натравить logStash , но это уже другая история…

//Save every mail to archive Logger.Log.Debug("Archive message"); Logger.Archive.Info(Functions.MessageToString(mailInfo.Mail)); } catch (Exception ex) { Logger.Log.Error("Parse email error: {0}", ex.Message); Functions.ErrorsCounters.Increment(); //Archive mail anyway Logger.Log.Debug("Archive message"); Logger.Archive.Info(Encoding.Default.GetString(client.GetMessageAsBytes(i + 1))); } if (_config.DeleteMail) client.DeleteMessage(i + 1); if (_stopPipeline) break; } Logger.Log.Debug("Done with "{0}"", info.User); } } catch (Exception ex) { Logger.Log.Error("General error - type: {0}, message: {1}", ex, ex.Message); Functions.ErrorsCounters.Increment(); } }
Здесь мы использовали статические счетчики ошибок (в разрезе типов ящиков), где ErrorsCounters - это:

Public static Dictionary ErrorsCounters = new Dictionary();
А сами счетчики можно сделать так:

Counter.cs

class Counter { private long _counter; public Counter() { _counter = 0; } public void Increment() { Interlocked.Increment(ref _counter); } public long Read() { return _counter; } public long Refresh() { return Interlocked.Exchange(ref _counter, 0); } public void Add(long value) { Interlocked.Add(ref _counter, value); } public void Set(long value) { Interlocked.Exchange(ref _counter, value); } }

Перейдем к созданию конвейера. Допустим, у нас есть ящики, куда сыпятся автоответы. Такие письма надо распарсить (что за автоответ, от кого, по какой рассылке и т.д.) и сложить результат в хранилище (БД). Допустим, есть ящики, куда падают FBL отчеты. Такие письма сразу складываем в базу. Все прочие письма считаем «полезными» - их надо проверить на спам и отправить во внешнюю систему, например, CRM.

Как вы уже поняли, данный пример в основном рассматривает применение сборщика для задач маркетинга - сбор статистики по доставке почты, информация о спаме.

Итак, мы определились с рабочим потоком. Объявляем необходимые блоки в классе Crawler:

Class MessageInfo { public bool IsSpam { get; set; } public Message Mail { get; set; } public string Subtype { get; set; } public string Recipient { get; set; } public MessageType Type { get; set; } public MailboxInfo Mailbox { get; set; } } class Crawler { //Pipeline private TransformBlock _sortMailDataBlock; private TransformBlock _spamFilterDataBlock; private TransformBlock _checkBounceDataBlock; private TransformBlock _identifyDataBlock; private ActionBlock _addToCrmDataBlock; private ActionBlock _addToFblDataBlock; private ActionBlock _addToBounceDataBlock; ...
Создаем метод инициализации и создаем блоки конвейера (для инициализации блоков используем наши замечательные секции из конфигов):

Public void Init() { //*** Create pipeline *** //Create TransformBlock to get message type var blockOptions = _config.GetDataBlockOptions("_sortMailDataBlock"); _sortMailDataBlock = new TransformBlock(mail => SortMail(mail), new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = blockOptions.Maxdop, BoundedCapacity = blockOptions.BoundedCapacity }); //Create TransformBlock to filter spam blockOptions = _config.GetDataBlockOptions("_spamFilterDataBlock"); _spamFilterDataBlock = new TransformBlock(mail => FilterSpam(mail), new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = blockOptions.Maxdop, BoundedCapacity = blockOptions.BoundedCapacity }); //Create TransformBlock to sort bounces blockOptions = _config.GetDataBlockOptions("_checkBounceDataBlock"); _checkBounceDataBlock = new TransformBlock(mail => BounceTypeCheck(mail), new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = blockOptions.Maxdop, BoundedCapacity = blockOptions.BoundedCapacity }); //Create TransformBlock to identify bounce owner blockOptions = _config.GetDataBlockOptions("_identifyDataBlock"); _identifyDataBlock = new TransformBlock(mail => GetRecipient(mail), new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = blockOptions.Maxdop, BoundedCapacity = blockOptions.BoundedCapacity }); //Create ActionBlock to send mail to CRM blockOptions = _config.GetDataBlockOptions("_addToCrmDataBlock"); _addToCrmDataBlock = new ActionBlock(mail => AddToCrm(mail), new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = blockOptions.Maxdop, BoundedCapacity = blockOptions.BoundedCapacity }); //Create ActionBlock to send FBL to MailWH blockOptions = _config.GetDataBlockOptions("_addToFblDataBlock"); _addToFblDataBlock = new ActionBlock(mail => AddToFbl(mail), new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = blockOptions.Maxdop, BoundedCapacity = blockOptions.BoundedCapacity }); //Create ActionBlock to send Bounce to MailWH blockOptions = _config.GetDataBlockOptions("_addToBounceDataBlock"); _addToBounceDataBlock = new ActionBlock(mail => AddToBounce(mail), new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = blockOptions.Maxdop, BoundedCapacity = blockOptions.BoundedCapacity });
Собираем конвейер в соответствии с нашей схемой:

//*** Build pipeline *** _sortMailDataBlock.LinkTo(_spamFilterDataBlock, info => info.Type == MessageType.GENERAL); _sortMailDataBlock.LinkTo(_addToFblDataBlock, info => info.Type == MessageType.FBL); _sortMailDataBlock.LinkTo(_checkBounceDataBlock, info => info.Type == MessageType.BOUNCE); _sortMailDataBlock.LinkTo(DataflowBlock.NullTarget(), info => info.Type == MessageType.UNKNOWN); /*STUB*/ _checkBounceDataBlock.LinkTo(_identifyDataBlock); _identifyDataBlock.LinkTo(_addToBounceDataBlock); _spamFilterDataBlock.LinkTo(_addToCrmDataBlock, info => !info.IsSpam); _spamFilterDataBlock.LinkTo(DataflowBlock.NullTarget(), info => info.IsSpam); /*STUB*/
Как видим, всё предельно просто - связываем блок со следующим (с возможностью задания условия связи). Все блоки исполняются параллельно. Каждый блок имеет степень параллелизма и емкость (с помощью емкости можно регулировать очередь перед блоком, то есть блок сообщение принял, но еще не обрабатывает). Таким образом, можно задавать высокую степень параллелизма для «сложных» и долгих операций, как, например, парсинг содержимого письма.

Не буду описывать матчасть DataFlow, лучше всё прочесть в первоисточнике TPL DataFlow .

SortMailDataBlock.Completion.ContinueWith(t => { if (t.IsFaulted) ((IDataflowBlock)_spamFilterDataBlock).Fault(t.Exception); else _spamFilterDataBlock.Complete(); }); _sortMailDataBlock.Completion.ContinueWith(t => { if (t.IsFaulted) ((IDataflowBlock)_addToFblDataBlock).Fault(t.Exception); else _addToFblDataBlock.Complete(); }); _sortMailDataBlock.Completion.ContinueWith(t => { if (t.IsFaulted) ((IDataflowBlock)_checkBounceDataBlock).Fault(t.Exception); else _checkBounceDataBlock.Complete(); }); _spamFilterDataBlock.Completion.ContinueWith(t => { if (t.IsFaulted) ((IDataflowBlock)_addToCrmDataBlock).Fault(t.Exception); else _addToCrmDataBlock.Complete(); }); _checkBounceDataBlock.Completion.ContinueWith(t => { if (t.IsFaulted) ((IDataflowBlock)_identifyDataBlock).Fault(t.Exception); else _identifyDataBlock.Complete(); }); _identifyDataBlock.Completion.ContinueWith(t => { if (t.IsFaulted) ((IDataflowBlock)_addToBounceDataBlock).Fault(t.Exception); else _addToBounceDataBlock.Complete(); }); }
Всё, на самом деле конвейер уже работает, можно постить в него сообщения. Осталось только остановить его дополнив наш метод Start:

Start

public void Start() { do { var getMailsTasks = _config.CredentialsList.Select(credentials => Task.Run(() => GetMails(credentials))).ToList(); foreach (var task in getMailsTasks) task.Wait(); Thread.Sleep(2000); } while (!_stopPipeline); //Stop pipeline - wait for completion of all endpoints _sortMailDataBlock.Complete(); _addToCrmDataBlock.Completion.Wait(); _addToFblDataBlock.Completion.Wait(); _addToBounceDataBlock.Completion.Wait(); if (_stopPipeline) Logger.Log.Warn("Pipeline has been stopped by user"); }

Переходим к делегатам.
Сортировка… Ну, допустим у нас всё просто (усложнить то всегда успеем):

Private MessageInfo SortMail(MessageInfo mail) { switch (mail.Mailbox.Type) { case MailboxType.Crm: mail.Type = MessageType.GENERAL; break; case MailboxType.Bounce: mail.Type = MessageType.BOUNCE; break; case MailboxType.Fbl: mail.Type = MessageType.FBL; break; } return mail; }
Спам фильтр. Это на домашнюю работу - используйте SpamAssassin .
Вот вам делегат:

Private MessageInfo FilterSpam(MessageInfo mail) { //TODO: Add SpamAssassin logic return mail; }
И классы для работы с API SpamAssassin (ссылка на проект).
А мы переходим к парсингу писем. Парсим мы автоответы. Тут вступает в дело MEF.
Создаем проект (dll) с интерфейсами для наших плагинов (Назовем Interfaces).
Добавляем интерфейс:

Public interface ICondition { string Check(Message mimeMessage); } public interface IConditionMetadata { Type Type { get; } }
И… всё. Наш TopCrawler зависит от этого проекта и проект с плагинами тоже будет использовать его.
Создаем новый проект (тоже dll), назовем Conditions.
Добавим типы автоответов:

#region --- Types --- static class BounceType { public const string Full = "BounceTypeFull"; public const string Timeout = "BounceTypeTimeout"; public const string Refused = "BounceTypeRefused"; public const string NotFound = "BounceTypeNotFound"; public const string Inactive = "BounceTypeInactive"; public const string OutOfOffice = "BounceTypeOutOfOffice"; public const string HostNotFound = "BounceTypeHostNotFound"; public const string NotAuthorized = "BounceTypeNotAuthorized"; public const string ManyConnections = "BounceTypeManyConnections"; } #endregion
И классы, реализующие наш интерфейс:

Public class ConditionNotFound1: ICondition { public string Check(Message mimeMessage) { if (!mimeMessage.MessagePart.IsMultiPart) return null; const string pattern = "Diagnostic-Code:.+smtp.+550"; var regexp = new Regex(pattern, RegexOptions.IgnoreCase); return mimeMessage.MessagePart.MessageParts.Any(part => part.ContentType.MediaType == "message/delivery-status" && regexp.IsMatch(part.GetBodyAsText())) ? BounceType.NotFound: null; } } ... public class ConditionTimeout2: ICondition { return BounceType.Timeout; } ...
Как вы заметилиб всё дело в атрибутах. С помощью них плагины и будут загружены.
Возвращаемся к нашему проекту и загружаем плагины:

Class Crawler { ... //Plugins public IEnumerable> BounceTypeConditions { get; set; } private void LoadPlugins() { try { var container = new CompositionContainer(new DirectoryCatalog(_config.PluginDirectory), true); container.ComposeParts(this); } catch (Exception ex) { Logger.Log.Error("Unable to load plugins: {0}", ex.Message); } } ...
LoadPlugins дергаем в конструкторе нашего класса. Объяснять подробно про механизм загрузки не буду - гугл справится лучше.

Переходим к нашему делегату проверки типа Bounce. Условия будут применяться по очереди, пока не сработает первое - исключающий метод:

Private MessageInfo BounceTypeCheck(MessageInfo mailInfo) { try { foreach (var condition in BounceTypeConditions) { var res = condition.Value.Check(mailInfo.Mail); if (res == null) continue; mailInfo.Subtype = res; Logger.Log.Debug("Bounce type condition [{0}] triggered for message [{1}]", condition.Metadata.Type, mailInfo.Mail.Headers.MessageId); break; } } catch (Exception ex) { Logger.Log.Error("Failed to determine bounce type for message "{0}": {1}", mailInfo.Mail.Headers.MessageId, ex.Message); Logger.ErrorsCounters.Increment(); } return mailInfo; }
Таким образомб если появляется новая логикаб достаточно просто добавить в проект с плагинами новый класс, реализующий наш интерфейс и - вуаля! Пример второго плагина по определению отправителя письма прикладывать не буду - итак уже длинный пост (Автоответ сгенерировал сам сервер, поэтому отправителя тоже надо распарсить из заголовков письма) .

С записью результатов в БД тоже ничего необычного. Например, так:

Private void AddToBounce(MessageInfo mail) { try { MailWH.BounceAdd(mail); Functions.ProcessedCounters.Increment(); Functions.Log.Debug("Send Bounce to MailWH"); } catch (Exception ex) { Functions.Log.Error("Error saving Bounce message "{0}" to MailWH: {1}", mail.Mail.Headers.MessageId, ex.Message); Functions.ErrorsCounters.Increment(); } }

BounceAdd

public static long BounceAdd(MessageInfo message) { using (var conn = new SqlConnection(ConnectionString)) using (var cmd = new SqlDataAdapter("BounceAdd", conn)) { var body = message.Mail.FindFirstPlainTextVersion() == null ? message.Mail.FindFirstHtmlVersion().GetBodyAsText() : message.Mail.FindFirstPlainTextVersion().GetBodyAsText(); var outId = new SqlParameter("@ID", SqlDbType.BigInt) { Direction = ParameterDirection.Output }; cmd.SelectCommand.CommandType = CommandType.StoredProcedure; cmd.SelectCommand.Parameters.Add(new SqlParameter("@RawMessage", message.Mail.RawMessage)); cmd.SelectCommand.Parameters.Add(new SqlParameter("@Message", body)); cmd.SelectCommand.Parameters.Add(new SqlParameter("@Subject", message.Mail.Headers.Subject ?? "")); cmd.SelectCommand.Parameters.Add(new SqlParameter("@MessageID", message.Mail.Headers.MessageId ?? "")); cmd.SelectCommand.Parameters.Add(new SqlParameter("@AddressTo", message.Mail.Headers.To.Address ?? "")); cmd.SelectCommand.Parameters.Add(new SqlParameter("@AddressFrom", message.Mail.Headers.From.Address ?? "")); cmd.SelectCommand.Parameters.Add(new SqlParameter("@DateRecieved", DateTime.Now)); cmd.SelectCommand.Parameters.Add(new SqlParameter("@BounceTypeSysName", (object)message.Subtype ?? DBNull.Value)); cmd.SelectCommand.Parameters.Add(new SqlParameter("@SourceFrom", (object)message.Recipient ?? DBNull.Value)); // TODO: Add ListId support cmd.SelectCommand.Parameters.Add(new SqlParameter("@ListId", DBNull.Value)); cmd.SelectCommand.Parameters.Add(outId); conn.Open(); cmd.SelectCommand.ExecuteNonQuery(); return outId.Value as long? ?? 0; } }

Простите, что не успел показать TopShelf - пост и так уже слишком раздулся.

Выводы

В этом уроке мы узнали, что задача сбора почты может оказаться не такой простой. Разработанное ядро позволяет быстро добавлять новые шаги процесса - DataFlow-блоки, не затрагивая существующую логику. Подсистема плагинов позволяет быстро наращивать скриптоподобную логику парсинга, а сам DataFlow распараллеливает все вычисления (причем мы имеем возможность гибко настраивать многопоточность под конкретную машину). TopShelf дает нам возможность запускать сервис как в режиме службы, так и в консольном режиме для облегчения отладки.

Фух… Если будет интересно, дальше расскажу, как поставить это на рельсы Continious Integration, настроить автобилды и выпуск релиза через VS Release Management .

Теги: Добавить метки