Антиспам и сеть белых списков

Вы не представляете, как меня достал антиспамный плагин в моем текущем форуме на движке PunBB :-(. Он ловит действительно много спама, но он мне складывает этот спам в карантин пачками по 150 сообщений несколько раз в день, и мне надо это все глазками просматривать и ручками удалять. Причем эти сообщения он старательно рисует полностью, а многие из них сами занимают по нескольку экранов. А не глядя удалять спам я не могу, потому что никакая эвристика (там работает Akismet) не гарантирует отсутствие ham'а. И тут очередная беда: когда ошибочно задержанное письмо объявляешь чистым, плагин не сообщает об этом в Akismet, и тот не тренирует свой анализатор. Саша Кошелев не даст соврать — его посты я доставал из карантина чуть не пару месяцев кряду.

Это, как ничто другое, сподвигло меня взять себя в руки и вернуться к Cicero. Ему, по большому счета, только антиспама и не хватало до релиза.

Антиспамная цепочка

Сначала я приведу кусочек кода, а потом разъясню идею за ним.

def spam_validators():
  for module_name in settings.ANTISPAM_PLUGINS:
    yield __import__(module_name, {}, {}, [''])

def validate(request, article, is_new_topic):
  status = None
  for module in spam_validators():
    result = module.validate(request, article, is_new_topic)
    if result in ['clean', 'spam']:
      return result
    if result is not None:
      status = result
  return status or 'clean'

Анализ спама в Cicero делается цепочкой фильтров. Каждый фильтр — это функция, которая получает на вход созданную пользователем статью и сопровождающие параметры запроса. Эта функция смотрит на переданную информацию и может вернуть четыре варианта ответа:

• 'clean': точно не спам
• 'spam': точно спам
• 'suspect': возможно спам
• None: нет никакого определенного ответа

Если фильтр в цепочке точно уверен в своем заключении (возвращает "clean" или "spam"), то обработка прерывается и этот ответ считается окончательным. При других вариантах ответа обработка продолжается.

У этого нюанса есть свои причины. Автоматическая проверка на спам по сути своей операция с нечетким ответом. Однако эта нечеткость бывает разная. Например если статья идет от имени давно зарегистрированного пользователя, то она практически точно не спамная ("практически" — это на случай, если человека заставляли запостить спам, угрожая проигрыванием песен Ф. Киркорова). Аналогично, есть проверки, показывающие, что пост — практически точно спам. А вот анализу контента сервисами вроде Akismet'а доверять так без оглядки уже нельзя. Такое разделение очень полезно, потому что более четкие проверки, прекращая обработку поста, позволяют разгрузить карантинную очередь. А это, как я убедился (см. начало статьи) — очень важно в первую очередь для здоровья модератора.

Фото с drinkinghabits.com

Далее, если ни один из фильтров цепочки не дал никакого определенного ответа, то новой статье присваивается статус "clean". Я решил, что перестраховка (автоматический "suspect") здесь будет работать плохо. Во-первых, мне кажется, что пролезшего по ошибке спама, который модераторам придется вычищать, будет меньше, чем нормальных статей, которые пришлось бы пропускать. А во-вторых, это позволит форуму, хоть и со спамом, но функционировать, когда модераторы не захотят уделять ему много времени, лежа под зонтиком на белом песке на удаленном карибском пляже, потягивая мохито из заиндевелого бокальчика.

Настройка settinngs.ANTISPAM_PLUGINS содержит строчки питоновских путей к модулям, в лучших традициях Джанго. Каждый модуль должен содержать функцию validate(request, article, is_new_topic), которая и вызывается для проверки. Все это теоретически позволяет сказать, что Cicero позволяет подключать сторонние фильтры, но по-честному этого недостаточно. Потому что помимо информации, которая пришла извне, фильтру нужно минимум еще уметь влиять на содержимое формы во время рисования. А этого пока никак сделать нельзя. Поэтому можно пока считать, что архитектура допускает только предустановленный набор.

Фильтры

Написание самих фильтров оказалось довольно несложным делом. Их у меня сейчас три.

"Honeypots" — основан на статье Неда Батчелдера, но сделан сильно проще. Фактически я вставляю в форму постинга поле с name="email" и скрываю его от взора людей CSS'ом. Если оно приходит заполненным — это был спам-бот. Я не стал зашифровывать названия полей, потому что это убивает браузерное автозаполнение, да и нужно будет, только когда боты будут учитывать особенности Cicero. Тогда я буду просто смотреть, что они делают, и дописывать фильтры по факту.

"Whitelist" — помечает посты от известных пользователей. Все пользователи с OpenID, которые получают свой профиль в Cicero, изначально имеют нейтральный статус относительно спамерства. Этот статус можно изменить на "спамер" и "не спамер". Именно им фильтр и руководствуется, выдавая посту соответствующий статус (таким образом он не только whitelist, но еще и blacklist, но название сложилось исторически). Изменение статуса делается либо вручную в админке, либо если модератор явно помечает пост пользователя как спам, либо наоборот помечает как не спам в карантинной очереди.

Наконец последним фильтром стоит "Akismet". Передача статьи на анализ на сервер Akismet'а делается с помощью библиотеки Дэвида Линча, выбранной наугад из двух питоньих библиотек на сайте. Ее, правда, пришлось немножко поправить от небольших багов. Хотя, там, в общем-то, библиотека особенно и не нужна, потому что весь протокол — это один вызов функции через XML-RPC. А черную работа — перекладывание параметров запроса из джанговского request'а в параметры функции — пришлось все равно делать вручную :-).

Ну и кроме того, я не поленился все же сделать отсылку на сайт Akismet'а уведомлений об исправлении его решений — непойманного спама и пойманного не спама.

Логика view

Вот где мне пришлось помучиться — это в логике уровня view, где POST из формы превращается в статью, которую надо проверить на спам. Главная сложность в том, что у меня постинг статьи может происходить за два запроса. Это происходит, если человек, не будучи залогиненным во время отправки формы, указывает в качестве подписи свой OpenID. Тогда его статья сохраняется в базе от имени гостевого пользователя, но после этого человек переправляется на авторизацию на свой OpenID-сервер, в результате чего может вернуться с подтверждением успешной авторизации обратно. В этот момент сохраненная статья приписывается уже ему лично.

Проверка на спам полностью происходит в обоих этих случаях. Интересный эффект получается, если OpenID человека объявлен спамерским. Тогда, если его статья не поймана по другим признакам, она уже сохраняется в форуме. И только если он подтвердит, кто он такой, уже будет удалена как явный спам :-)

Сеть белых списков

Эта часть статьи на самом деле важнее всего остального. Мне хочется дать толчок идее, которую я впервые вычитал у Саймона Виллисона — Social Whitelisting.

Поскольку OpenID не дает никаких гарантий по степени доверия пользователю, правильным поведением считается пользователю не доверять до тех пор, пока он как-то это самое доверие не заработает. Тогда он вносится в некий белый список, и сайт предоставляет ему какие-то дополнительные привилегии. Также можно утверждать, что чаще всего "вменяемость" пользователя не зависит от того, какими сайтами он пользуется. И вот отсюда вытекает идея о том, что сайты могут делиться друг с другом информацией о том, какие их пользователи являются вменяемыми. Самое главное для этого — универсальность имени пользователя — предоставляется как раз OpenID.

Важная особенность такой системы — ее децентрализованность. Если бы был некий единый реестр "чистых" OpenID, то он не относился бы к пользователям индивидуально, и спамеры могли бы явно нацелиться на то, чтобы понять, как он работает, выяснить необходимый минимум усилий для попадания туда OpenID-идентификатора, потом насоздавать их там большое количество и просто пользоваться этим пулом для спама везде. Децентрализованная система позволяет хозяину каждого конкретного форума самостоятельно выбирать несколько источников, чьему мнению о чистоте пользователей он доверяет. И каждый из этих источников — хозяин, следящий за своим хозяйством — будет справляться с этим лучше, и быстрее исправлять ошибки, чем любая глобальная система.

Публикация белых списков

Так вот главная цель этого поста — призвать рунетовских хозяев форумов и блогов, где есть вход по OpenID, организовать у себя такой белый список. Особенно хорошо было бы, если бы такую фичу поддержали в определенных популярных блог-движках. А как именно это можно сделать, поделюсь на примере реализации в Cicero.

Есть отдельная view'ха, которая просто напросто выдает список всех OpenID, которые явно помечены как не спамеры. Причем ответ она умеет выдавать в трех форматах:

• простой текст с отдельным OpenID URL'ом на каждой строчке
• XML вида <whitelist><openid>http://.../</openid> .. </whitelist>
• список строк в формате JSON

Делать это именно так — никакое не требование, потому что идея еще не распространена, и формат не устоялся. Однако минимально, видимо, надо уметь по крайней мере простой текст. Как, например, сделано у того же Саймона.

Мой код определяет формат по тому, что клиент запрашивает в заголовке Accept, используя для его парсинга библиотечку mimeparse:

def openid_whitelist(request):

  # получение списка URL'ов
  openids = (p.openid for p in Profile.objects.filter(spamer=False) if p.openid)

  # определение предпочтительного формата из списка поддерживаемых
  from cicero.utils.mimeparse import best_match
  MIMETYPES = ['application/xml', 'text/xml', 'application/json', 'text/plain']
  accept = request.META.get('HTTP_ACCEPT')
  if accept:
    mimetype = best_match(MIMETYPES, accept)
  else:
    mimetype = 'text/plain'  # text/plain -- по умолчанию

  # выдача ответов разных типов
  if mimetype.endswith('/xml'):
    try:
      import xml.etree.ElementTree as ET
    except ImportError:
      import elementtree.ElementTree as ET
    root = ET.Element('whitelist')
    for openid in openids:
      ET.SubElement(root, 'openid').text = openid
    xml = ET.ElementTree(root)
    response = HttpResponse(mimetype=mimetype)
    xml.write(response, encoding='utf-8')
    return response
  if mimetype == 'application/json':
    from django.utils import simplejson
    response = HttpResponse(mimetype=mimetype)
    simplejson.dump(list(openids), response)
    return response
  if mimetype == 'text/plain':
    return HttpResponse((o + '\n' for o in openids), mimetype=mimetype)

  # если запрошен неизвестный формат - выдать ошибку
  response = HttpResponse('Can accept only: %s' % ', '.join(MIMETYPES))
  response.status_code = 406
  return response

На мой, пока небогатый, whitelist можно посмотреть. В большинстве браузеров он, скорее всего, выдастся в XML-ном виде.

Вторая важная вещь — это собственно публикация. В вашем форуме или блоге обязательно должна быть где-нибудь в футере или сайдбаре ссылка типа "OpenID whitelist". Наверное было бы еще хорошо, чтобы кто-нибудь придумал для нее уникальную иконку, но пока можно пользоваться универсальной иконкой "Share".

Чтение белых списков

Cicero для чтения белых списков имеет две таблички: WhitelistSource, где хранятся URL'а источников, и CleanOpenID, где хранятся сами OpenID. С последней как раз и сверяется плагин "whitelist", если OpenID человека не имеет собственного статуса в самом Cicero.

class WhitelistSource(models.Model):
  url = models.URLField()

  class Admin:
    pass

  def __unicode__(self):
    return self.url

class CleanOpenID(models.Model):
  openid = models.CharField(max_length=200, db_index=True)
  source = models.ForeignKey(WhitelistSource)

  class Meta:
    unique_together = [('openid', 'source')]
    ordering = ['openid']
    verbose_name = 'Clean OpenID'
    verbose_name_plural = 'Clean OpenIDs'

  class Admin:
    list_display = ['openid', 'source']
    list_filter = ['source']

  def __unicode__(self):
    return self.openid

Обновляются списки "тупо по крону"™. Однако для вящего удобства тех, кто захочет Cicero использовать, я оформил скрипт обновления в виде джанговской команды, вызов которой в кроне выглядит примерно так:

1    6    *    *    *    /home/maniac/sm_org/manage.py update_whitelist

Еще наверное осталось упомянуть, что считанные OpenID из чужих белых списков внедрять автоматически в свой белый список нельзя. Потому что иначе ошибки с допусканием спамеров в них, которые будут так или иначе иногда возникать, труднее будет исправлять, если спамера надо будет удалять из многих списков, куда он успел просочиться. Поэтому каждый хозяин должен контролировать только свой собственный список.

Что же касается Cicero, то до его публикации осталось совсем немного: нормально сверстать и импортировать посты из текущего форума. Остальные наполеоновские планы уже будут реализовываться потом.