Реализация Pingback-клиента

Уселся позавчера на ночь почитать спецификацию Pingback (а что, у всех свои развлечения :-) ). А она оказалось такой маленькой, простой и понятной, что я как-то сразу и написал все за пару часов, попивая чаек (какой-то из дешевых юннаньских красных). Не откладывая, спешу поделиться кодом и соображениями.

Да, и кстати... Пользуясь случаем хочу повториться, что Pingback — вещь, и он заслуживает того, чтобы быть распространенным протоколом межсайтового уведомления, а не прозябать, как сейчас, реализованным только в WordPress по большому счету. Так что, уважаемые программисты, отройте где-нибудь пару-тройку часов времени и реализуйте клиент или сервер или и то, и другое!

Посмотреть, как это работает, можно, написав в форум пост со ссылкой на свой блог (не надо спамить чужие блоги тестовыми пингами!), если он поддерживает Pingback.

Реализация

Алгоритм pingback'а очень простой:

1. при создании новой статьи из ее текста вынимаются ссылки
2. из них отбираются те, которые ведут вовне форума
3. содержимое ссылки загружается, и в заголовках или теле ответа ищется адрес pingback-сервера (другими словами, выясняется, поддерживает ли софт на том сервере pingback)
4. у pingback-сервера через XML-RPC вызывается определенный метод, уведомляющий его о том, что в форумной статье такой-то содержится ссылка на его такую-то страницу (это самая простая часть, как будет видно дальше)

В коде я все это запихнул в один метод у Article. Он вышел чуть пухловатым, но зато он прост по сути и, надеюсь, читаем:

def ping_external_links(self):

  # Пара временных переменных: 
  # - URL к индексу форума, чтобы определять внешние ссылки
  # - абсолютный URL страницы топика этой статьи
  from django.contrib.sites.models import Site
  domain = Site.objects.get_current().domain
  from django.core.urlresolvers import reverse
  index_url = reverse('cicero_index')
  topic_url = 'http://%s%s' % (domain, reverse('cicero.views.topic', args=(self.topic.forum.slug, self.topic.id)))

  # определение внешней ссылки: должна быть либо с другого домена,
  # либо по крайней мере не внутри форума
  def is_external(url):
    from urlparse import urlsplit
    scheme, server, path, query, fragment = urlsplit(url)
    return server != '' and \
           (server != domain or not path.startswith(index_url))

  # поиск ссылки на pingback-сервер внутри содержимого внешней страницы
  # по регулярному выражению, как прописано в спецификации
  def search_link(content):
    match = re.search(r'<link rel="pingback" href="([^"]+)" ?/?>', content)
    return match and match.group(1)

  # парсинг HTML статьи и отбор внешних ссылок
  from BeautifulSoup import BeautifulSoup
  soup = BeautifulSoup(self.html())
  links = [a['href'] for a in soup.findAll('a') if is_external(a['href'])]

  # обход всех ссылок с попыткой их пинговать
  from xmlrpclib import ServerProxy, Fault
  from urllib2 import urlopen
  for link in links:
    try:
      f = urlopen(link)

      # определение ссылки на pingback-сервер
      # из HTTP-заголовков или первых 500 КБ страницы
      server_url = f.info().get('X-Pingback', '') or search_link(f.read(512 * 1024))
      if server_url:

        # если ссылка есть, вызываем XML-RPC процедуру
        # со ссылками откуда и куда делается пинг
        server = ServerProxy(server_url)
        server.pingback.ping(topic_url, link)
    except (IOError, Fault):
      pass
    f.close()

Тут, знаете, хочется сказать большое спасибо Питону и его библиотекам, как стандартным, так и сторонним. Разложение URL'а на части, регулярные выражения, парсинг HTML, HTTP-запрос с анализом заголовков и собственно XML-RPC вызов делаются простыми и, главное, очевидными средствами. Это, как мне кажется, очень большая составляющая того, почему разработка на Питоне оказывается быстрой.

Мелкая засада с транзакциями

Pingback работает так, что когда внешний сервер получает пинг, он идет обратно на мой сервер и забирает текст, из которого я ссылаюсь на него, чтобы проверить, что ссылка там в тексте действительно есть. Этот пинг я делаю во view сразу после сохранения статьи в базу:

if form.is_valid():
  article = form.save()
  article.ping_external_links()
  return HttpResponseRedirect(...)

Так вот здесь во время вызова пинга внешний сервер не увидит у меня на сайте этой самой новой статьи. Потому что при включенном автоматическом управлении транзакциями они коммитятся только после завершения работы всей view.

Обошел я проблему просто: вручную коммичу транзакцию прямо перед ping_external_links. То, что коммит происходит до завершения view, в этом случае совершенно безопасно с точки зрения целостности данных, потому что после этого момента они больше не меняются.

Всякие страхи

Я думаю, что эта реализация, в общем-то, неплохая, и скорее всего на практике будет счастливо работать. Но есть пара вещей, которые меня немножко беспокоят.

Вся пинговая механика делается синхронно и, соответственно, блокирует выполнение запроса пользователя. А значит, если пользователь поставит ссылку на какой-нибудь дохлый сервер, то сохранение его статьи будет долго-долго висеть, дожидаясь таймаута. В принципе, данные к тому времени уже сохранены, но все равно неприятно. Как решать — пока не знаю. Решение, например, с отфоркиванием пингующего процесса кажется чересчур сложными для такой простой вещи.

Другая боязнь заключается в том, что какой-нибудь негодяй может запостить на форум сообщение с парой тысяч ссылок и заставить таким образом мой сервер нагружать тот, на который идут ссылки. Но этого я боюсь меньше, потому что во-первых это все же не DOS-атака, потому что пингер запросы обрабатывает, а не бросает. А во-вторых я надеюсь, что антиспамные средства на сервере сведут вероятность подобного вандализма к минимуму.

Про сервер

Напоследок пару слов о реализации серверной части протокола.

В общем-то, я и не собирался его делать с самого начала. Тех, кто не помнит почему, процитирую свой комментарий на этот счет:

«сам форум не будет регистрировать пинги извне» — может стоит оставить эту фичу? Ведь на топики в форумах, особенно полезные, часто ссылаются.

Проблемы две: как их там показывать, и главное, кто их там будет читать? По опыту большинства пингов к комментариям этого блога, я вижу, что это скорее интересный мне как автору эго-бустер “вот на меня поставили ссылку”. В форумном же топике толпа ссылок с разных сайтов “вот глянь, тут есть решение”, мне кажется, не будет никому интересна… Нет?

Однако если кто-то писал (или собирается) на Джанго блог, а не форум, и реализовал серверную часть (или собирается), очень было бы интересно посмотреть. Там должен быть интересный момент с тем, как, найдя пришедшую ссылку на исходной странице, вытащить контекст, в котором она написана. WordPress, вроде бы, справляется, но наверняка можно лучше...