1. 5m1t

    27.02.2009

    0 ↑
    0 ↓
    crawler, т.е. качалку страниц, на подобии wget.

    Мне надо реализовать следующую штуку:
    По запросу юзера выползает web crawler, хавает несколько страниц, основное приложение их обрабатывает пару секунд и отдает результат пользователю.

    1. Правильно ли я понимаю, что мне надо будет использовать асинхронный фреймворк (например twisted)?

    2. Или это можно сделать и с помощью джанги тоже? Как я понимаю, тот view, который вызовет краулер и обработчик принесенного краулером, будет ожидать их завершения и не будет доступен другим пользователям?

  2. PRN

    02.03.2009

    0 ↑
    0 ↓
    Имхо, лучше процессами запускать, чтобы можно было их грохнуть, в случае если они в дауне.

Внимание! Это довольно старый топик, посты в него не попадут в новые, и их никто не увидит. Пишите пост, если хотите просто дополнить топик, а чтобы задать новый вопрос — начните новый.