WideFinder на Питоне

Кто не слышал, Тим Брей какое-то время назад решил проверить, как сильно распараллеливаемый Erlang справится с простой задачкой: распарсить Апачевский лог и посчитать в нем количество вхождений каждого URL'а. Это превратилось в долгоиграющую эпопею под названием Wide Finder Project, в которой сейчас участвует куча народу. Одни занимаются тем, что думают, как ускорить Erlang'овую версию, а другие — решением задачки на своих любимых языках.

Известный питонщик Фредрик Лунд сделал свое решение, которое можно демонстрировать как показатель крутости Питона как языка и как платформы. Для затравки скажу, что изначальное наивное решение на Питоне "в лоб" он разогнал в 8 раз, а оригинальный Erlang'овый код оно при этому обгоняет в 600 раз.

Я не хочу пересказывать его статью, но очень советую ее почитать и в нее вникнуть. Для себя же я вынес несколько уроков:

• Питон иногда можно тупо оптимизировать, исключив разрешение методов из цикла
• Питон развивают и разгоняют все время, от чего тепло и приятно (это я про новый быстрый алгоритм поиска подстрок в Питоне 2.5)
• GIL не особенно мешает распараллеливанию в тредах даже на таких сильно вычислительных задачах, если применять правильную стратегию (то есть не заставлять треды все время общаться с питоновскими объектами)
• поддержку распараллеливания по процессам в Питоне хорошо бы оформить в какую-нибудь высокоуровневую библиотеку, которая бы автоматизировала вещи типа "выдать следующий кусок из файла", скрывая синхронизацию отработанных разными процессами кусков через маршалинг