Парсеры были написаны в разное время, если сайты-доноры обновлялись - некоторые парсеры могут не работать.
Многопоточный парсер на 20 сайтов одновременно, использует конфиг-файл и параметры командной строки. Выгружает в базу firebird.
book.py
Писался как многопоточный с оглядкой на будущее, но пока собирает только один сайт. Выгружает в базу firebird, с сохранением структуры категорий и подкатегорий как на сайте.
auto_spider.py
Скачивает файлы с народ-диска.
Маскируясь под браузер, получает страницу с прямой ссылкой. Парсит страницу, находит ссылку и передает ее в файловый загрузчик wget.
narod.py
Парсер 2gis.ru
Поскольку информацию подгружает javascript, парсер использует selenium в роли браузера.
selenium2gis.py
Из-за этого парсер получился несколько тормозной. Но к базе 2gis можно напрямую получить доступ по API, и получить удобный json или xml.
В этом варианте парсер работает очень быстро. Так как ихний json для питона невалиден, то получает от сервера xml, парсит его и сохраняет результат в экселевский файл .xls
Пардон, но авторизационные ключи под звездочками :)
spider2gis.py