анализ и написание сценариев для web scraping в связке с REPL — одно удовольствие!
— продумываю уменьшение нагрузки на целевой ресурс, чтобы не засылать туда 400K запросов.
— нужен ещё один сценарий для сбора метаданных.
— нужно понять, что не так со скроллингом, он, как бы это сказать, проскальзывает. возможно, и существующие сценарии для фантома с заглушками есть шанс реанимировать. проблема с ним воспроизвелась и локально. имея на руках REPL+браузер + любимый хаскелль, в которых можно производить отладку сценариев наглядно, без JS, видеть живую страницу в любой момент времени.

возникла предрелизная заминка, тот самый момент, когда брать и переписывать с нуля уже поздно (рискованно и т.п.), а предыдущая, не лишенная недостатков дизайна, уже стабильная.. что ж, делать было нечего, всё делегировал, написал дизайн по пропозалу, передал его рвущейся в бой коллеге в другой часовой пояс, обмозговали это всё.. и вдвоём забороли, я один класс написал, она — остальные.. сегодня утром обнаружил, что сделано вообще всё, передал команде гонять регрессию и подгадал момент, чтобы озвучить несанкционированную готовность переделанной с нуля фичи менеджменту.

+10 к политоте. и нам не влетело по шапке, и фича сделана, и команда на волне драйва, и зарубежные ревьюеры довольны, и менеджмент счастливый рисует новый план для демонстрации его верхам.

установить и запустить headless browser — просто.
теперь надо настроить докерфайл так, чтобы изнутри него смотреть на смонтированную директорию и производить артефакты извне контейнера.

Не было печали, да джависты не подкачали!

github.com
github.com

мало того, что мы удалили поддержку фантома в 3.8.1 так ещё и не отразили сначала это в ченджлоге! (вроде отразили)
перехожу с 3.8.1 на 3.8.0 — same shit.
перехожу на 3.7.1 — ура, оно заводится, фантом поднимается.. но не работает. включаю debug, там 100500 сообщений вида

DEBUG — Polling localhost:14151

хотя пускаю фантом на порту 8910. меняю на 14151, теперь идёт опрос порта 2186 и т.д.
пробовал убирать прослойку селениума и засылать команды напрямую, но они друг друга не понимают. Т.е. таки поддержка нулевая.
надо признать, что смысла нет продолжать двигаться в этом направлении. эта ветвь тупиковая.

сегодня было совещание, на котором три индуса друг на друга орали..

мне следует перестать разбивать лицо фейспалмами,
а вместо этого брать контроль над ситуацией в свои руки и поворачивать её с наилучшей выгодой.

что ж, посмотрим.. что-то сломалось в управляемом скроллинге фантома через JS.. все попытки его отладить не приводят к успеху. из коробки в режиме webdriver он не работает. собираю из исходников, чтобы захачить ghostdriver.