agr
agr
scraping секьюрное selenium проектное погроммирование 1. получается 3 часа и 2 гига контента на субъект федерации, из которых мне надо 2 мб. всего же их 85+. самый пик — Москва — 162 минуты. раз в неделю — не вариант пускать. ищу альтернативы.

2. удалось выяснить опытным путем, что телефон без рута не может принимать интернет, раздаваемый с вайфая на Bluetooth порт по, соответственно, Bluetooth.

3. удалось прослушать траффик с телефона на компе, в том числе и HTTPS. побочный эффект: да, телеметрии слив есть, по HTTP.

4. удалось вытащить токены авторизации и заодно все заголовки запросов и ответов, зареверсил API.

5. запиливаю клиента под это дело. может, починю сайт раньше, подкрутив клиента под API. а пока продолжу опрос в оффлайне через селениум.
agr
agr
phantomjs selenium Не было печали, да джависты не подкачали!

github.com
github.com

мало того, что мы удалили поддержку фантома в 3.8.1 так ещё и не отразили сначала это в ченджлоге! (вроде отразили)
перехожу с 3.8.1 на 3.8.0 — same shit.
перехожу на 3.7.1 — ура, оно заводится, фантом поднимается.. но не работает. включаю debug, там 100500 сообщений вида

DEBUG — Polling localhost:14151

хотя пускаю фантом на порту 8910. меняю на 14151, теперь идёт опрос порта 2186 и т.д.
пробовал убирать прослойку селениума и засылать команды напрямую, но они друг друга не понимают. Т.е. таки поддержка нулевая.
надо признать, что смысла нет продолжать двигаться в этом направлении. эта ветвь тупиковая.
zEvg
zEvg
selenium Пришлось смотреть в код Selenium чтобы понять почему не запускается Firefox под Debian. А дело в том что лаунчер ищет браузер в дире /usr/lib — дефолтная папка инсталяции FF под убунту, по коду даже видно что они завязалиль под убунту code.google.com
zEvg
zEvg
CI selenium phpunit hudson Как приятно видеть строку "BUILD SUCCESSFUL". При этом понимаешь что 4 месяца потраченные на написание фреймворка, развертывания сервера под Hudson, SeleniumGrid, написания svn-hook прошли не зря. dl.dropbox.com — на картинке в консоле htop c сервера hudson|seleniumGrid и машины на которой крутятся боты Selenium RC, на компе рядом непосредственно боты, которые производят тестирование.
Теперь дело за малы, обучить этому всему тестеров :))