← All posts tagged дыбр

анализ и написание сценариев для web scraping в связке с REPL — одно удовольствие!
— продумываю уменьшение нагрузки на целевой ресурс, чтобы не засылать туда 400K запросов.
— нужен ещё один сценарий для сбора метаданных.
— нужно понять, что не так со скроллингом, он, как бы это сказать, проскальзывает. возможно, и существующие сценарии для фантома с заглушками есть шанс реанимировать. проблема с ним воспроизвелась и локально. имея на руках REPL+браузер + любимый хаскелль, в которых можно производить отладку сценариев наглядно, без JS, видеть живую страницу в любой момент времени.

возникла предрелизная заминка, тот самый момент, когда брать и переписывать с нуля уже поздно (рискованно и т.п.), а предыдущая, не лишенная недостатков дизайна, уже стабильная.. что ж, делать было нечего, всё делегировал, написал дизайн по пропозалу, передал его рвущейся в бой коллеге в другой часовой пояс, обмозговали это всё.. и вдвоём забороли, я один класс написал, она — остальные.. сегодня утром обнаружил, что сделано вообще всё, передал команде гонять регрессию и подгадал момент, чтобы озвучить несанкционированную готовность переделанной с нуля фичи менеджменту.

+10 к политоте. и нам не влетело по шапке, и фича сделана, и команда на волне драйва, и зарубежные ревьюеры довольны, и менеджмент счастливый рисует новый план для демонстрации его верхам.

установить и запустить headless browser — просто.
теперь надо настроить докерфайл так, чтобы изнутри него смотреть на смонтированную директорию и производить артефакты извне контейнера.

сегодня было совещание, на котором три индуса друг на друга орали..

мне следует перестать разбивать лицо фейспалмами,
а вместо этого брать контроль над ситуацией в свои руки и поворачивать её с наилучшей выгодой.

что ж, посмотрим.. что-то сломалось в управляемом скроллинге фантома через JS.. все попытки его отладить не приводят к успеху. из коробки в режиме webdriver он не работает. собираю из исходников, чтобы захачить ghostdriver.

мы продолбали третий майлстоун, но при этом выдержали четвертый. подоспели результаты стресс-тестов, время — условно ок, ЦПУ — жрём как не в себя. что ж, теперь у нас есть рабочая фича, удовлетворяющая требованиям бизнеса и долбаных 30 штук кейсов, которые она проходит.

скоро соберемся обсуждать, надо ли её переписать ещё раз так, чтобы она укладывалась в N мс и потребляла ЦПУ в меру.. команда резко демотивировалась, переписывать в третий раз фичу — больно. а коллеги из бывшей английской колонии нас побаиваются.

интересно, а сеньор-программист должен уметь разобраться, что такое "port forwarding"? вот такой чувак пришёл на мою замену на следующую фазу проекта. ему надо всего-то пробросить порты через туннель, чтобы можно было с помощью SSMS или sqlcmd достучаться к базе данных в другой сети. не знаешь — гуглится это на раз. ну ёлки, можно пару часов потратить повтыкать, поиграться, поразбираться...

нет, эта непостижимая задача удерживает его уже два дня от цели. два дня прошло, и мне кажется, что ещё неделя может пройти перед тем, как до него дойдёт. кроме винды он ничего не видел. а ещё сеньор.

и у меня нет никаких обязательств перед ним, со старого проекта официального запроса не было.
кто я после этого? — красноглазый ублюдок!

HtmlUnit тоже не подходит, при попытке подгрузить сайтец, падает эксепшн, и ему рвёт голову. Если и фантом уйдёт вникуда, значит, придётся тащить браузер на сервер.

Caused by: net.sourceforge.htmlunit.corejs.javascript.EcmaError: TypeError: Cannot modify readonly property: constructor.

во сне я переместился в деревню, в дом, в котором я вырос, вместе с семьей. только мы там жили, а так же большая собака, 3 пушистых кота и 4 коровы, да. как-то я смотрю в окно и вижу, как корова пробила деревянный забор и вылезла на дорогу, а за ней и вторая.

пошел их искать, тут соседская собака загнала всех троих котов на дерево. меня позвала жена домой, а потом меня ослепило солнце, декорации стали стремительно меняться. уже нет ни меня, ни семьи, ни деревни..

и я словно стал наблюдателем за сериалом. Юэн Макгрегор обнаружил выходящего из подвала дома своего соседа, которого исполнял Дэвид Линч. он проник в подвал и нашел странные бумаги о заключении коммерческое предложение на поставку оборудования по производству воды из воды, большего объема из меньшего, там было слово красивое, но я забыл его как проснулся.

Потом он с этими бумагами заходит домой, берет отвёртку, и преследует соседа, у него какие-то свои мотивы, которые я не понял. Пытается ударить соседа, но на улице постоянно возникают свидетели. Так, они доходят до пустыря, где сосед перестает его игнорировать и говорит, классно что ты пришел и взял эти бумаги, я как раз их забыл, да, там нужна и твоя подпись. чувак просто в шоке, не понимает, они ставят подписи, и тут начинается ливень, а бумаги очень тонкие, без папки, короче, бумага приходит в негодность. и я просыпаюсь.

да, вспоминаю самый сок. среди бела дня звонит мне какая-то девушка, коллега из другого офиса, даже города. спрашивает меня про плагин для idea, которым я форматировал код.... а я не помню, чтобы она на нашем проекте была, вообще не понимаю, что такое..

— мы знакомы?
— не думаю. так что за плагин?
— понятия не имею, о чём ты. идеей не пользуюсь.
— не ври мне, я на твой коммит смотрю..

она начинает надоедать. наглость, бестактность, ... смотрю должность, junior. фигасе, джуны пошли борзые..

— так, давай сначала. идеей я не пользуюсь, тут стоит емакс, давай пошарю экран, что там было, sql, java, давай покажу? C-x h M-\
— что это за бред, в моей идее нет такого плагина, сочетание не работает, признавайся?

тут я не выдержал и прессанул её.

выяснилось, что пару лет назад я месяц подменял коллегу из-за непредвиденных обстоятельств и раскопал плавающую багу, тянущую на миллион. весь месяц ушел на переписывание plsql пакета, включая и немного джавы. там и оставил след.

пылу дерзить у неё поубавилось.

— Сегодня мы продолбали аж целых 2 майлстоуна (из 4).
— И теперь мы заняли лавры первенства косячников года, оставив коллег из Индии далеко позади.

Впереди ещё два дна, которые можно пробить. Причем явно один костыль надо переписать, без него никак.