офесное
ПРИХОДИТЕ КО МНЕ РАБОТАТЬ
вакансия
big data senior software engineer
Что мы делаем:
Juno делает сервис такси, а мы в джуно делаем платформу для аналитики данных.
Данных много, они разные, надо их собирать и обрабатывать. Надо помогать
делать обработку удобнее внутренним заказчикам — дата саенсу, бизнес интеллидженсу,
саппорту.
Нюансы наших задач:
Данные прилетают из разных сервисов и в разном порядке:
некоторые сообщения могут запаздывать, логически
последовательные события могут прилететь в хаотичном порядке.
Надо их все собрать, ничего не потерять, никого не забыть
и что-то посчитать.
Консистентно, с устойчивостью к перезапускам обработчика,
к перевыгрузке данных, к данным поступившим с опозданием.
Данных у нас пока не много, может с десяток терабайт,
но хватает задач по объединению и разметке входящих событий:
один только цикл поездки порождает пару десятков ивентов,
с помощью которых надо например разметить поток координат,
влетающий на скорости десятков тысяч в секунду.
Что мы используем:
Kinesis, S3, Hadoop, Impala, Kudu, Spark, Flink.
Нам нужен матёрый Java или Scala разработчик стриминг и батч приложений.
Что важно:
— хорошо разбираться как устроен Spark или Flink:
знать, как устроены чекпоинты, где хранится стейт, как поджойнить
два стрима, что такое вотермарки
— не бояться написать новый коннектор для записи или чтения данных
— уметь интегрировать R-tree индекс для поиска вхождения точек в полигоны
— разбираться в концепте Complex Event Processing и знать, что такое FSM
Почему надо идти к нам:
Будете создавать новый продукт, принимать решения и отвечать за них.
Не просто писать код, а в реальном времени влиять на продукт на основе данных:
спрос-предложение, прайсинг.
Можно заниматься машинным обучением или визуализацией данных.
Из социальных благ:
У нас есть командировки в Израиль и США.
Колбаса, фрукты, йогурты, сок, хороший кофе и другие напитки.
