← All posts tagged fat-tree

netneladno
Сотрудник Google признался в намеренной дискредитации образа российских городов при помощи сервиса Google Street View

Графические дизайнеры компании создавали фальшивый мусор и ямы на дорогах.
netneladno
TIL of the Great Whiskey Fire of Dublin that killed 13 people in 1875. None perished as a result of smoke inhalation or burns. All victims died of alcohol poisoning by drinking the whiskey flowing through the streets.
netneladno
офесное ПРИХОДИТЕ КО МНЕ РАБОТАТЬ

вакансия
big data senior software engineer

Что мы делаем:
Juno делает сервис такси, а мы в джуно делаем платформу для аналитики данных.
Данных много, они разные, надо их собирать и обрабатывать. Надо помогать
делать обработку удобнее внутренним заказчикам — дата саенсу, бизнес интеллидженсу,
саппорту.

Нюансы наших задач:
Данные прилетают из разных сервисов и в разном порядке:
некоторые сообщения могут запаздывать, логически
последовательные события могут прилететь в хаотичном порядке.
Надо их все собрать, ничего не потерять, никого не забыть
и что-то посчитать.
Консистентно, с устойчивостью к перезапускам обработчика,
к перевыгрузке данных, к данным поступившим с опозданием.

Данных у нас пока не много, может с десяток терабайт,
но хватает задач по объединению и разметке входящих событий:
один только цикл поездки порождает пару десятков ивентов,
с помощью которых надо например разметить поток координат,
влетающий на скорости десятков тысяч в секунду.

Что мы используем:
Kinesis, S3, Hadoop, Impala, Kudu, Spark, Flink.

Нам нужен матёрый Java или Scala разработчик стриминг и батч приложений.
Что важно:
— хорошо разбираться как устроен Spark или Flink:
знать, как устроены чекпоинты, где хранится стейт, как поджойнить
два стрима, что такое вотермарки
— не бояться написать новый коннектор для записи или чтения данных
— уметь интегрировать R-tree индекс для поиска вхождения точек в полигоны
— разбираться в концепте Complex Event Processing и знать, что такое FSM

Почему надо идти к нам:
Будете создавать новый продукт, принимать решения и отвечать за них.
Не просто писать код, а в реальном времени влиять на продукт на основе данных:
спрос-предложение, прайсинг.
Можно заниматься машинным обучением или визуализацией данных.

Из социальных благ:
У нас есть командировки в Израиль и США.
Колбаса, фрукты, йогурты, сок, хороший кофе и другие напитки.
netneladno
ололо жыр из пдф про паксос

To maintain B2, a ballot’s quorum was chosen to contain a µαδζ∂ωριτ˘ιστ of priests. Initially, µαδζ∂ωριτ˘ιστ just meant a simple majority. Later, it was observed that fat priests were less mobile and spent more time in the Chamber than thin ones, so a µαδζ∂ωριτ˘ιστ was taken to mean any set of priests whose total weight was more than half the total weight of all priests, rather than a simple majority of the priests. When a group of thin priests complained that this was unfair, actual weights were replaced with symbolic weights based on a priest’s attendance record. The primary requirement for a µαδζ∂ωριτ˘ιστ was that any two sets containinga µαδζ∂ωριτ˘ιστ of priests had at least one priest in common. To maintain B2, the priest initiatinga ballot B chose Bqrm to be a majority set.
netneladno
господа инженеры, объясните мне, ебанько немытому, почему lsm-tree это у нас внезапно Оптимизированы под ssd?
насколько я знаю, именно hdd любят последовательный доступ, и весь поинт ssd в рандомном доступе
так они блядь везде везде суют лсм как оптимизированные под ssd в том смысле что io последовательное

ну как так можно людям ссать в уши-то
netneladno
PostgreSQL ебать пушка
1. Is there any way to specifically set stats on a functional index?
Sure, the same way you would for a table.

regression=# create table foo (f1 int, f2 int);
CREATE TABLE
regression=# create index fooi on foo ((f1 + f2));
CREATE INDEX
regression=# \d fooi
     Index "public.fooi"
Column |  Type   | Definition
--------+---------+------------
expr   | integer | (f1 + f2)
btree, for table "public.foo"

regression=# alter index fooi alter column expr set statistics 5000;
ALTER INDEX

The weak spot in this, and the reason this isn't "officially" supported,
is that the column name for an index expression isn't set in stone.
But as long as you check what it's called you can set its target.
netneladno
про риалтайм поиск в твайторе

Earlybird was introduced in October 2010, and the search architecture shown in Figure 1 was launched in May 2011.
Both replaced infrastructure that was created by Summize, a company Twitter acquired in July 2008. As a first-generationsystem, it offers an interesting reference point for comparison.
The Summize search infrastructure used Ruby on Rails for the front end and MySQL for the back end. Inverted indexes were constructed in MySQL, leveraging transactions and its B-tree data structures to support concurrent indexing and retrieval. We were able to scale our MySQL-based solution surprisingly far by partitioning the index across multiple inmemory databases and replicating the Rails front-end. In 2008, Twitter search handled an average of 20 tweets per second (TPS) and 200 queries per second (QPS). Just before it was retired in October 2010, the MySQL-based solution was handling 1000 TPS and 12000 QPS on average.
The basic configuration of an Earlybird server is a commodity machine with two quad-core processors and 72 GB memory. We typically allocate 64 GB heap space for the JVM. A fully-loaded active index segment with 16 million documents occupies about 6.7 GB memory. Index optimization typically saves around 55% memory (i.e., the optimized readonly index is a bit less than half the size of the original). On a single index segment with 16 million tweets, we achieve 17000 QPS with a 95th percentile latency of <100 ms and 99th percentile latency of <200 ms using 8 searcher threads. Pushing the query load even higher results in increases of the 95th and 99th percentile latencies to unacceptably high levels. On a fully-loaded Earlybird server (144 million tweets), we can achieve about 5000 QPS with 95th percentile latency of 120 ms and 99th percentile latency of 170 ms.
netneladno
Hey Faggots,
My name is John, and I hate every single one of you. All of you are fat, retarded, no-lifes who spend every second of their day looking at stupid ass pictures. You are everything bad in the world. Honestly, have any of you ever gotten any pussy? I mean, I guess it’s fun making fun of people because of your own insecurities, but you all take to a whole new level. This is even worse than jerking off to pictures on facebook.
Don’t be a stranger. Just hit me with your best shot. I’m pretty much perfect. I was captain of the football team, and starter on my basketball team. What sports do you play, other than “jack off to naked drawn Japanese people”? I also get straight A’s, and have a banging hot girlfriend (She just blew me; Shit was SO cash). You are all faggots who should just kill yourselves. Thanks for listening.
Pic Related: It’s me and my bitch
d37nnnqwv9amwr.cloudfront.net