Чтобы добавлять сообщения и комментарии, .

@Dimez:
Dimez

Первотэг, оказывается!
# uptime
18:15:01 up 21 days, 7:11, 2 users, load average: 40.63, 36.22, 47.52
# ifconfig eth0|grep bytes
RX bytes:4119896355618 (3.7 TiB) TX bytes:29937542364566 (27.2 TiB)

@zxc-by:
zxc-by

как распознать диванных хайлоадщиков? >сли просят распарсить большой объем данных быстрее, чем его можно прочитать с хдд — значит хипсторы

@mihael:
mihael

ruhighload.com

@Hamper:
Hamper

SSL и правда на столько медленный или у меня руки кривые? nginx по http обрабатывает по 5к запросов в секунду, и среднее время ответа не больше 200мс, на том же сервере по https обрабатывает около 70-200 запросов в секунду и ответы по секунде и больше, периодически достигая минуты. Процессоры загружены не более чем на 15-20% память почти вся свободная

@bitfield:
bitfield

Преамбула: Я разрабатывал, в основном, десктопные приложения. Сетевые писал в специфичной области, где 3 клиента на сервер — уже много.

Ковыряем тут архитектуру сервера для нового проекта. Сдесь затык, там асинхронщина, и вот уже в проекте и NoSQL (Redis), и очереди сообщений (ZMQ), и всякое другое хипстерство :)

в общем, перефразирую Митця:
— Ну а згодом? Про наслідкі можливі не подумать? Один лиш тількі раз і вже "хайлоад" крадеться з своїю усмішкою хижой. Макбуки, рубі, кєди, смузі та коворкінг...

@green:
green

шёл 2014 год, а в новый год как связь не работала так и не работает, сукабля

@green:
green

Котаны, а что сейчас есть модного для реализации хайлоад электропочты? Или брать спеку и эрланг?

@green:
green

кстати, жуйк, у меня тут совершенно внезапно оказались записи с конференции хайлоад++ за 2012 год. 5 двд. Кому-нибудь интересно?

@XAR:
XAR

Срочный вопрос: какие в следующем году интересные конференции по Python, highload, big data, machine learning?

@tosh:
tosh

Сейчас узнал как работает хайлоад поиск и хранения некоторого набора информации в одной кампании, занимающейся контекстной рекламой. Местные мастера умудрились намутить обёртку прямо поверх dev, и писать/читать прямо туда/оттуда. Монструозный велосипед, который вполне понятен на уровне сотен миллиардов записей.
Всё-таки порой чувствую себя полным нубом в кодинге.

@13oz:
13oz

highscalability.com — вы ебанулись? Я люблю питон, често, но OK, it can use too much memory and be too slow. Not a big deal on the server side, just buy bigger machines. — это же ебаный пиздец, повышать скорость работы софта за счет пользователя — это же ебаный пиздец и фейл по все поля.

@tosh:
tosh

Установили новый рекорд нагрузки, 2500 rps. Всё, большего пока и не нужно. Осталось поднять нормальный мониторинг, дабы следить за ситуацией, и понять, как нормально обойти балансер.

@tosh:
tosh

*фейспалм
Таки покорили тысячу запросов в секунду. Затыкал, оказывается, сраный амазоновый балансер. Всё-таки облака — это лютое, неюзабельное говно для хипстеров и ниасиляторов. Нирикаминдую.

@tosh:
tosh

Всё, мы окончательно ебанулись. Неделя нагрузочного тестирования не проходит даром. Поприседали на все возможные дилды с нжинксом и отсутствующими профилированием/мониторингом. Поднялись со 120 до 850 rps. Хотим больше. Следующий шаг — несколько гуникорнов под одним нжинксом. We need to go deeper.

@Zert:
Zert

Тут говорят, что выражение «High Load» — русизм, больше так никто не говорит. То-то меня раздражает его непонятность. Правильно писать «Hight Availability». Теперь всё встало на свои места. Нагрузка на серверах вообще никак не связана с желаемым результатом — доступностью сервисов. Отныне и присно, и во веки веков буду гнобить «High Load»

@XAR:
XAR

Да что ж это весь хайлоад на PHP-то.

@Zert:
Zert

А скажите, с каких числовых значений начинается этот ваш хайлоад? Есть ли какая-то метрика, по которой можно однозначно сказать, хайлоад ли у меня или нет?

@librarian:
librarian

Пока ехал в поезде обратно написал 60% впечатлений о хайлоаде, наконец нашёл время их выкатить:
libc6.org
libc6.org

@ostin:
ostin

Опубликовали слайды: slideshare.net

@librarian:
librarian

Сел в третьем зале. Слушаю про использование MySQL в Амазоне.

@ostin:
ostin

Собираю вещи — еду на HighLoad++ =)

@MadAdmin:
MadAdmin

Нагрузочное тестирование сервера пройдено удачно, ни единого падения, даже проц не захлебывался.

@Dema:
Dema

Ничего вы не знаете о высоких нагрузках! habrastorage.org

@idler-max:
idler-max

Кто-нибудь видел софтину, создающую простую очередь строк в памяти? Писать хочу многопоточно, а читать одним потоком. Есть такой софт?

@korchasa:
korchasa

Поиск мечты: есть какая-нибудь распределённая ФС, которая умеет:
— управляемый, на уровне отдельного файла, мирроринг(между машинками) и кэширование(в память)
— управляемое шифрование, опять же per file
— дедуплецирование
— настраиваемый механизм кэширования, а не просто lru

@amyodov:
amyodov

instagram-engineering.tumblr.com — рассказ про архитектуру Instagram.

Краткое резюме:

1. Amazon EC2 — для хостинга.
2. Ubuntu 11.04 — основная OS.
3. PostgreSQL (12 Quadruple Extra-Large High-Memory nodes + 12 replicas) — для основной части данных. Pgbouncer для пулинга.
4. Redis (several Quadruple Extra-Large Memory nodes) — для фидов и сессий.
5. PostGIS → Apache Solr — для гео-поиска.
6. Memcached (6 instances) — для... ни за что не угадаете. Не используют Amazon Elastic Cache, потому что невыгодно экономически.
7. Django (>25 High-CPU Extra Large nodes) over Gunicorn — для динамики.
8. Nginx (3 nodes) позади Amazon Elastic Load Balancer (проверяющим их доступность) — для балансировки загрузки. ELB также и терминирует SSL.
9. Amazon Route 53 — для DNS.
10. Fabric — для автоматизации деплоймента.
11. Gearman — для очереди задач. PyAPNS — PUSH-нотификации.
12. Munin — метрики. Sentry — error reporting. Pingdom — внешний мониторинг доступности. PagerDuty — информация о инцидентах.

@stanis:
stanis

Кто-нибудь использовал Varnish? Как впечатления?

@teferi:
teferi

В целом не так уж и плохо. Особенно еды было много =Р

@korchasa:
korchasa

А вы чем доставляете файлы до серверов со статикой?

@korchasa:
korchasa

Херово когда тимлид не знает, что такое задержка и пропускная способность

@lomalkin:
lomalkin

Мне нужно выбрать БД для будущего достаточно нагруженного приложения. Основная задача — хранение большого количества данных вида ключ — значение (значения). Сейчас выбор стоит между MySQL и PostrgeSQL. С PostgreSQL работал мало^W^Wне работал почти совсем.
Основные критерии — надежность, скорость и масштабируемость.
Что выбрать и в кратце почему, Жуйк? Спасибо.

@borman:
borman

В связи с #1369483 возник такой вопрос — а если сервер будет держать два каталога с хардлинками от картинок, боевой и приватный, и при удалении стирать хардлинки из боевого каталога, его постигнет смерть от фрагментации?

@korchasa:
korchasa

Вышла первая стабильная версия nginx. День выбран отлично. Игорь молодец. linux.org.ru

@chemikadze:
chemikadze

Жуиск, ты как бы ворочал матрицы, скажем, 1.000.000 на 1.000.000? Я вот слышал много всяких модных слов типа "хадуп", "piccolo" и MapReduce, они большой оверхэд дадут по сравнению с нативным велосипедом?

@Irbis:
Irbis

browsertoolkit.com

@korchasa:
korchasa

Первый опыт работы с Handler Socket & php_handlersocket habrahabr.ru

@korchasa:
korchasa

Не стоит мне больше запускать siege с локальной машины. Заблочили через 5 минут из-за "вирусной активности".

@iorlas:
iorlas

graylog2.org Какая хорошая штучка! Это целая система логгинга с поддержкой AMQP. Как оно красиво, интересно и вкусно, но... Ест не мало ресурсов(на джаве написано, к слову), да и применять особо негде.

@zoonman:
zoonman

Недавно попалось День HighLoad++ в Mail.Ru video.mail.ru

@korchasa:
korchasa

What the heck are you actually using NoSQL for? t.co