Первотэг, оказывается!
# uptime
18:15:01 up 21 days, 7:11, 2 users, load average: 40.63, 36.22, 47.52
# ifconfig eth0|grep bytes
RX bytes:4119896355618 (3.7 TiB) TX bytes:29937542364566 (27.2 TiB)
как распознать диванных хайлоадщиков? >сли просят распарсить большой объем данных быстрее, чем его можно прочитать с хдд — значит хипсторы
SSL и правда на столько медленный или у меня руки кривые? nginx по http обрабатывает по 5к запросов в секунду, и среднее время ответа не больше 200мс, на том же сервере по https обрабатывает около 70-200 запросов в секунду и ответы по секунде и больше, периодически достигая минуты. Процессоры загружены не более чем на 15-20% память почти вся свободная
Преамбула: Я разрабатывал, в основном, десктопные приложения. Сетевые писал в специфичной области, где 3 клиента на сервер — уже много.
Ковыряем тут архитектуру сервера для нового проекта. Сдесь затык, там асинхронщина, и вот уже в проекте и NoSQL (Redis), и очереди сообщений (ZMQ), и всякое другое хипстерство :)
в общем, перефразирую Митця:
— Ну а згодом? Про наслідкі можливі не подумать? Один лиш тількі раз і вже "хайлоад" крадеться з своїю усмішкою хижой. Макбуки, рубі, кєди, смузі та коворкінг...
шёл 2014 год, а в новый год как связь не работала так и не работает, сукабля
Котаны, а что сейчас есть модного для реализации хайлоад электропочты? Или брать спеку и эрланг?
кстати, жуйк, у меня тут совершенно внезапно оказались записи с конференции хайлоад++ за 2012 год. 5 двд. Кому-нибудь интересно?
Срочный вопрос: какие в следующем году интересные конференции по Python, highload, big data, machine learning?
Сейчас узнал как работает хайлоад поиск и хранения некоторого набора информации в одной кампании, занимающейся контекстной рекламой. Местные мастера умудрились намутить обёртку прямо поверх dev, и писать/читать прямо туда/оттуда. Монструозный велосипед, который вполне понятен на уровне сотен миллиардов записей.
Всё-таки порой чувствую себя полным нубом в кодинге.
highscalability.com — вы ебанулись? Я люблю питон, често, но OK, it can use too much memory and be too slow. Not a big deal on the server side, just buy bigger machines. — это же ебаный пиздец, повышать скорость работы софта за счет пользователя — это же ебаный пиздец и фейл по все поля.
Установили новый рекорд нагрузки, 2500 rps. Всё, большего пока и не нужно. Осталось поднять нормальный мониторинг, дабы следить за ситуацией, и понять, как нормально обойти балансер.
*фейспалм
Таки покорили тысячу запросов в секунду. Затыкал, оказывается, сраный амазоновый балансер. Всё-таки облака — это лютое, неюзабельное говно для хипстеров и ниасиляторов. Нирикаминдую.
Всё, мы окончательно ебанулись. Неделя нагрузочного тестирования не проходит даром. Поприседали на все возможные дилды с нжинксом и отсутствующими профилированием/мониторингом. Поднялись со 120 до 850 rps. Хотим больше. Следующий шаг — несколько гуникорнов под одним нжинксом. We need to go deeper.
Тут говорят, что выражение «High Load» — русизм, больше так никто не говорит. То-то меня раздражает его непонятность. Правильно писать «Hight Availability». Теперь всё встало на свои места. Нагрузка на серверах вообще никак не связана с желаемым результатом — доступностью сервисов. Отныне и присно, и во веки веков буду гнобить «High Load»
Да что ж это весь хайлоад на PHP-то.
А скажите, с каких числовых значений начинается этот ваш хайлоад? Есть ли какая-то метрика, по которой можно однозначно сказать, хайлоад ли у меня или нет?
Пока ехал в поезде обратно написал 60% впечатлений о хайлоаде, наконец нашёл время их выкатить:
libc6.org
libc6.org
Опубликовали слайды: slideshare.net
Сел в третьем зале. Слушаю про использование MySQL в Амазоне.
Собираю вещи — еду на HighLoad++ =)
Нагрузочное тестирование сервера пройдено удачно, ни единого падения, даже проц не захлебывался.
Ничего вы не знаете о высоких нагрузках! habrastorage.org
Кто-нибудь видел софтину, создающую простую очередь строк в памяти? Писать хочу многопоточно, а читать одним потоком. Есть такой софт?
Поиск мечты: есть какая-нибудь распределённая ФС, которая умеет:
— управляемый, на уровне отдельного файла, мирроринг(между машинками) и кэширование(в память)
— управляемое шифрование, опять же per file
— дедуплецирование
— настраиваемый механизм кэширования, а не просто lru
instagram-engineering.tumblr.com — рассказ про архитектуру Instagram.
Краткое резюме:
1. Amazon EC2 — для хостинга.
2. Ubuntu 11.04 — основная OS.
3. PostgreSQL (12 Quadruple Extra-Large High-Memory nodes + 12 replicas) — для основной части данных. Pgbouncer для пулинга.
4. Redis (several Quadruple Extra-Large Memory nodes) — для фидов и сессий.
5. PostGIS → Apache Solr — для гео-поиска.
6. Memcached (6 instances) — для... ни за что не угадаете. Не используют Amazon Elastic Cache, потому что невыгодно экономически.
7. Django (>25 High-CPU Extra Large nodes) over Gunicorn — для динамики.
8. Nginx (3 nodes) позади Amazon Elastic Load Balancer (проверяющим их доступность) — для балансировки загрузки. ELB также и терминирует SSL.
9. Amazon Route 53 — для DNS.
10. Fabric — для автоматизации деплоймента.
11. Gearman — для очереди задач. PyAPNS — PUSH-нотификации.
12. Munin — метрики. Sentry — error reporting. Pingdom — внешний мониторинг доступности. PagerDuty — информация о инцидентах.
Кто-нибудь использовал Varnish? Как впечатления?
В целом не так уж и плохо. Особенно еды было много =Р
А вы чем доставляете файлы до серверов со статикой?
Херово когда тимлид не знает, что такое задержка и пропускная способность
Мне нужно выбрать БД для будущего достаточно нагруженного приложения. Основная задача — хранение большого количества данных вида ключ — значение (значения). Сейчас выбор стоит между MySQL и PostrgeSQL. С PostgreSQL работал мало^W^Wне работал почти совсем.
Основные критерии — надежность, скорость и масштабируемость.
Что выбрать и в кратце почему, Жуйк? Спасибо.
В связи с #1369483 возник такой вопрос — а если сервер будет держать два каталога с хардлинками от картинок, боевой и приватный, и при удалении стирать хардлинки из боевого каталога, его постигнет смерть от фрагментации?
Вышла первая стабильная версия nginx. День выбран отлично. Игорь молодец. linux.org.ru
Жуиск, ты как бы ворочал матрицы, скажем, 1.000.000 на 1.000.000? Я вот слышал много всяких модных слов типа "хадуп", "piccolo" и MapReduce, они большой оверхэд дадут по сравнению с нативным велосипедом?
Первый опыт работы с Handler Socket & php_handlersocket habrahabr.ru
Не стоит мне больше запускать siege с локальной машины. Заблочили через 5 минут из-за "вирусной активности".
graylog2.org Какая хорошая штучка! Это целая система логгинга с поддержкой AMQP. Как оно красиво, интересно и вкусно, но... Ест не мало ресурсов(на джаве написано, к слову), да и применять особо негде.
Недавно попалось День HighLoad++ в Mail.Ru video.mail.ru
What the heck are you actually using NoSQL for? t.co