Пару дней назад чудовищно возросла нагрузка на io сервера. Вот просто, практически единомоментно. Интересно, что если останавливать PHP в контейнере Авиабазы, то все оставшиеся сервисы начинают летать. В т.ч. PHP в других контейнерах. Если работает PHP Авиабазы, то тормозят диск чаще не его процессы, а nginx, раздающий мелкую статику...
Если число параллельных процессов PHP в контейнере Авиабазы резко ограничивать и урезать время работы каждого — всё начинает более-менее работать. Так сейчас и выкручиваюсь. Если увеличивать число процессов и/или возвращать время работы, всё начинает резко тормозить.
Сегодня вообще прикол обнаружил. Попутно логгирую тяжёлые PHP-скрипты через xhprof, чтобы видеть, что тормозит. Обычно тормозят (sic!) MySQL-запросы (третья сущность в области тормозов). Но, вдруг, вижу, как PHP-скрипт в течении 129 секунд ожидал выполнения функции session_start(). Ну да, понятно, она файл сессии пишет на диск и когда диск тормозит, всё может тоже виснуть. Вот только файлы сессии пишутся в ... tmpfs. Т.е. оно 129 секунд ждало очереди на запись в RAM-диск o_O.
В общем, в системе какие-то кранты с io и не похоже, что это проблема с HDD (smartctl/mdadm/dmesg — всё идеально). Пока планирую тупо снимать нагрузку, перенося часть тяжёлых операций на другие сервера. Но это — косметика поверх трупных пятен зомби, какая-то.
"На конференции I/O было объявлено, что приложения Chrome, YouTube и Карты Google для Android смогут работать в офлайн-режиме, передаёт iguides.
Эти возможности пригодятся жителям развивающихся стран, где интернет очень дорогой и работает с перебоями. В Chrome можно будет сохранять статьи для чтения в офлайн-режиме, на YouTube кэшировать видео, а в Картах Google будет доступен даже справочник организаций и голосовой навигатор.
Ранее Google выпустила приложение YouTube с офлайн-режимом для пользователей Android One в Индии. Обновленные приложения Chrome, YouTube и Google Maps будут доступны во всех странах."
Почему в жопе мира можно купить хромбук за 150, "хайкволити" смарт андроид оне, а в РБ нельзя? Мы хуже индии? Тут тоже полно бедных белорусиков с зп в 150 баксов и хреновый инет)
Также я не совсем понял в ебенях можно нормально в офлайне юзать ютуб и карты? А что мешает их всюду сделать рабочими офлайн?
Google серьезно продвинулся в машинном обучении. Походу получить такие возможности нахаляву и приватно будет не реально, в силу большой сложности задачи для опенсорса. Распознавание контекста — прикольная фича. Интересно на апи для прилаг посмотреть.
Распознавание фоток... я даже начал задумываться о Г+ акке и жертве гуглу инфы)
Что почитать, чтобы в самых подробностях понимать, что происходит с данными от вызова write(fd, buf, len) до окончательного физического "размещения" данных внутри харда?
Есть ли что-нибудь хоть отдалённо плавно усваиваемое и информативное по аналогии с этим (пусть и не в одном месте), или придётся, укусив псилоцибина и запив бензином, читать, интерпретировать и трейсить в голове листинги ведра, дров и прошивок?
Ящетаю, это должен знать каждый инженер, сталкивающийся с хранением данных и решающий любые проблемы уровнем выше совсем жуниоров. И, поэтому, каждый раз, когда я прихожу в районный магазин за хлебом, я не знаю как смотреть честным людям в глаза. От незнания таких базовых вещей меня охватывает жгучий, мучительный стыд, кассиры укоризненно качают головой, охранники провожают меня взглядом, полным презрения, а стоящие недалеко от входа весёлые джентльмены и вовсе освистывают.
(i have no idea, зачем я это сюда пишу, причем первым постом, но что-то вдруг захотелось)
Листая в brendangregg.com пример с мускулом, тут же вспомнил про временно отложенные неразрешенные монгопытки и осознал одну хитроту. Но сначала — прелюдия.
Вышло, что вороне где-то б-г послал кусочек монги, под мелкой но нагрузкой. Запросы тормозят, причем периодически разными скачками вроде бы без явного паттерна и корреляции с другими показателями, а для усиления ощущений она обитает на эмозоне и не умещается в память. Про себя она какие-то чиселки рассказывает, но бессвязные — не складывается картина, вобщем. Но периодически плотно шуршит iowait. И вроде и не локи, и user/sys не высок.
Закрадывается мысль — а вдруг это и правда io-боттлнек. И вариант "послать аффтарам бомбу с гвоздями и открыткой; переписать уже наконец под человеческий поцгрес" возможно просто так и не сработает (а тестить долго, сложно и синтетично). Особенно, учитывая что это омасон, т.е. неизвестно, что или кто там вместо харда, и сколько еще лохов сидят с тобой на железке и чем занимаются; прям как в старое доброе пыховековье.
И вот щас щелкнуло, что сферическое упирание в io (как и во всё прочее) — очень неоднозначная штука, т.к. io можно закодерировать неэффективно. Размеры страниц-буферов, шедулинги операций, журнал, да мало ли что еще. Мысль-то тривиальная конечно, но при прошлом обдумывании почему-то не возникла.
И вот интересно, как такое диагнозировать. Из первого, что приходит в голову — потрейсить какие-то сисколлы (впрочем с mmap-то это наверно вместе с ведром надо трейсить..), порисовать всякие длины, locality. Вобщем, что-то такое как профайлинг, но под адскую специфику disk io. А для исключения облакодилд погонять генерилку искуственного ровного io на предмет скачков (но это опять же, синтетика).
В рукаве еще есть карты под задачу — частично вынести запись за очередь с ручным батчингом, например, но хочется именно научиться аналитически отлаживать, по-инженерному, мол.
пичалька с этим куском мамонта Приложение не совместимо с вашим устройством Acer E310 @ 2.2.Да к тому же и GTalk заморозил, так что еще неизвестно как бы прошло...
А вы уже обновились? Судя по отзывам в play похоже не стоит расстраиваться, да? %)
Новый супер дупер апи для Андроида на демке зафейлил. Со всех дыр говно лезет с андроида, даже показать нормально не могут. Особенно клевый был главный спикер, речь которого нормально разобрать смогут только индусы. Хотя, кому еще эта поделка надо.
Господа, есть вопрос по кондуитам.
Я хочу доработать биндинги для memcached-а. И одна из идей была использовать conduit-ы. И как я сейчас понимаю для этой задачи source/sink не особо то и нужны (т.е. обработка чанками в константной памяти конечно прикольно, однако в моём случае я всегда знаю размер), с другй стороны в yesod-е всё в resourceT и будет освобождение ресурсов в случае ексепшена.
Собственно вопрос, какие есть альтенативы и есть ли они вообще.
А вѣдь у человѣка фактически отсутсвтуютъ устройства ввода/вывода.
Взять, напримѣръ, такой распространенный у человѣковъ способъ какъ «чтенiе». Использовать человѣческiй глазъ, различающiй цвѣта во всемъ ихъ великолѣпiи, оптическiй аппартатъ, равно пригодный и для наблюденiя за звѣздами, и за песчинками, одновременно воспринимающiй объекты, свѣтимость которыхъ различается въ тысячи и десятки тысячъ разъ, бинокулярность котораго удивляетъ и потрясаетъ, — и все это только для того, что различить 35 буквъ русскаго алфавита, черныя на бѣломъ полѣ или зеленыя на черномъ… (консоль).
Человѣческiе руки, оснашенныя десятками мускуловъ — использовать это чудо для «набиванiя» текстовъ? Еще одинъ абсурдъ!
Когда, наконецъ, всѣхъ насъ оснастятъ чипами и подключатъ къ матрицѣ?
Io выглядит достойным примером не самой лучшей реализации отличной идеи, количество неприятных открытий увеличивается каждый день. Я промолчу про то что строковый тип называется Sequence, а аналог "".startswith() из Python выглядит как "" beginsWithSeq(), но промолчать про то, что Sequence at() возвращает __код__ символа, я просто не могу:
Io> "Hello world" at(0)
==> 72
Io> "Hello world" at(0) asCharacter
==> "H"
Интересно о чем думал человек, написавший этот метод? Коллега Io по этому безумию — Erlang, но там такое уродство вызвано тем, что строки реализованы как списки символов...
а Io пользует qsort, прямо неловко как-то, 21й век вроде бы...а еще исходники у него запутанные, и документация странная, так и хочется Стиву Декорте наговорить всякого
