sysbench сказал мне, что на отдельном ноде мускуль работает быстрее чем вместе с битриксом, так вот какого хоя тогда через сокеты оно в 3 раза быстрее из базы читает, чем через TCP на гигабитном приватном канале.
dev-haskell/progression !! вот что я раньше так искал. Коротко: либа гоняет критерионовые бенчмарки и позволяет сравнивать результаты разных версий программы.
Кстати, вышли новые результаты пенисомерки уёб-фреймворков — techempower.com и yesod уже не показывает столь мрачных результатов (более худше чем php), как в предыдущих выпусках
Решил я побаловаться с большими объемами данных в sbcl. Взял лог, откусил от него 1 250 000 строк и попарсил их.
Парсер cl-ppcre
Код читает файл, выкуривает оттуда дату/время, процесс, пид, хост и сообщение, записывает в один массив хосты (он у меня один) в один — название процесса ( у меня вышло около 25), в один массив дату, сообщение, индекс хоста, индекс процесса, pid. Потом все это пишется в лиспофайл (with-standard-io-syntax).
Итоги:
размер лога — 158602612 (1250000 записей)
размер итогово лиспофайла — 219861450
Время парсинга — 45 секунд.
Время записи лиспофайла — 45 секунд.
Потребление памяти (RES) — ~1050 mb.
Потом этот файл загружается в sbcl:
Время загрузки — около 55 секунд,
Время сортировки по сообщениям:
(sort a #'string< :key #'(lambda (record) (getf record :message))) — 22 секунды.
Время сортировки по процессу (типа int foreign key): — около 1 секунды.
Время фильтрации: мгновенно (явно меньше секунды).
Железо — core 2 duo t7250 2gHz. Иксы и всякая хрень запущена, единственное что не давал свопить, закрывая всякие браузеры (рамы мало, всего 2gb).
Gentoo amd64-3.2.12.
Теперь вопрос — как бы побороть ограничение в лице памяти? Есть ли какие-то подобные штуки со сбросом данных на диск? Есть интересные статьи о подобных вещах?
Что никогда не понимал и не пойму — почему и зачем делают 10 замеров, и считают СРЕДНЕЕ при выполнении статического теста?!
Ладно если на входе рандомные данные, там понятно.
Но если на входе константа, выход константа, и вы хотите избавиться от разброса случайых помех от левых приложений в системе...
!!! НАДО ВЫЧИСЛЯТЬ МИНИМУМ !!!
libpsyc has rapidly reached production status. It has a lightning fast implementation of the PSYC syntax, which beats popular XML and JSON format parsers by at least a factor of four if not a lot more. about.psyc.eu lib.psyc.eu about.psyc.eu
Маленький бенчмарк и его результаты:
lisp:
(defun simple(max)
"Search for simple numbers up to max"
(setq current-numbers (list 2))
(do ((num 3 (incf num 2)))
((> num max))
(setf found T)
(dolist (prev current-numbers)
(if (= 0 (mod num prev)) (PROGN (setf found NIL) (return)))
(if (> prev (/ num 2)) (return)))
(if found (PROGN (nconc current-numbers (list num))
(print num)))
)
)
(simple 100000)
python:
numbers = [2]
maxNum = 100000
new = 1
for i in xrange(3,maxNum):
for j in numbers:
if j>i/2:
break
if i%j == 0:
new = 0
break
if new == 1:
print i
numbers.append(i)
new = 1
print "\nTotal numbers: ",len(numbers)
*Итоги*:
*clisp:*
real 1m28.242s
user 1m27.110s
sys 0m1.266s
*sbcl:*
real 0m6.794s
user 0m6.615s
sys 0m0.114s
*python:*
real 0m10.486s
user 0m10.446s
sys 0m0.017s
за лиспокод не пинать - поиск простых чисел это мой hello world за последние 15 лет.
написал парсер логов на golang, всё в одном треде, просто читается лог, композятся структурки, периодически обсчитываются, сбрасываются в мусор, результат обсчитывания выводится на stdout. скомпилил стандартным компилятором (6g) и gccgo. бинарник, скомпиленный gccgo работает примерно в 4 раза медленнее. такие дела.
Google обновил свой яваскрипт-движок до версии 3.0. Если верить результатам тестирования (см. страницу по ссылке), V8 обогнал FireFox'овский Kraken. conceivablytech.com
Phoronix сравнили Reiser4 с ext4 ( phoronix.com ). Кратко, но достаточно интересно. Кроме того, всё больше меня заинтересовывает btrfs — надо опробовать на SSD в ноуте или на десктопе.
