← All posts tagged feedex.net

Nikolay
Python feedex.net mq celery отказался от развесистой celery (message queue штуковина для django на 19778 строк кода, не считая внешних либ) в пользу собственной простейшей наколенной redis-based разработки (http://code.google.com/p/redis-queue/ 389 строк). Простота рулит! Всегда понятно что происходит и кто виноват. Осматриваюсь, чего б ещё подупростить...
Nikolay
nginx feedex.net uwsgi async Хм. Как перемены толкают к другим переменам. Вот сменил я апач на nginx, а mod_wsgi на uwsgi. И всё бы хорошо, но. Как оказалось, nginx сильно неуважает скрипты работающие дольше минуты. Банально закрывает соединение с uwsgi если тот молчит в сокет дольше данного времени. И правится это только в исходниках nginx`а. Пришлось переписать часть логики отображения и теперь вместо молчания в трубку, скрипт работает себе спокойно в фоне, периодически отчитываясь о выполненной работе в redis-кеш. Со стороны же броузера, работает javascript, коий периодически (раз в две секунды) опрашивает сервер на предмет этого самого отчёта. Операция довольно дешевая, вполне можно её делать так часто. Заодно и пользователь теперь не будет скучать перед "пожалуйста обождите" экраном, но будет осведомлён о каждом этапе обработки его запроса почти в реальном времени (вот websockets допилят, будет совсем реальное время, да).
Nikolay
server feed feedex.net так, я начинаю банить агенты. Некий simplepie заспамил мой сервер запросами на rss-ленту. Именно так, одну и ту же ленту оно запрашивает десятки раз с интервалом меньше секунды, потом успокаивается на несколько минут и начинает по новой. Хм, или лучше сразу забанить IP с коего оно приходит. Надо посмотреть что есть в апаче на тему throttling`а...