← All posts tagged cdn

freefd

В поисках средства хранения сегментированных Nginx access логов для аналитики нашего Wifire CDN обратил внимание на InfluxDB.

За ночь получилось:
Со стороны Nginx штатной функциональностью пишутся фрагментарные access_log'и в syslog на удалённый хост, где ловятся rsyslog и пересылаются без лишней информации (timestamp, severity, facility, etc) в InfluxDB через UDP Input (https://docs.influxdata.com/influxdb/v0.10/write_protocols/udp/). Правда, предварительно формат логирования у Nginx пришлось привести к тому, что в InfluxDB называется Line Protocol (https://docs.influxdata.com/influxdb/v0.10/write_protocols/line/). И InfluxDB неожиданно справляется c потоком в 16GB логов в день со всего CDN. Но вылезла вторая сторона медали — ну очень медленная выборка на таких объёмах.

Похоже, проще вернуться к текстовым файлам и писать самостоятельный парсер для генерации статических html-файлов с аналитикой в почасовых разрезах.