Чтобы добавлять сообщения и комментарии, .

@Hawat:
Hawat

ZFS RAID1 даже не стартанулся, ну Ынтербпайз...

@Dimez:
Dimez

zfs-ная часть жуйца, если я положу много файлов (сотни миллионов) на zfs raid10 и потом активно с ними буду работать (удалять, перезаписывать, добавлять), то raid10 превратится в тыкву без l2arc+log ssd намного позже, чем raidz2?

@Dimez:
Dimez

So, for deduplicated installations that are not performance-critical, using an SSD as an L2ARC instead of pumping up the RAM can be a good choice. And you can mix both approaches, too.
via constantin.glez.de

@easyjohn:
easyjohn

Завершил перенос всего и вся. Думал сделаю дня за два, получилось чуть больше двух недель.
Как же хорошо, что я когда-то давно разделил стор и апликухи. Даже самба, раздающая этот стор в отдельной виртуалке, что говорить о всяких торрентах.
Сейчас бы заколебался все это обновлять. А так переподсунул по старым путям nfs и все взлетело.

@easyjohn:
easyjohn

А кто умеет zfs по nfs?
У меня он сначала ругался, то fsid= не выставлен, теперь говорит что /xxx/aaa and /xxx/bbb have same filehandle for 192.168.0.0/16 using first.
И, короче, что не монтируй, получаешь содержимое только первого xxx/aaa.

@easyjohn:
easyjohn

Ура, в шаре с персональными файлами (/home/...) удалось наковырять 20% экономии места при lz4 компрессии. И это еще не все скопировалось. Щастье-радость.

@easyjohn:
easyjohn

Теперь вопрос стоял, какую выбрать компрессию для домашней файлопомойки.
Сравнил экстремальные варианты: недавно появившийся в zfs lz4 и gzip-9.
Lz4 в интернете поют дифирамбы, очень быстрый, хороший, жмет только то что может жать, скорость чтения и записи заметно ускоряется и т.п.
В нашей работе с виртуалками у меня очень хорошие показатели, примерно 1:2 сжатие lz4 на рабочих сторах, и примерно 1:6 сжатие gzip-5 на баккапе.

Другое дело с файлопомойкой, в большинстве своем забитой несжимаемым контентом — музыка, фото, видео, кое-какой софт.
Записав первые 2Tb инфы я получил 2% выигрыша на lz4. Честно говоря, я ожидал хотя бы 10%. Но, впрочем, тоже плюс.
А т.к. большинство инфы записывается редко, а читается то же не сказать что бы часто — решил попробовать максимум — gzip-9.
Скопировал еще раз и получил.. те же 2%! (я проверял. если писать легко-компрессируемые файлы, то все работает, разница lz4/gzip видна)
То есть на моих данных смысла в gzip нет вообще никакого. Плюс такая картина по скорости чтения/записи:
на lvm — 222/128 mb/s
на zfs с lz4 — 238/110 mb/s,
на zfs с gzip-9 — 186/10 mb/s
Ну, собственно, в данном случае gzip никак не подходит, максимальная компрессия не дает выигрыша (или дает менее 1%), но при этом скорость записи падает до 10 mb/s, что за пределами комфорта.

@easyjohn:
easyjohn

Вот это вообще выносит мозг тем, кто классические рейды хорошо знает:
12x 2TB:
raid10, 6x2pairs 10 terabytes ( w=569MB/s , rw=230MB/s , r=687MB/s )
raid50, 2x6raid5 17 terabytes ( w=494MB/s , rw=252MB/s , r=616MB/s )
raid50, 4x3raid5 14 terabytes ( w=459MB/s , rw=245MB/s , r=623MB/s )
24x 2TB:
raid10, 12x2pairs 20 terabytes ( w=511MB/s , rw=214MB/s , r=673MB/s )
raid50, 2x12raid5 38 terabytes ( w=492MB/s , rw=276MB/s , r=971MB/s )
raid50, 8x3raid5 28 terabytes ( w=463MB/s , rw=245MB/s , r=870MB/s )
Пятый рейд практически не отличается по скорости от 10-ки! Особенно скорость записи. Неужели они действительно победили write drawback пятого?
Я, кстати, у себя подобное наблюдал, что в raidz1 у меня не было большой разницы с 10, но точных измерений провести не успел.

@easyjohn:
easyjohn

Очень полезные бенчмарки zfs в различных конфигурациях дисков и рейдов calomel.org
На многодисковых конфигах видно, что не смотря на заявления, что скорость растет только в страйпах, на raidz(1,2,3) она то же неплохо растет.
Так что можно увеличивать трансфер добавляя дисков, а не увеличивая кол-во vdev.

@easyjohn:
easyjohn

Нашел гарантийку. Таки 3 года гарантии и они истекли чуть менее года назад.
За одно цена — 2650 рублей за 2tb! Напомню, сейчас такой 6500р.

@easyjohn:
easyjohn

Получилось на zfs провести фокус с созданием raid5 массива только на 2 дисках из трех, как я привык это делать на mdraid.
Делается фейковый фаил, который занимает пару килобайт, но репортит полный размер:
# dd if=/dev/zero of=/tmp/disk.img bs=1 seek=4T count=1
создаем пул:
# zpool create poolA raidz1 /dev/sda /dev/sdb /tmp/disk.img
и фейк сразу выводится в оффлайн, что бы туда ничего не начало писаться:
# zpool offline poolA /tmp/disk.img
Все, имеем пул в дегрейде из 2 дисков, можно залить данные, высвободить еще один диск и добавить к пулу, после ресильвера будет ок.

@easyjohn:
easyjohn

Вечером таки закончился ребилд, так что я вынул пару винтов с бедами и прокатился до юлмарта.
Пессимистично получилось, старой базы серийников у них нет в нерабочее время, но гарантия на такие винты должна быть около 2 лет, по словам товарища на приемке.
Если это действительно так (поищу сегодня чек), то я попал на два 2tb винта.
Посмотрел за одно ценник текущий — 6.5-7 тыр за винт! Это 13-14 тысяч. Помнится покупал я их чуть ли не по 2.5 тыр.

@easyjohn:
easyjohn

Так, 10 часов на dd_rescue на 2tb, 10 часов на ребилд mdadm 2tb, (тут место для еще одной итерации, если еще один диск взбрыкнет), ~30 часов на копирование 6Tb на временный zfs, ~30 часов на копирование обратно на переделанный zfs.
Итого — неделя и золотой ключик у нас в кармане.

@easyjohn:
easyjohn

Создал пул из 3 дисков, поставил копироваться с lvm на zfs.
Вижу четко, как zfs упирается в скорость одного диска. Один постоянно висит с io 200-500, трансфер 40-100mb/s, остальные два раз в 4 секунды пишут 700 io 60-100mb/s и тишина.
Диски хорошие, новые. Контроллер sas один, отдельный канал до каждого диска.
Может еще как подтюнить стоит?

@alv:
alv

Способ преодоления коренного отставания LMDE от Linux Mint — подключение к первому PPA-репозиториев: alv.me
А заодно и об окончательном решении вопроса с поддержкой ZFS в Betsy: alv.me — однако, другим путём.

@schors:
schors

кто-нибудь может мне объяснить, что делает bookmark в zfs? по описанию я кейсов не понял.

@Dimez:
Dimez

scan: resilvered 2.24G in 0h6m with 0 errors on Wed Jul 1 15:59:54 2015
Ууф, замена прошла успешно.

@melkor217:
melkor217

24 гига памяти должно хватить _

@schors:
schors

я тут посмотрел... zfs set primarycache=metadata я так понимаю оставляет чтение вообще без какого-либо кэша — аз из?

@schors:
schors

никогда не делайте zfs set primarycache=metadata tank/db на FS с MyISAM. ну т.е. понятно почему, но за всеми этими перделками и свистелками скопипастил неглядя

@alv:
alv

Побочным продуктом моих экспериментов над mini.iso стало обнаружение ещё одного метода включения в LMDEподднеожки ZFS, о чём рассказывается в очередном очерке: alv.me

@schors:
schors

В упор не понимаю что делает zfs promote

@alv:
alv

Betsy, ZFS и выпадающие терминалы… а причём здесь SELinux? alv.me
хохмочка такая — АНБ препятствует работе выпадающих терминалов
и сюда длинная рука госдепа дотянулась

@Zmeyko:
Zmeyko

А кто-то пробовал уже это? Я что-то только заметил, что в 3.4 заявлено.

@schors:
schors

я правильно понимаю, что надо разметить диски gpt и в zpool пихать уже gpt-диски, а не raw, во избежании конфликтов нумерации устройств при передёргивании дисков

@schors:
schors

wiki.freebsd.org вот тут gnop что делает? что-то мысли не понял

@schors:
schors

есть сервер, на нем LSI MegaRaid, в него воткнуты SSD. хочу ZFS. мне надо как-то специально озабачиваться TRIM?

@Melhior:
Melhior

Меня "радует" как в интернетиках ругают lvm снапшоты тем что они хуже zfs (zfs не тормозит, lvm тормозит). С учетом того что в этих системах подход к созданию и работе снепшотов разный.

Хотя я хотел бы в некоторых случаях делать снапшот в lvm по принципу zfs(ну и как в VmFS заодно), сейчас как раз такая задача появилась (для реализации microsoft vss под самбу)

@Dimez:
Dimez

Есть под солярку хороший перловый скрипт github.com
Под ZOL заставит его работать перловый модуль github.com

@Arepo:
Arepo

кто знает как побороть?

# zpool export -f stash2
cannot export 'stash2': pool is busy

при этом пул даже не примонтирован
# zfs list -r stash2
NAME USED AVAIL REFER MOUNTPOINT
stash2 51.3G 437G 35.5K none
stash2/stash 51.1G 437G 51.1G none

zfs версии 0.6.2

@Dimez:
Dimez

"Отвалился днс у провайдера и все, что касается ZFS (zpool status и тп.) стало дико тормозить, в lsof -i видно что ZFS пытается ломиться на днс провайдера. И что ему там надо, интересно?

Если у вас 5000 пул, то есть предположение, что система пытается разрешить адреса из GUID zfs feature flags.

delphix.com has address 23.253.172.29
joyent.com has address 216.146.46.10
illumos.org has address 165.225.144.160
open-zfs.org has address 199.101.102.98

Внесите в /etc/hosts и проверьте"

Скайнет наступил :)))

@alv:
alv

LMDE и ZFS alv.me

@Dimez:
Dimez

Криптовирус в одной подшефной организации (я там только сетевое хранилище делал, за которым приглядываю) зашифровал все документы Office, файлы изображений и базы 1С на сетевых дисках, помимо, естественно, локальных HDD. До бэкапа даже не дошло, откатил все изменения на время создания снапшота ночью. Никто не успел даже толком испугаться, а могли бы и полбиткоина за дешифратор заплатить.

@alv:
alv

Обзор текущего положения ZFS
на вражей мове clusterhq.com
и на рiдной opennet.ru
хрень сяо Яо написал
он хоть и Рычард, но явно сердце не львиное
Ну как они не могут понять, что главная проблема ZFS (кроме самой главной, конечно, лицензионной — но она не решаема) — это проблема загрузки
вот в PPA-репозитории убунты zfs/grub опять слетел для Trusty
а ведь эта проблема решаема: та часть кода ZFS, которая нужна, чтобы пройти стадию
# grub-probe /
без эррора — открыта под GPL (на радость гнутым антикопирастам, которые воспользоваться этим не спешат)
PS обсценные слова не привожу — заинтересованные лица и сами их знают

@Hawat:
Hawat

Кто пробовал btrfs на десктопе? Оно стабильно? Память жрет как ZFS? Сильно тормознее ext3/ext4?

@beard:
beard

Шпаргалка по ZFS — dreamcatcher.ru

@beard:
beard

А предусмотрена ли возможность переименовать пул?
Два диска с одинаковым именем пула, что-то не взлетает, даже загрузиться не может.
Надо старый диск подцепить к новой системе. А новая система, при установке, не позволяет задать свое имя пула. Кажется. У меня не получилось. А на старом, сдуру, сделал это общепринятодефолтное имя. Жопа.

@easyjohn:
easyjohn

О, я нашел, в чем было дело.
Если сделать
zfs set sync=disabled %poolname%
то "dd if=/zero of=/dev/sdb bs=1M" в виртуалке превращается из 3-5mb/s в нормальные 500-600mb/s.
Но почему? dd без указания o_direct должен лить нормальный асинком, в отличии от тестов fio, который специально запускаются direct=1.

@easyjohn:
easyjohn

А есть тут люди, поднимавшие zfs на linux?
Что-то у меня по тестам получается, простите, 1 оипс. Это как-то мало для пула из 30 дисков.

@easyjohn:
easyjohn

И совсем другое дело, если делать не zvol (девайс) а просто писать на zfs.
Создал файлик, пишу туда dd, скорость стабильная 120-150 мб.с. Немного плавает, то же, но не падает ниже 120.
Уже записал 100гб, за десяток минут, а в прошлый раз больше 50 гб за час не накапало.
Значит придется делать тесты на файлике, создавая его каждый раз.