to post messages and comments.

Сегодня на продакшн серваки контроллер сказал "а идите все нахуй, нет у вас винта". Пизда всему, ребут по IPMI не привёл диск в сей мир. После ребута с кнопки контроллер сказал "простите был неправ" и выдал массив живым и здоровым. Это уже второй инцидент с контроллерами и сбойными дисками за год. Херовастенько.

У Хетцнера поменяли посыпавшийся винт на другой (хотя и не новый :D) за 40 минут с момента заявки в 8 утра по МСК. Х.з., нормально это или нет. Один фиг, ещё 150 минут репликации ждать :)

*NEC

9260-8i PCIe 2.0, максимальное последовательное чтение 1300МБ/с.
Нужен аппаратный ключ для разблокировки CacheCade, FastPath.

9260-8i, 256МБ (IBM ServeRAID M5014). HW-ключ для RAID6.
9260-8i, 512МБ (IBM ServeRAID M5015). HW-ключ для RAID6.
9260CV-8i CacheVault on-board (кондёр отдельно)

9261-8i, 512МБ, soft CacheCade

9750-8i PCIe 2.0, 512МБ DDR3, последовательное чтение 2500МБ/с. (Бывший 3ware)

==== Начинаются 2-х ядерные процессоры ====

9265-8i PCIe 2.0, 1ГБ DDR3, максимальное последовательное чтение 3500МБ/с. Значительно обгоняет Adaptec 6805
Аппаратный CacheCade (включает FastPath)

9265CV-8i CacheVault on-board (кондёр отдельно)
9265-8i (IBM ServeRAID M5016 с 1ГБ кеша, который и есть ключ Raid 5,6)

9266-8i PCIe 2.0, 1ГБ DDR3, CacheVault, software CacheCade.

9267-8i PCIe 2.0, 512МБ (1ГБ) DDR3. Урезанный контроллер. Для raid-5,50,6,60 нужен ключ.
NEC 8103-149 без ключа
NEC 8103-150 с ключом

==== PCIe 3.0 ====

9270-8i PCIe 3.0, 1ГБ DDR3, CacheVault, Raid 6.
IBM ServeRAID M5110 512МБ (1ГБ) DDR3. F-o-D (Raid 5-6, CacheCade, FastPath)

9271-8i PCIe 3.0, 1ГБ DDR3, CacheVault. В 1.5 раза лучше случайный доступ работает.
9271CV-8i CacheVault on-board (кондёр отдельно)

==== 12 Gbit SAS, CPU SAS3108 ====

9361-8i 12Gbit, PCIe 3.0, 1ГБ DDR3, CacheVault.
IBM ServeRAID M5210

====

P.S. Контроллеры IBM
lenovopress.com

P.P.S. Брендированные LSI других вендоров
forums.servethehome.com

Сегодня я такое узнал, что моя жизнь никогда теперь не станет прежней.
vmware esx (которая bare metal) не умеет много аппаратных контроллеров и не умеет совсем софтрайды.
Поэтому люди делают так: ставят виртуалку с линуксом, отдают в него дисковые устройства, в виртуалке собирают из них софтрайд и экспортируют его обратно в vmware в виде iSCSI
communities.vmware.com
blog.goforyt.com

Linux Mint и его Cinnamon. Очерки применителя. Часть 10: alv.me
Следующие три очерка посвящаются рассмотрению довольно специальных вопросов — применению в Mint технологии LVM, программного RAID и системы размещения данных ZFS. Наибольшее внимание уделено последней, как наименее освещённой в русскоязычных источниках.

В соответствие с утверждённым графиком alv.me , остаётся последняя часть — про систему Ubuntu Customization Kit, предназначенную для сборки собственных вариантов дистрибутива Mint.

Нечаянно удалил том от RAID-1 (второй том отказал). Просто в винде ткнул удалить и, ну, был невнимателен. Как восстановить? Наверняка же как-то совершенно просто должно делаться. Том-то никуда не делся и работал в одиночку.

Намучился я с запуском системы с рейдового массива материнской платы, однако завёл. Рецепт такой:
1. Учим операционку ездить на RAID'e как показано тут gentoo.org
2. Конпеляем ведро, собираем загрузочный образ
3. Ставим второй grub и начинаем учить его работать с RAID'ом
# emerge -avq grub
# mount /boot
# grub2-mkimage -o /boot/grub/core_raid.img -O i386-pc part_msdos mdraid09 mdraid1x raid6rec diskfilter ext2
# cat >> /etc/grub.d/40_custom << EOF
menuentry "Gentoo Xen" {
set root=(hd0,msdos1)
linux /krn-3.14.14 root=/dev/md126p3 domdadm ro
initrd /initramfs-krn-3.14.14
}

EOF
# grub2-mkconfig -o /boot/grub/grub.cfg
# grub2-install --target=i386-pc --force /dev/md126

Кажися всё, начиная отсюда всё работает и загружается.

Концептуально новое решение с RAID5 с двумя дисками меня немного ПОДВЕЛО, если вы понимаете о чём я.
Вчера сначала подумал, что похерил закрытый ключ от Root CA, шлакоблок высрал огромный

А вот и сами винты pastebin.com
Учитывая, что оба они как после ядерной войны, даже не знаю какой именно сдох
Reallocated_Sector_Ct 0x0033 034 034 036 Pre-fail Always FAILING_NOW 2714
Reallocated_Sector_Ct 0x0033 091 091 036 Pre-fail Always — 378

Реиспользование старого железа у Хецнера идёт просто полнейшим ходом. Вообще странно, что это говно вообще заводилось

объясните мне плиз про феномен HotSpare.
это винт, который свободен, не входит пока в рейд.
если в рейде один винт наебнулся, винт из HotSpare заводится на его место.
далее, покрыто мраком. потому что мне объясняли по-разному.
1 вариант, винт заводится в рейд и начинается длительный ребуилд.
2. вариант. винт заводится в рейд, и ребуилд очень быстрый, потому что вроде как во времена здорового рейда он тоже на себя что-то синхронизировал.
вот по второму варианту непонятно, как происходит действие.
есть знающие люди?

Оказывается, по умолчанию Ubuntu не грузится в случае наличия развалившегося даже неиспользуемого RAID'а(md) и вываливается в BusyBox от initramfs'а. Исправляется как-то так:
help.ubuntu.com
На Debian и CentOS такого не замечал, хотя возможно это не их особенности, а конкретной инсталляции.

Был RAID 5 на ST3500320NS (4х500GB) — чтение было 242 МБ/сек (до 105 MB/сек одиночное чтение, 4.16 ms avg. seek, 8.5 avg read),
заменил на WD2003FYYS (4х2TB) стало 251-273 МБ/сек (138 MB/сек одиночное чтение, 4.149 ms avg. seek, 11.8 avg read).

Прирост 13% на последовательном чтении, а должен быть 31%.

Изменил размер страйпа 256кб->64кб на новых винтах. Скорость чтения стала 360-401 MB/Сек.
Прирост 65.7%. Но сравнение некорректно, т.к. сравниваю со старыми винтами, у которых был другой размер страйпа.

Одно только изменение страйпа 256кб->64кб на новых винтах дало прирост 47%, что очень странно.

If you plan to use RAID devices in your file system, a larger block size may be more effective and help avoid the penalties involved in small block write operations to RAID devices. For example, in a RAID configuration using 4 data disks and 1 parity disk (a 4+P RAID 5 configuration), which uses a 64 KB stripe size, the optimal file system block size would be an integral multiple of 256 KB (4 data disks × 64 KB stripe size = 256 KB). A block size of an integral multiple of 256 KB results in a single data write that encompasses the 4 data disks and a parity-write to the parity disk. If a block size smaller than 256 KB, such as 64 KB, is used with the same RAID configuration, write performance is degraded by the read-modify-write behavior. A 64 KB block size results in a single disk writing 64 KB and a subsequent read from the three remaining disks in order to compute the parity that is then written to the parity disk. The extra read degrades performance.

The choice of block size also affects the performance of certain metadata operations, in particular, block allocation performance. The GPFS block allocation map is stored in blocks, similar to regular files. When the block size is small:
It takes more blocks to store a given amount of data resulting in additional work to allocate those blocks
One block of allocation map data contains less information

Note: The choice of block size is particularly important for large file systems. For file systems larger than 100 TB, you should use a block size of at least 256 KB.

4gb raid контроллеры

ARC1231ML
ARC1280ML

Согласно areca.com.tw
ARC-1680ix-12
ARC-1680DIX-12

Самые дорогие варианты
Areca 1882ix-12
Areca 1882ix-16

Согласно xtremesystems.org
Areca 1231ML-XX, Areca ARC1280ML — only PCB revision 2 (но фото ещё "E")

forums.macrumors.com
Areca email:
ARC1231ML do not support 4GB cache and it support 2GB cache since PCB revision 1.0.
so you can not upgrade the cache on your card based on the card's revision.

Из этого письма абсолютно ясно, что в ревизии 1.0 нет поддержки 4gb.
Ещё один человек говорит, что ревизия B тоже не поддерживает 4GB, но он вроде сделал вывод без экспериментов.

откопал тут из завалов два IDE-диска, отданные мне когда-то @qrilka. Собрал из них raid0 — и чота хер там, а не скорость — запись большого файла ~80 мб/с, куда это годиццо? Причем пробовал собирать и через mdadm и через btrfs. Пичалько.

коллеги, а подскажите, пожалуйста — вот есть сервак под дебианом, на нем два диска в raid1(софтрейд, mdadm), я правильно понимаю, что при замене одного диска сервак будет полностью работоспособен во время синхронизации с новым диском? Ну, естественно, исключая время на выключение для физической замены диска.

HBA LSI 9211-8i очень хорош для серверов upper начального (уже) уровня.
cat /proc/mdstat
md5 : active raid1 sdf1[1] sde1[0]
117154176 blocks super 1.2 [2/2] [UU]
[==>..................] resync = 12.3% (14444416/117154176) finish=3.6min speed=466107K/sec

md4 : active raid10 sdh1[3] sdg1[2] sdd1[1] sdc1[0]
1953260544 blocks super 1.2 512K chunks 2 near-copies [4/4] [UUUU]
[=>...................] resync = 5.0% (98273024/1953260544) finish=95.2min speed=324502K/sec

md3 : active raid1 sdb4[1] sda4[0]
888345152 blocks super 1.2 [2/2] [UU]
[=>...................] resync = 9.1% (81648448/888345152) finish=72.1min speed=186392K/sec

Присмотрел G5 сервер себе, там стоит p400i smart array контроллер. В магазине уверяют что диски сата объемом больше 120гб не будут распознаваться. Свистят?
В спецификации максимальный объем составляет 2Тб для сата дисков. Хочу 4 по 50 взять, а они (продажники) уверяют что не поднимутся на нем. Подскажите.
Спеки: h20000.www2.hp.com

00:11.0 SATA controller: Advanced Micro Devices [AMD] nee ATI SB7x0/SB8x0/SB9x0 SATA Controller [AHCI mode]
Раз в месяц-два отваливается один из двух жёстких дисков в RAID1.
md127 : active raid1 sdb1[1] sda1[2](F)
310544384 blocks [2/1] [_U]
18:13:12 up 42 days, 17:56, 2 users, load average: 0.25, 0.91, 0.74
Скажите, есть ли пользователи этих контроллеров, которые решили эту проблему? Очень обидно, что такой маленький недостаток может привести к краху сервера. Сегодня ночью перезапущу сервер. Надеюсь, что всё будет хорошо — дом сейчас не слишком близко для такого. Или таки дождаться возвращения и всё сделать в личном присутствии?

Терабайтное зеркало mdraid ребидилось более суток и доребилдилось до 40-ка процентов, судя по /proc/mdstat.

Зделал sudo service transmission-daemon stop — оставшиеся 60 процентов закончились за несколько часов : )))

жуйк, есть 4 винта на 320 гигов (IDE правда, но нулевые совсем, еще в пакетиках), есть более-менее бодрый комп (одноядерный целерон+512 оперативки). Хочу сделать из него файл-сервер для факультета, максимум аптайм 50-55 компов, авторизация через домен, думаю переварит. Вот теперь думаю, каким рейдом их обвязать, чтобы и места побольше, и надежно? Нулевой рейд конечно самый смачный по месту, но совершенно ненадежный... В общем, насоветуй, жуйк.

Есть 10 дисков в sas-корзине. будут использоваться для хранения данных (конкретно, видеоархив). Какой RAID использовать? Над ним, конечно, lvm будет, но нужно защититься от отказа харда физически.