parafoxer: (foxic)

С утра на почте несколько алертов, накрывается жесткий диск в одной из систем хранения HP P2000 G3 MSA ISCSI\FC.
Сообщения выглядят так:

2015-03-31 02:29:09
A4865
1

A vdisk is critical. (vdisk: vd01, SN: 00c0ff1128430000e8ed7e4f00000000)
Additional Information:

- If the indicated vdisk is RAID 6, it is operating with degraded health due to the failure of two disks.
- If the indicated vdisk is not RAID 6, it is operating with degraded health due to the failure of one disk.

The vdisk is online but cannot tolerate another disk failure.

If a dedicated spare or global spare of the proper type and size is present, that spare is used to automatically reconstruct the vdisk; events 9 and 37 are logged to indicate this. If no usable spare disk is present, but an available disk of the proper type and size is present and the dynamic spares feature is enabled, that disk is used to automatically reconstruct the vdisk; event 37 is logged.

Recommended Action:

- If no spare is present and the dynamic spares feature is disabled (that is, event 37 is NOT logged), configure an available disk as a dedicated spare for the vdisk or replace the failed disk and configure the new disk as a dedicated spare for the vdisk. That spare is used to automatically reconstruct the vdisk; confirm this by checking that events 9 and 37 are logged.
- Otherwise, reconstruction automatically starts and event 37 is logged. Replace the failed disk and configure the replacement as a dedicated or global spare for future use.
- If the replacement disk was previously used in another vdisk and has a status of leftover (LEFTOVR), clear the disk's metadata so you can assign the disk as a spare.
- Confirm that all failed disks have been replaced and that there are sufficient spare disks configured for future use.





2015-03-31 02:29:09
A4863
8

A disk that was part of a vdisk is down. The disk has a possible hardware failure. (vdisk: vd01) (disk: channel: 0, ID: 3, SN: 6XS15F960000B143MBS2, enclosure: 1, slot: 4)




Ситуация удручающая, потому что на данном Vdisk крутится куча виртуальных машин.
Raid 5 выдерживает утерю 1 диска, поэтому надо принимать меры пока есть время.

Итак, если у нас вышел из строя один из дисков нашей системы хранения hp p2000 g3 msa iscsi\fc, то нужно последовательность действий будет такой.

1. Ищем гарантийные бумажки и бумажки на приход (покупка) данных дисков или СХД в целом, если брали укомплектованной и выясняем когда купили этот диск.
Гарантийный срок работы рекомендуемых НР жестких дисков в этой СХД составляет 3 года.
Выдержка из бюллетеня НР

"Service and Support, HP Care Pack, and Warranty Information
Warranty
Three-year limited warranty, parts exchange Next Business day delivery
Enclosures, Hard drives, and Options for the P2000 G3 FC carry their own warranty. Refer to HP's Limited Warranty Statement for more information."

Если вы еще не пользуетесь бюллетенем - вам сюда

http://h71069.www7.hp.com/quickspecs/overview.html

скачиваем hppb_installer exe и вперед (на жестком диске потребуется 12 Гб с обновлениями)

Если вы купили диск более чем 3 года назад - скорее всего он уже не гарантийный.
Окончательно проверить это можно на сайте itrc.hp.com (требуется регистрация).


2. Для работы с сайтом нам будет нужна информация: серийный номер (serial number) и код продукта (part number).
ВНИМАНИЕ. Тут самая засада, ибо посмотртеть это можно только на самом диске. Через веб-интерфейс СХД можно увидеть только информацию ПРОИЗВОДИТЕЛЯ, которым в моем случае например был Seagate (т.е. Seagate делает диски для НР). На сайте для проверки потребуется тот серийный номер (serial number) и код продукта (part number) который этому диску присвоил ВЕНДОР  - то бишь HewlettPackard. Это отстойнейшая засада, придется идти в серверную, доставать диск и пеерписывать эту лабуду на бумажку.

Наглядно - вот какие данные мы видим в веб-морде СХД (серийник подчеркнут красным, а такого параметра как код продукта нет вообще, а вот вендором уже указан НР):

И вот результат проверки на сайте (серийник подчеркнут красным, это все тот же диск, что на картинке выше). Я списал серийник достав диск из СХД.

Обычно правильный серийный номер указан не на белой наклейке на лицевой стороне диска, НЕТ. Там вы найдете не менее 3 разных ПН и СН, но это все не то.
ПРАВИЛЬНЫЙ серийник указан на маленькой пластиковой наклеечке наклееной на эту белую, основную наклейку.
Вот пример из 2016 года (опять сдох диск)



ДА, это пиздец товарищи. Это ХулеПакард.

ВНИМАНИЕ! C 2016 года опять какая-то лабуда с сайтом HP. Теперь получается проверить статус гарантии только на сайте продуктов Enterprise (т.е. это продукты для промышленного использования - серверы, СХД и т.п., а не ноутбуки, принтеры бытовые и пр.)
Это тут - https://www.hpe.com/ru/ru/home.html.
Далее выполняем вход https://www.hpe.com/ru/ru/login.html (Если нет логина - придется создать)
Далее выбираем Customers \ Поддержка продукта и драйверы
https://www.hpe.com/ru/ru/support.html
http://h20565.www2.hpe.com/portal/site/hpsc - для систем хранения
Вот так выглядит ссылка запроса на поиск статуса гарантии диска
http://h20565.www2.hpe.com/portal/site/hpsc/public/psi/home/?sp4ts.oid=3687149&sp4ts.sn=SGN342K0PC&sp4ts.pn=C8S59A
возможно прокатит, если заменить sn и убрать все, что после него (да, прокатит)
КСТАТИ, тот самый требуемый PN вообще нигде не значится такой, какой выставился в строке запроса))))

(если нет логина - создаем)



3. Итак в моем случае гарантия уже истекла, а значит надо отправляться к представителю НР и покупать диск примерно за 90 000 рублей. Такое вот дорогое серверное оборудование, спасибо путену. К счастью, когда закупали СХД, купили два запасных диска, и я просто поставил взамен вышедшего из строя новый.
4. Если ваш диск гарантийный - все на том же сайте, где проверяли статус гарантии открываем заявку на поддержку и просим заменить диск. Уже не помню там всех деталей, но вроде бы просто надо будет указать все параметры устройства. Если не прокатывает - тупо звоним продавцу, пишем письмо с указанием всех параметров и просим продавца-представителя связаться с НР по поводу гарантии, обычно у них контакт плотный.





5. Допустим нам привезли диск, что с ним делать? Вставляем на место вышедшего из строя и выполняем следующие действия для активации его в качестве spare (запасного). Логика такая - добавляем диск как запасной к системе, которая больше не является отказоустойчивой  (RAID5 без одного диска в нашем случае). Система видит диск, инициализирует его работу как запасного, потом начинает перестроение Vdisk'a для того, чтобы он снова стал отказоустойчивым.

Наглядно это выглядит так:

0) вставляем новый диск в СХД взамен вышедшего из строя
1) открываем меню добавления диска



2) добавляем назначенный запасной диск в консоли управления СХД




3) ждем когда завершится реконструкция. ГЛАВНОЕ - не делать резких движений. Дожидаемся завершения операции, только потом уже начинаем переживать а чего же не гаснет алерт. По опыту знаю, как админы начинают нервничать и запускать всякие операции какие только могут припомнить, вплоть до пересборки RAID. Надо просто ЖДАТЬ.

parafoxer: (Foxic)
И опять прокопался в своей же инструкции прежде чем нашел. Где найти ID таргета для HP P2000 G3 MSA ISCSI\FC? Для подключения дисков этой СХД куда-либо эта информация потребуется почти всегда (особенно если у инициатора нет dynamic discovery). В VmwareVsphere 5.1 это прописывается вот тут:
sattic

Узнать же ID target HP P2000 G3 MSA ISCSI\FC можно двумя путями.
1 - через консоль управления (скопировать ID просто выделением лично у меня (IE9) не получается))))
target_id_p2000

2 - через командную строку (более удобный способ, больше информации кстати):
подключаемчся с помощью putty к порту управления Р2000
01target_id_p2000

вводим админские логин-пароль
и набираем команду

show ports

на картинке красным выделил номера портов (нам нужны ISCSI), а ярко-синим - ID iscsi-target (заметьте, он одинаковый у всех портов)
02target_id_p2000
parafoxer: (foxic)

jumbo frame - пакеты с увеличенным размером поля данных  - более стандартных 1500 байт. Т.е. за один факт передачи пакета (с теми же накладными расходами) мы передаем данных в несколько раз больше.
Зачем нужны такие пакеты? Ну конечно для уменьшения нагрузки на сегмент сети, выделенный для трафика СХД< >Хост, и как следствие небольшое (20-30%)  увеличение скорости передачи данных в этом сегменте.

AHTUNG! Как показывает моя практика и вот эта правдивая статья http://www.boche.net/blog/index.php/2011/01/24/jumbo-frames-comparison-testing-with-ip-storage-and-vmotion/ скорость работы увеличится не более чем на 1-3%. Поэтому хорошенько посчитайте, стоит ли покупать планки в вашу Cisco и СХД с поддержкой Jumbo. Если вы планируете сеть хранения данных с нуля и располагаете деньгами - думаю стоит задуматься о Jumbo frames, как о еще одной интересной и крутой штуке, но на супер-увеличение производительности рассчитаывать не стоит.

Что нужно чтобы включить jumbo frame в сегменте сети, предназначенном для передачи данных между СХД и хостом (в нашем случае VMware ESXi 5.0)?
Нужно чтобы все сегменты сети поддерживали такое изменение. Вот части сети:
Стандартный Vкоммутатор среды VMware ESXi 5.0 подерживает включение jumbo frame  равным 9000 байт.
Система хранения HP P2000 G3 MSA Combo также поддерживает включение jumbo frame (в меню не указан размер поля данных в пакете).
Коммутатор Cisco VS-C4506-E должен иметь особую планку VS-Х-4648-RJ45V+E, которая поддерживает включение jumbo frame.

Как включить?
На Vкоммутаторе:
jumbo_shd_02







Не забудьте, что таким же образом вам нужно настроить MTU на интерфейсах VMkernel, которые привязаны к адаптерам ISCSI-storage. На рисунке это интерфейс VMkernel2.


На СХД:

jumbo_shd


На Cisco как включать не скажу, но думаю несложно - одна команда и все.

Для проверки работы можно попинговать хосты в этом сегменте большими пакетами, используйте для этого команду

vmkping

parafoxer: (Default)

ВОт замудил так замудил.
Имеем:
В шасси с3000 блейды ProLiant BL460c G6, со встроенными адаптерами NC532i Dual Port Flex-10 10GbE Multifunction Server Adapter. Докупили еще мезанин-карту HP NC382m Dual Port 1GbE Multifunction BL-c Adapter. Обновил всю Всферу до ESXi 5, при этом все ВСТРОЕННЫЕ адаптеры подключил к сети 11.Х (типа сеть управления и сеть трафика двух систем хранения), а все МЕЗАНИНЫ подключил к сети 18.Х (типа сеть для виртуальных машин). При этом меня ни разу не настророжило, что после добавления мезанинов, появились в ESX-ах (еще даже до апдейта на версию 5), в оснастке Storage Adapters, этакие чудесно намекающие на суть девайсы, называющиеся Broadcom ISCSI Adapter. Причем адаптеры требовали привязать их к группе портов Vmkernel, но и это меня никак не впечатлило, и привязываться хотели только к vmnic которые соответствовали  мезанин-адаптерам, а уж никак не встроенным. Тут бы мне спохватиться и почитать спецификацию на встроенные и на мезанин-адаптеры и протестировать все это творчески, но нет, я упорно городил то, что теперь надо по уму переделывать.

Итого  - сейчас по идее надо запихивать с 11.Х сетку то, что сейчас в 18.Х, а из 18 все в 11...
Блеать.

parafoxer: (foxic)

Может кому поможет, по поиску кто найдет. Инженеров по оборудованию НР не каждая контора может себе позволить, а делать-то надо.
Вот как это было.
Давно мигал этот огонечек, ох давно. И чего-то все у меня руки не доходили посмотреть  - а чего он мигает-то? И вот выяснилось, что:

на DAS storage system, коей и является блейдина HP SB40c, два вида LED- индикации. Одна на самом блейде:



Другая - на дисках:



Собственно из табличек на картинках понятно, что мигание желтым цветом одного из светодиодов - признак того, что диск может отказать. Если что еще  - вот тут документы, как обычно закопаные в недрах сайтов НР -   http://bizsupport1.austin.hp.com/bc/docs/support/SupportManual/c01731687/c01731687.pdf
У меня мигал amber-огонечек на одном из дисков. Если ваш блейд гарантийный - пишем письмо на call_desk@hp.sovintel.ru указывая проблему, серийные номера корзины, блейда, модель диска (на передней панели маленькими буквами что-то типа  SPARE:508035-001) и адрес доставки. Ждем ответа, указываем всякие уточнения, особенно если сразу отдать отказывающий диск вы не можете.

После того как диск привезли (DHL-express), находим шедший в комплекте диск HPSmartStart или качаем его, или качаем только утилиту - нам нужна утилита HP Array Configuration Utility. Если на блейде-партнере у вас WIndows  - ставьте на нее эту утилиту. Если у вас на блейде партнере Vmware, как у меня, надо найти и скачать hpacuoffline-8.75-12.0-x86 . zip (на апрель 2012 года актуально), подключить образ диска через ILO в блейд-партнер, и загрузится с него. После этого выбираем в меню диагностику, выбираем указанную утилиту - ну далее все ясно - смотрим что диск действительно отказал, выполняем нужные действия. В ACU полно всяких настроечек, но создавать диски быстрее и проще из биоса контроллера Р400. Но тут есть свои заморочки:
 Самая засада именно  в попадании в биос стораджа, вот ради чтобы вспомнить как туда попасть (ни в одном документе, коих я перелопатил горы, я этого не нашел) я даже звонил в НР, а потом пеерписывался по чату техподдержки с некоей Магдой.
Так вот БЛЕАТЬ, попасть в bios HP SB40c (enter bios HP SB40c) можно так - при загрузке блейда, когда уже появились предложения нажатия F9 и F11, мы нажимаем F8, и попадаем (ВНИМАНИЕ) в настройки ILO. Так вот если оттуда выйти (File\ Exit)  - попадаем как раз на краткосрочную такую страничку с приглашением нажать снова F8 чтобы попасть в конфигурационное биос-меню стораджа SB40C. И только так.

Мне очень повезло - отказал диск, который не использовался в реальном массиве, и я просто развалил RAID, и собрал его заново. Вообще меню HP ACU есть очень хорошая штука, где то там можно выставить то, что называется spare disk, т.е. любой свободный диск можно поставить запаской к имеющемуся массиву.
Посмотрим чего там с перестроением будет.

parafoxer: (Foxic)

  Собственно имею подстрочный перевод нескольких мануалов по указаннным процедурам для указанного девайса. Может кто наткнется при поиске в инете на этот мой пост. Также есть ряд постов (ссылки внизу этого поста) где описаны часто встречающиеся процедуры.
   Коллеги! Предупреждаю сразу что перевод любительский, и некоторые термины могут быть истолкованы мною неверно. Но вся основа, начало эксплуатации, первоначальный конфиг шасси - это есть, это поможет очень быстро ввести девайс в эксплуатацию и понять суть.
ВАЖНЫЙ Апдейт от 27 марта 2013.
Коллеги! Пожалуйста, сами скачивайте мануал  по первичной настройке и конфигу (все написано на реальном, моем опыте) по ссылке на яндексе.
Ссылка для скачивания переводов и моего мануала
http://yadi.sk/d/oO1wNOIb3_IEo

ссылка для скачивания полезных мануалов НР (каких и чего - см ниже)
http://yadi.sk/d/j4OruefE3_IGX

Что добавлено? Реальный опыт настройки ISCSI в среде VMware Vsphere 5.0 (esxi). У меня около 25 машин перехало со старой СХД (типа DAS) на новую, все отлично работает, плюсВМ-файл-сервер с RawDeviceMapping диско с этой СХД на 3,7 Тб. (убран в 2014, не оправдывает скорости полным неудобством обслуживания)

ВСЕ комментарии скрываю, дабы спамерам было труднее тырить адреса.

Очень приятный документ, который я читал в подготовительном каком-то варианте (DRAFT), а потом нашел вот в уже готовом виде - Configuration best practices for deploying VMware vSphere 4.1 on the HP P2000 G3 MSA Array combo controller, доступен тут - http://h20195.www2.hp.com/v2/GetPDF.aspx/4AA3-3801ENW.pdf
Вряд ли кто-то будет использовать эту СХД без виртуализации, и вряд ли для Гипер-В (впрочем дело вкуса))), а значит это крайне ценный документ.

Я вижу что многим помогает мой скромный труд, на ящике уже скопилось два  десятка благодарственных ответов, самый прикольный звучит как "Спасибо большое!!! Человечище! :-)" Ну значит не зря я писал -картинки резал)))

вообще читать следует в такой последовательности:

1 - Первичная настройка и конфиг (мои заметки). Помогает включить СХД, подключиться к консоли управления, настроить шасси по минимуму (логины \ пароли, синхронизация времени, алерты на почту). Немного описана перепрошивка шасси и дисков. (КСТАТИ. Последнюю прошивку делал не так как указано в мануалах - запускал EXEшник с прошивкой на своей рабочей станции и указывал ip контроллера А на СХД, а дальше все само крутилось, в т.ч. и для контроллера В. Результат - все ОК. Версия прошивки - TS230P008). Не хватает сведений? - HP Storage Management Utility user guide в руки и см. Остальное.
2 - HP StorageWorks MSA2000 G1 or G2 and P2000 G3 FC MSA Вest Practices Technical White paper. Помогает понять термины (такие как Vdisk, LUN, WWN) и понять основы конфигурации СХД.
3 - Configuration best practices for deploying VMware vSphere 4.1 on the HP P2000 G3 MSA Array combo controller. Сборник указаний по подстройке для работы в среде VMware Vsphere.

Остальное:
QuickSpecs_P2000G3_MSA - сюда за артикулами деталей, техническими характеристиками всех моделей данной линейки, за сводками максимально поддерживаемых конфигураций, за перечнем софта для управления.

HP P2000 G3 MSA Systems Installation Instructions - использовать исключительно как ПЛАН развертывания. Т. е. буквально - распечатать и положить для отмечания галочками пунктов.

HP StorageWorks P2000 G3 MSA System Cable Configuration Guide - красочные картинки и описания кабелирования СХД со свичами. Использовать для выбора подходящей конфигурации - распечатать бумажку с нужной картинкой и стремиться сделать так же в серверной))

P2000 G3 SMU Reference Guide - глубокий мануал по функциям  и их использованию консоли управления СХД (System Management Utility).

HP Product Bulletin - в список высылаемых по запросу файлов не входит, но я рекомендую скачать его и установить себе на ПК, если есть хотя бы 1-2 продукта НР в организации. Это каталог всех изделий выпускаемых НР (принтеры и прочая периферия кажется не включены). Там есть самые полные и актуальные (если будете обновлять бюллетень через инет) изменения, все артикулы, все указания и описания, словом - это самый полный каталог по серверному оборудованию НР. Очень удобно в нем выбирать запчасти, собирать себе нужный конфиг сервера и т.п. Очень рекомендую.

Т.к. встречаются задачи с этой СХД и успешно решаются, буду иногда писать об этих решениях, а ссылки на посты с решениями - вставлять в эту запись.
1. Об удалении ненужных хостов из Р2000 - http://parafoxer.livejournal.com/120451.html
2. О включении jumbo frame на Р2000 и в среде VmwareVsphere 5.1 - http://parafoxer.livejournal.com/138357.html
2. Как найти ID-target портов ISCSI на Р2000 - http://parafoxer.livejournal.com/151925.html

Profile

parafoxer: (Default)
parafoxer

February 2017

S M T W T F S
   12 3 4
56789 10 11
1213 1415161718
19202122232425
262728    

Syndicate

RSS Atom

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jul. 25th, 2017 02:35 pm
Powered by Dreamwidth Studios