Делова Ферма

Делова Ферма (ранее называемая Деловы Кластер; здесь и далее -- Ферма) -- это отказоустойчивый (high availability) кластер Брацких Ферм (здесь и далее по тексту -- Ферм), который обеспечивает работу и высокую доступность услуг приложений Делово Бюро, так называемых деловых прилад.

Общее описание

Термины

На данной вики-странице, используются следующие термины:

• A запись (A record). Запись DNS, которая определяет соответствующий доменному имени (domain name) IPv4 адрес. Когда пользователь Всемирной Паутины набирает доменное имя, например, "bskol.com", веб-просмотрщик ищет в зоне DNS тот IPv4 адрес, к которому это доменное имя привязано. Буква "А" в названии записи, так называемый тип записи, пришла в название от первой буквы английского слова "address" (адрес).
• AAAA запись (AAAA record). Запись DNS, которая указывает соответствующий доменному имени (domain name) IPv6 адрес. Когда пользователь Всемирной Паутины набирает доменное имя, например, "bskol.com", веб-просмотрщик ищет в зоне DNS тот IPv6 адрес, к которому это доменное имя привязано.
• IP адрес (IP address). Адрес компьютерного устройства, соответствующий либо протоколу IPv4, либо протоколу IPv6. Доступные в сети Интернет адреса куплены у поставщика услуг размещения.
• IPv4 адрес (IPv4 address). IP адрес, соответствующий протоколу IPv4. Эти адреса представляют собою 4 группы цифр, разделённых точками. Например, 88.99.71.85 -- это один из адресов Фермы. В зоне DNS, этот адрес указывается в "A" записи. Часть адресов зарезервированы для частных сетей и не могут появляться в сети Интернет. Количество адресов ограничено 4.3 триллионами, что в момент разработки казалось достаточным числом. Протокол IPv4 был разработан в 1981. Чтобы разрешить проблему ограничения, в 1995 году был разработан протокол IPv6, однако на лето 2022 года, 62% Интернета продолжает пользоваться протоколом IPv4.
• IPv6 адрес (IPv6 address). IP адрес, соответствующий протоколу IPv6. В зоне DNS, этот адрес указывается в "AААА" записи.
• DNS (Domain Name System) -- иерархическая и децентрализованная система доменных имён, которая выполняет задачу нахождения записей, привязывающих доменные имена к адресам протокола Интернет (IP адресам), а также другие детали к этим именам. Записи DNS содержатся в так называемых "зонах", за нахождени которых отвечают поставщики услуг Интернета (Internet service provider или ISP).
• Виртуальная машина (virtual machine или VM). Виртуальное компьютерное устройство, имитирующее компьютер, создаваемое виртуальной средой. Аналогично обычному компьютеру, на VM устанавливается операционная система, обычно, из коробки, и, на неё, -- пользовательские приложения.
• Высокая доступность (high availability или HA; также называемая "отказоустойчивостью"). Свойство Фермы, обеспечивающее предоставление услуг Фермой при сбое её определённой части с одновременным восстановлением той самой части, которая пострадала от сбоя. Ни одна система и ни одна часть системы не могут быть полностью защищены от угрозы нештатной работы или аварийной ситуации. Отказоустойчивость -- это концепция, а также набор инструментов и методик, помогающих системе автоматически восстанавливаться после сбоев. Однако никакой набор не гарантирует, что любое восстановление будет моментальным и 100% полным.
• Доменное имя (domain name, hostname). Воспринимаемое людьми название веб-сайта или иного ресурса, особенно в сети Интернет, например, "bskol.com". Веб-просмотрщики и другие устройства работают с IP адресами, но эти адреса трудны для запоминания и воспроизведения людьми; для них, созданы доменные имена. В зонах DNS, доменные имена привязаны либо к IPv4 адресу, либо к IPv6 адресу, либо к обоим.
• Железo (bare-metal server). "Физический, железный" сервер, арендуемый у поставщика услуг размещения и описанный в Инфраструктуре.
• Зона DNS (DNS zone). Ta часть системы доменных имён (DNS), которая управляется отвечающим в системе за конкретное доменное имя поставщиком услуг Интернета (Internet service provider или ISP) и которая определяет данные, связанные с этим доменным именем. Эти данные представлены в виде записей DNS, таких, как A запись или AAAA запись.
• Контейнер. Виртуальное компьютерное устройство, имитирующее компьютер с установленной операционной системой и пользовательскими приложениями, создаваемое виртуальной средой. Как правило, контейнеры задействуют облегчённую операционную систему, заточенную исключительно под работу установленных приложений.
• Операционная система (operating system или OS). Программное обеспечение, которое, с одной стороны, взаимодействует либо с железным, либо с виртуальным компьютерным устройством и, с другой стороны, может взаимодействовать с пользовательскими приложениями.
• Пользовательское приложение. Одна из установленных на Ферме деловых прилад.
• Поставщик услуг размещения. Провайдер услуг Интернета (Internet service provider или ISP), предоставляющий свои подключённые к сети Интернет "железные" сервера в аренду для размещения Фермы.
• Соединитель. Коммутационное устройство предоставляемое поставщиком услуг размещения Фермы и описанное в Соединителях.
• Среда (virtual environment). Виртуальнaя среда на базе программного обеспечения ProxmoxVE, описанная в Виртуальных средах.
• Узел (node). Комбинация одного Железа и установленного на нём программного обеспечения, представленная в сети и описанная в Узлах Фермы.
• Ферма. Делова Ферма, для описания которой предназначена данная вики-страница.
• Хранилище. Система для хранения объектов, блоков и файлов, которые Ферма либо обрабатывает, либо предоставляет пользователям без обработки. Термины "хранилище Узла" или, во множественном числе, "хранилища", подразумевают системы хранения на отдельном Узле. Система описана в Хранилищах Узлов.

Архитектура

Для предоставления услуг пользователям:

1. Пользовательские приложения Фермы установлены:
   • либо в контейнерах, которые уже содержат подогнанные исключительно под нужды приложения операционные системы.
   • либо на виртуальных машинах. Для взаимодействия виртуальной машины и приложения, операционные системы "из коробки" установлены в машинах перед установкой приложений.
2. Контейнеры и виртуальные машины Фермы создаются в виртуальных средах.
3. Виртуальные среды Фермы требуют для работы "физические", так называемые "железные", сервера (bare-metal server; здесь и далее по тексту -- Железа).
4. Взаимодействие виртуальных сред с Железом осуществляется специально-ориентированной на это взаимодействие операционной системой. В сети, комбинация одного Железа и установленного на нём программного обеспечения называется "узловым центром" (node; здесь и далее, Узлом).

Для высокой доступности (high availability или HA) и отказоустойчивости услуг:

• Задействуются три Узла, объединённые в единые сети Соединителями. Два из трёх Узлов являются "несущими"; их базы синхронизованы и изменение в одной базе влечёт автоматическое изменение в другой. Из двух несущих, одно является основным. Третий Узел -- это требование используемого для создания виртуальных сред программного обеспечения ProxmoxVE для обеспечения кворума.
• В обычном режиме, веб-просмотрщик (web browser) пользователя обращается к IP адресу Hetzner vSwitch, который отправляет пользователя к основному Узлу.
• Если основной Узел неспособен обслуживать клиентов, виртуальная среда изолирует его и переключает клиентов на второй несущий, работающий Узел.

Отказоустойчивость требует пару дополнительных функций:

1. Для обнаружения сбоя или другой нештатной ситуации, Ферма постоянно мониторится. Сигнал о сбое поступает в виртуальную среду, которая ограждает (fencing) Узел со сбоем и запускает процесс восстановления данных с резервной копии.
2. Для восстановления данных в случае их потери из-за сбоя или другой нештатной ситуации, каждый Узел постоянно проводит резервное копирование.

Доступы

1. Администраторский доступ к Железу, а также к соединителям Hetzner vSwitch осуществляется через административную панель и администраторские консоли. Они предоставлены непосредственно Hetzner заказчику; заказчик лично может предоставить доступы ответственным администраторам.
2. Администраторский доступ к виртуальным средам ProxmoxVE и, далее, файлам пользовательских приложений, осуществляется через привязанные к Железу IP адреса. Данные доступов засекречены и хранятся в Брацкой Крынке.
3. Доступы к пользовательским приложениям осуществляются через привязанные к приложениям IP адреса. Доступы предоставляются Оплётом автоматически и, бюрократами Оплёта, вручную.

Инфраструктура

Инфраструктура Фермы -- это объединённые в единую связку три Железа.

Поставщик Железа

Hetzner является поставщиком услуг размещения, у которого "Железо" арендуется. Сотрудничество с данным поставщиком длится с 2016 года. Другие поставщики периодически рассматриваются, но никто другой не предлагал более низких цен на долгосрочной основе.

Выбор Железа

Из-за меньшей стоимости, Железo выбрано на аукционе -- https://www.hetzner.com/sb?hdd_from=500&hdd_to=1000 исходя из следующих предпосылок:

• Целевой рабочий объём жёсткого диска для этой Фермы -- 512Gb.
• Как минимум один, основной сервер выбран с SSD и, желательно, NVMe, и частотой процессора в 64Gb.
• Как минимум два "несущих" сервера выбраны в одном датацентре. Хотя Hetzner не берёт оплату за траффик, это обстоятельство повышает скорость работы Фермы. Если второй сервер не был бы доступен в том же датацентре, мы искали бы его в других датацентрах то же города или месторасположения.
• Подрядчик предпочёл сервер на процессоре Intel Xeon E3-1275v5 серверу на Intel Core i7-7700.
• Требования к третьему Железу ниже, чем к "несущим". Один кандидат утверждал, что его объём может быть меньше, так как на нём может быть установлен только ProxmoxVE.

Характеристики Железа представлены ниже.

Соединители

Для объединения Узлов в сети, используются инструменты Hetzner vSwitch. Их хозяином является поставщик услуг размещения; команда может заказать присоединeние к одному Железу до 5 соединителей. Право на присоединение соединителей предоставляется вместе с арендой Железа.

На соединителях построены внутренняя и внешняя сети. Каждый из соединителей имеет свой IP адрес, внутренний или внешний:

• Внутренние соединители обеспечивают передачу данных между Узлами. Прежде всего, такая передача жизненно необходима синхронизации хранилищ отдельных Узлов.
• Соединители с внешними, доступными из сети Интернет, IP адресами, распределяют запросы из сети Интернет между Узлами и возвращают ответы Узлов на запросы назад в сеть Интернет.

Инструменты Фермы не поддерживают и не могут поддерживать высокой доступности соединителей. За отказоустойчивость соединителей отвечает их хозяин, поставщик услуг размещения Hetzner.

Характеристики Железа

В результате процесса Выбора Железа, были выбраны сервера со следующими характеристиками:

Железо 1

1 x Dedicated Root Server "Server Auction"

• Intel Xeon E3-1275v5
• 2x SSD M.2 NVMe 512 GB
• 4x RAM 16384 MB DDR4 ECC
• NIC 1 Gbit Intel I219-LM
• Location: FSN1-DC1
• Rescue system (English)
• 1 x Primary IPv4

Железо 2

1 x Dedicated Root Server "Server Auction"

• Intel Xeon E3-1275v5
• 2x SSD M.2 NVMe 512 GB
• 4x RAM 16384 MB DDR4 ECC
• NIC 1 Gbit Intel I219-LM
• Location: FSN1-DC1
• Rescue system (English)
• 1 x Primary IPv4

Железо 3

1 x Dedicated Root Server "Server Auction"

• Intel Core i7-7700
• 2x SSD SATA 512 GB
• 2x RAM 16384 MB DDR4
• NIC 1 Gbit Intel I219-LM
• Location: FSN1-DC1
• Rescue system (English)
• 1 x Primary IPv4

Узлы Фермы

Работа Фермы обеспечивается тремя Узлами. Каждый Узел представляет собой отдельное Железо, приводимoe в действие несколькими видами программного обеспечения (ПО).

Резервное копирование

OpenZFS или RAID создаёт резервные копии и может быть задействовано для восстановления данных Железа в случае аварий. Жёсткие диски каждого Железа сдвоены, как, например, 2x SSD SATA 512 GB. RAID или OpenZFS копирует данные основного диска Железа на резервный диск. Если основной диск теряет данные из-за сбоя, резервный диск будет использован для восстановления данных на основной диск. RAID или OpenZFS устанавливается непосредственно на Железо.

Виртуальные среды

ProxmoxVE, в данный момент, v.7.2, создаёт виртуальные среды (здесь и далее -- Среды). Это программное обеспечение взаимодействует с Железом через операционную систему Debian, под которую оно настроено. Эта операционная система приходит в одной коробке с ProxmoxVE.

Сети Узлов

Сеть каждого Узла использует мост по выбираемой по умолчанию в Network Configuration модели.

Хранилища Узлов

Для хранения данных, каждый Узел использует платформу распределённого хранилища Ceph. Хранилища отдельныx Узлов синхранизуются через внутреннюю сеть инфраструктуры.

Таким образом, всё хранилище Фермы включает специально-зарезервированные дисковые пространства Желез и программное обеспечение, работа которого распределена по всем Узлам. Благодаря этому обеспечению, хранилища отдельных Узлов синхранизованы между собою, чтобы исключить единую точку отказа.

IP адреса

В сетях ProxmoxVE, мы задействуем три типа IP адресов:

1. Для управления средами ProxmoxVE, мы используем IPv4 адреса и IPv6 адреса отдельных Желез.
2. Для внутренней сети из трёх Желез, собранной на одном Hetzner vSwitch, задействуется частный IP адрес. Эта сеть не доступна из сети Интернет; прежде всего, через неё синхранизуются хранилища Желез. Для этой сети, выбран адрес с типом "/24" .
3. Внешняя сеть требует покупки дополнительных IP адресов, причём IPv4 адреса дороги, а IPv6 адреса, возможно, могут не обеспечивать стабильной работы. В данный момент, мы купили один IPv6 адрес и тестируем его. Этот IPv6 адрес будет присваиваться всем VM и контейнерам, которые будут создаваться в инфраструктуре. Чтобы работать с ресурсами Фермы, пользователи будут запрашивать именно этот адрес. Эта сеть также собрана на тех же Железах другим Hetzner vSwitch.

DNS зона

Для связи с сетью Интернет, следующие записи созданы в зоне DNS:

Resource record	Type	Data	Обслуживает:
pm1.bskol.com	AAAA	2a01:4f8:10a:439b::2	Среда 1
pm2.bskol.com	AAAA	2a01:4f8:10a:1791::2	Среда 2
pm3.bskol.com	AAAA	2a01:4f8:10b:cdb::2	Среда 3
pf.bskol.com	AAAA	2a01:4f8:fff0:53::6	pfsense
pf.bskol.com	A	88.99.71.85
npm.bskol.com	A	88.99.71.85
jitsi.bskol.com	AAAA	2a01:4f8:fff0:53::2	Жици (Jitsi)
jitsi1.bskol.com	A	88.99.218.172	Доступ по IPv4 к Жици (Jitsi)
sprava.bskol.com	AAAA	2a01:4f8:fff0:53::3	Справа (Odoo)
sprava2.bskol.com	A	88.99.71.85	Доступ по IPv4 к Справе (Odoo)
setka.bskol.com	AAAA	2a01:4f8:fff0:53::4	Сетка (HumHub)
setka2.bskol.com	A	88.99.71.85	Доступ по IPv4 к Сетке (HumHub)
svazka.bskol.com	AAAA	2a01:4f8:fff0:53::5	Связка (SuiteCRM)
svazka2.bskol.com	A	88.99.71.85	Доступ по IPv4 к Связке (SuiteCRM)

Пользовательские прилады

Ферма обеспечивает высокую доступность Брацкой Сетки, Брацкой Справы и, возможно, других приложений, которые принадлежат Делово Бюро.

Сетка

• Брацка Сетка -- это брацкая прилада, которая представляет собою систему поддержки социальной сети, построено на базе готового программного решения HumHub.

Справа

• Брацка Справа -- это средство управления людскими и материальными ресурсами предприятия, построенное на основе программного обеспечения Odoo.

Жици

• Брацки Жици -- это инструмент Брацкой Школы для организации видео- и аудио-конференций, построена на основе программного обеспечения Jitsi.

Связка

• Брацка Связка

История разработки

Предыстория

Пользовательские приложения Делова Бюро изначально ставились на то, что сейчас называется Кампусной Фермой. При создании курса Брацки Техобзор появилась идея вынести их на отдельную платформу. Идея развилась, когда было решено создать кластер на "железных" серверах.

Собственные попытки

Весной 2022 года, в дополнение к железному серверу Опытной Фермы, был арендован второй "железный" сервер. Наталья и подрядчик Андрей собственными силами в течение пары месяцев пытались сделать из них кластер.

Советы по созданию

В результате собственных попыток, стало понятно, что компетенций команды для создания кластера не хватает. Для получения сторонней экспертизы, следующее объявление было размещено на Upwork:

Hetzner/RAID/Proxmox consultant is needed Tech Support

Hey, guys, I need a consultant for this project - https://pravka.bskol.com/en/CNMC_bare-metal. I plan to buy a bare-metal server at hetzner.de, setup RAID and Proxmox, as well as start setting up the rest of technology

По итогам консультаций, были сформулированы задания на создание кластера. Деловы прилады были выбраны в качестве "жителей" этого кластера из-за того, что требования кампусных прилад к инфраструктуре ниже.

Создание кластера

Летом 2022-го, проект создания кластера был оформлен и Каролина была назначена координатором. Она привлекала подрядчиков на изготовление Фермы по разработанным на этой вики-странице требованиям.

Объявление на разовую работу было опубликовано на Upwork:

HA Proxmox Hetzner cluster is needed Systems Administration

Guys, we need the most affordable well-documented HA (high availability) ProxmoxVE 7.2 cluster that is assembled on three Hetzner nodes:

• 2 Intel Xeon E3-1275v5/2x SSD M.2 NVMe 512 GB/4x RAM 16384 MB DDR4 ECC/NIC 1 Gbit Intel I219-LM and
• One Intel Core i7-7700/2x SSD SATA 512 GB/2x RAM 16384 MB DDR4/NIC 1 Gbit Intel I219-LM.

Ceph, iptables. We plan that each node would have one VM or container for testing. We will assign a domain name to that.

Each has a primary IPv4. However, there are some unresolved issues related to the network. Initially, we planned to use vSwitch; however, it seems to require additional IP addresses, from which IPv4 are expensive and IPv6 may not be able to deliver HA. Thus, we plan to offer two different contract prices -- one is if we need to buy additional IPv4 addresses for vSwitch and another is if we don't.

We see two parts of acceptance testing. If both are successful, the contract shall be considered completed.

1. During software testing, we will shut down 2 of 3 nodes to see whether the cluster is still available.
2. During documentation testing, we will erase the software from one, implement the rescue, and one expert will try to restore the software using your documentation. She will video-record her attempts and, if not successful, will provide you with the recording, so either you can show her errors or correct yours.

What else do you need? If nothing, please give your minimum project budget (your project fare + initial costs of additional purchases such as setup fees for additional IP addresses, if any, required by the contract + first year costs of additional purchases, if any) and timeframe up to 2-3 weeks.

This project is a fixed-price one. When we send you an offer, we will change the terms. To complete the project, the selected contractor will be given an admin access, but not full robot credentials, for three weeks. After three weeks, that access would be revoked; if you don't complete the project by that time, you will never finish it!

Подрядчики отбирались по следующему принципу. Нам нужен кластер с нуля и мы отдадим подряд тому,

1. Кто сможет это сделать,
2. В чьём графике завершение контракта не растянется на более, чем два месяца, и
3. Чей бюджет будет наименьший. Имеется в виду весь бюджет, включая и оплату подрядчиков, и расходы на покупку и ежегодного поддержания Фермы.

Контракт был присуждён 8-го июля со сроком действия до 12 августа 2022 года.

Передача и приёмка

Объёмы работ

Мы предоставляем подрядчику Инфраструктуру и изложенные на этой вики-странице требования. Подрядчик должен представить нам объект приёмки -- отлично задокументированные Виртуальные среды с установленными высокоустойчивыми Пользовательскими приладами.

Приёмочные тесты

Для того, чтобы убедиться в том, что то, что представлено подрядчиком -- это то, что нам надо (aka отвечает критериям приемлемости), порядок приёмочного тестирования установлен следующим:

1. Созданную Ферму тестируем, насильно отключивши два случайно выбранные Железа из трёх доступных. Если Ферма продолжает работать, то сборка принимается.
2. Программное обеспечение случайно выбранного Узла (одного из трёх) удаляется и наш специалист, Natly, восстанавливает его по созданной документации, одновременно записывая восстановление на видео. Восстановленная Ферма тестируется аналогично созданной. Если Ферма продолжает работать, то документация принимается. Если нет, то видео передаётся подрядчику для доработки документации или указания ошибок Natly.

Вопросы для прояснения

Архитектура платформы

Есть две окончательно неразрешённые проблемы касаемые ПО платформы:

• Один подрядчик предлагает вместо Ceph задействовать TrueNAS.
• До начала проекта, один специалист предлагал использовать роутер Microtik, чтобы на proxy сделать два IP адреса, первый использовать для внутренних виртуалок, если они нормально работают, а второй загнать в bridge для внешних серверов и средствами Линукса типа firewall делить тот трафик, который приходит. Кроме того, на том же proxy он предлагал поставить DHCP сервер для раздачи адресов машинам. Другой специалист считал, что безопасных DHCP серверов на рынке нет. В результате, роутеры и DHCP сервер не устанавливались.

Начало работы

• Что надо от нас, кроме присуждения контракта, решений по Архитектуре платформы и данных Железа?
• Насколько полезны для этой разработки Полезные рекоммендации?

Полезные рекоммендации

• https://www.informaticar.net/how-to-setup-proxmox-cluster-ha/ (using Ceph without Hetzner vSwitch)
• https://community.hetzner.com/tutorials/hyperconverged-proxmox-cloud (using Ceph with Hetzner vSwitch)
• https://pve.proxmox.com/wiki/High_Availability (general ProxmoxVE HA functionality)
• https://docs.hetzner.com/robot/dedicated-server/network/vswitch/ (general Hetzner vSwitch functionality)