Опытна Ферма

Опытна Ферма (здесь и далее, Ферма) -- это группа вычислительных излов, обеспечивающая операции Опытна Облака.

Архитектура

Один железный сервер с относительно небольшой производительностью (32-64Gb) и относительно большим объёмом диска (2-3Tb) будет служить платформой для Опытна Облака. Eго виртуализация поддержит эксперименты при том, что отказоустойчивость для них не принципиальна.

Если кластер из существующего железа собрать невозможно, я думаю отказаться от второго сервера и хранилища, оставив первый сервер на Опытно Облако (где отказоустойчивость не обязательна, так как мы будем использовать его для экспериментов). Подрядчики соберут один или два меньших кластера на железе, куда мы поставим основные приложения, ну а отказоустойчивости остальных мы будем добиваться на VPS-ках.

Приложения

Каждый пакет программного обеспечения установлен на отдельной виртуальной машине. Доступ к этой машине дан тем сотрудникам и тем подрядчикам, которые работают над конкретным приложением. В Опытном Облаке:

1. • Все Полные приложения имеют свои экспериментальные версии.
   • Размещены все Опытные приложения без исключения.
   • Установлены те федеративные и сетевые решения, которые не задействованы для непосредственного обслуживания тех учеников, которые не являются подмастерьями.
2. Автоматически создавать

ProxmoxVE -- основное решение, которое рассматривалось изначально. Это решение использовалось ранее, но не была решена проблема автоматического создания виртуальных машин для участников тренингов. Похоже, что VMWare и Oracle VirtualBox справляются с этой проблемой лучше.

Далее, некоторые специалисты в разговорах упоминали Apache CloudStack и инструменты оркестрации типа Ansible и Puppet software, хотя те рассчитаны на работу с намного большим количеством машин, чем на данный момент планируется в Опытне Облаке.

Количество IP адресов и архитектура их распределения также требуют решения. Один специалист предлагает использовать роутер Microtik, чтобы на proxy сделать два IP адреса, первый использовать для внутренних виртуалок, если они нормально работают, а второй загнать в bridge для внешних серверов и средствами Линукса типа firewall делить тот трафик, который приходит. Кроме того, на том же proxy можно поставить DHCP сервер для раздачи адресов машинам. Другой специалист считает, что безопасных DHCP серверов на рынке нет.

Материальная часть

Требования к материальной части изложены на https://pve.proxmox.com/wiki/System_Requirements

Железо 1

Железный сервер (bare metal) арендован на Hetzner. Он имеет такие характеристики:

• Dedicated Root Server SB35
• Intel Core i7-3930
• 2x HDD SATA 3,0 TB
• 8x RAM 8192 MB DDR3
• NIC 1 Gbit - Intel 82579LM
• Location: FSN1 (Falkenstein/Vogtland, Germany) -- DC7
• Rescue system (English)

Основной IP адрес Железа -- наш-IP . На начало февраля 2022, Железо использует один дополнительный IP адрес 4-го протокола (IPv4):

• IP: 5.9.40.133
• Gateway: 5.9.40.129
• Netmask: 255.255.255.224

Не предпринималось попыток работать с IP адресами 6-го протокола (IPv6).

Два инструмента задействованы для виртуализации:

1. На уровне основного сервера, виртуализация выполнена средствами RAID, то есть два жёстких диска HDD SATA действуют как один диск на 3,0 TB, обеспечивая сохранение данных в случае отказа одного из дисков.
2. Для создания виртуальных машин и работы с контейнерами, установлена среда ProxmoxVE.

Железо 2

Характеристики второго (bare metal) сервера:

• Dedicated Root Server
• Intel Xeon E3-1245
• 2x HDD SATA 3,0 TB Enterprise
• 4x RAM 8192 MB DDR3 ECC
• NIC 1 Gbit Intel 82574L
• RAID Controller 4-Port SATA PCI-E LSI MegaRAID SAS 9260-4i
• Location: FSN1 (Falkenstein/Vogtland, Germany) -- DC7
• Rescue system (English)

На основном сервере используется либо локальный IP, либо частный диапазон IP с DHCP. Если не возникнет особых проблем, мы планируем использовать 2 адреса IPv4. Мы также открыты для изучения IPv6. Если мы используем адреса About ipv4, нам нужно 5 ips: один для основного сервера, два для шлюза, три для любого vps или контейнера и четыре для Wordpress vps, и 5 для любого другого, который нам понадобится в будущем.

ProxmoxVE поставляется с OpenZFS, поэтому мы настоятельно рекомендуем использовать его. Также будут обсуждаться другие реализации программных RAID на различных уровнях. На данном этапе мы не рассматриваем аппаратные решения, чтобы избежать зависимости от проприетарных карт RAID.

Связанные лектио

• Что Есть Фермы