Кампусна Ферма — различия между версиями
Gary (обсуждение | вклад) (→Объявление) |
Gary (обсуждение | вклад) (→Поиск подрядчиков) |
||
| Строка 27: | Строка 27: | ||
==Поиск подрядчиков== | ==Поиск подрядчиков== | ||
| − | Для ускорения проекта и привлечения сторонней экспертизы, | + | Для ускорения проекта и привлечения сторонней экспертизы, Каролина в качестве рекрутера ищет подрядчиков на новый кластер или пару их. |
===Объявление=== | ===Объявление=== | ||
| − | :Объявление на разовую работу опубликовано на [[upwork]]:<blockquote>Guys, we need the most affordable well-documented HA ProxmoxVE 7.2 cluster that is assembled on Hetzner. Ceph, IPtables, vSwitch. Please give your minimum project budget (your project fare + initial purchases + first year costs) and timeframe.</blockquote> | + | :Объявление на разовую работу опубликовано на [[upwork]]:<blockquote>Guys, we need the most affordable well-documented HA ProxmoxVE 7.2 cluster that is assembled on Hetzner. Ceph, IPtables, vSwitch. Please give your minimum project budget (your project fare + initial purchases + first year costs) and timeframe. No nodes have been purchased yet; we plan to do that as soon as the contract is awarded. To complete the project, the selected contractor will be given an admin access, but not full robot credentials.</blockquote> |
===Принцип отбора=== | ===Принцип отбора=== | ||
| − | :Нам треба кластер з нуля и мы отдадим подряд тому, кто сможет это сделать и чей бюджет будет наименьший. Имеется в виду весь бюджет, включая и оплату подрядчиков, и расходы на покупку и ежегодного поддержания ''Кластера''. | + | :Нам треба кластер з нуля и мы отдадим подряд тому, |
| + | :#кто сможет это сделать, | ||
| + | :#чей график до пары месяцев, и | ||
| + | :#чей бюджет будет наименьший. Имеется в виду весь бюджет, включая и оплату подрядчиков, и расходы на покупку и ежегодного поддержания ''Кластера''. | ||
===Собеседования=== | ===Собеседования=== | ||
| Строка 39: | Строка 42: | ||
===Полученные заявки=== | ===Полученные заявки=== | ||
| − | : | + | :Мы можем публиковать полученные заявки, но не публикуем имена подрядчиков, так как они нам на публикацию разрешений не давали. С юридической точки зрения, мы не можем публиковать конфиденциальную информацию наших подрядчиков. |
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
===Уточнение деталей и присвоение контракта=== | ===Уточнение деталей и присвоение контракта=== | ||
Версия 16:56, 3 июля 2022
Кампусны Кластер -- это отказоустойчивый (high availability) кластер (здесь и далее по тексту -- Кластер) на основе трёх "физических" (bare metal) узлов (здесь и далее по тексту -- Желез) Брацких Ферм (здесь и далее по тексту -- Ферм), который обеспечивает высокую доступность услуг, предположительно, Брацкой Правки и Брацкой Учебки. Оба приложения принадлежат Брацку Кампусу, однако их номенклатура и, соответственно, название Кластера могут измениться в результате его разработки.
Содержание
Инфраструктура
Размещение
- Hetzner является поставщиком услуг размещения, у которого "Железо" арендуется.
Сеть инфраструктуры
- Три Железа необходимы для обеспечения высокой доступности. Если одно Железо неспособно обслуживать клиентов, Кластер изолирует его и переключает клиентов на работающее Железо. Для переключения на то Железо, которое работает с клиентами, используется инструмент Hetzner vSwitch.
Виртуальная среда
Виртуальная среда Кластера собрана на основе ProxmoxVE, в данный момент, v.7.2.
Сети виртуальных сред
- Сеть каждого Железа использует мост по модели выбираемой по умолчанию в Network Configuration
Хранилища
- Для хранения данных используется платформа распределённого хранилища Ceph.
Защитная стена
- Для раздачи адресов виртуальным машинам, используется программа iptables.
Пользовательские прилады
Сетка
Почта
Поиск подрядчиков
Для ускорения проекта и привлечения сторонней экспертизы, Каролина в качестве рекрутера ищет подрядчиков на новый кластер или пару их.
Объявление
- Объявление на разовую работу опубликовано на upwork:
Guys, we need the most affordable well-documented HA ProxmoxVE 7.2 cluster that is assembled on Hetzner. Ceph, IPtables, vSwitch. Please give your minimum project budget (your project fare + initial purchases + first year costs) and timeframe. No nodes have been purchased yet; we plan to do that as soon as the contract is awarded. To complete the project, the selected contractor will be given an admin access, but not full robot credentials.
Принцип отбора
- Нам треба кластер з нуля и мы отдадим подряд тому,
- кто сможет это сделать,
- чей график до пары месяцев, и
- чей бюджет будет наименьший. Имеется в виду весь бюджет, включая и оплату подрядчиков, и расходы на покупку и ежегодного поддержания Кластера.
Собеседования
- Найм людей -- отличный способ узнать об аспектах проекта и получаемого в его процессе изделия. Идеально проведённые собеседования добавляют документации на Правку.
Полученные заявки
- Мы можем публиковать полученные заявки, но не публикуем имена подрядчиков, так как они нам на публикацию разрешений не давали. С юридической точки зрения, мы не можем публиковать конфиденциальную информацию наших подрядчиков.
Уточнение деталей и присвоение контракта
Під час конференції обрати, які саме сервери на Hetzner купуємо. Один з експертів сказав, що потрібно три сервера. Два з яких забезпечують HA і мають більшу ємність (512 Гб у нашому випадку), а третій може мати меншу ємність, так як на ньому буде тільки ProxmoxVE. Скласти контракт, в якому прописати такі пункти:
- Створення HA кластеру з трьох серверів на Hetzner з ProxmoxVE за тиждень (домовитись про якийсь період)
- Після закінчення роботи приймаємо в онлайн режимі через один із засобів для конференцій.
- Крім створеного HA кластеру має бути також детальна документація по створенню HA кластеру.
- Створений HA кластер тестуємо, примусово вимкнувши одну з нод.
- При наявності документації у повному об’ємі та створеного працюючого HA кластера – приймаємо роботу.
Порядок разработки
Распределение обязанностей
- Заказчик платит за Кластер и согласовывает эту вики-страницу перед присуждением подряда. Заказчик подразумевает, что координатор отработает проект, в том числе, документируя требования на этой вики-странице и ставя задачи подрядчику. По доброте душевной и в целях профессиональной подготовки, заказчик может делать работу координатора временно до той поры, пока заказчик верит в то, что координатор когда-то сможет работать самостоятельно :)
Как не надо
Мало бути так: ... Знаходимо людину, яка нас задовільняє на даний проект (або декілька людей) - зв'язуємось (бажано дзвінком) для уточнення деталей і надання необхідних даних (в цей же етап можна задавати Ваші питання про сервера, які, куди, як..) і на цьому етапі обов'язково присутня Natly, бо я не айтішник, щоб розуміти всі ці тонкощі і надавати комусь якісь доступи - заслуховуємо його оцінку по бюджету цього проекту - розуміємо підходить нам чи ні - остаточно даємо роботу або відмовляємо.
Продолжение известно на 99%. В одном случае из 100, мы получим то, что нам надо. В 99 остальных случаях, мы получим то, что нам не надо или за те деньги, на которые мы не рассчитываем. Если мы не определим, что мы должны получить и как мы о том узнаем, мы то и не получим.
Как надо
- Сформулировать требования к тому, что мы должны получить (так называемые "Объёмы работ").
- Сформулировать требования к тому, как мы узнаем, получили ли мы то, что были должны (так называемая "Приёмка").
- Задокументировать формулировки на этой вики-странице.
- Перевести требования на этой странице на английский и включить в контракт.
- Действовать далее по рубрике Как не надо; после выполнения предыдущих пунктов, она имеет смысл.
Вопросы для прояснения
Покупка железа
Ми не купили сервер тільки тому, що не знайшли підрядчика. Зачем тратить денежки зазря?
Однако представим, что мы присудим контракт сейчас. Подрядчик скажет, давайте доступ к рабочему месту, верно? По другому быть не может. А места-то нет, сервера надо покупать. Отсюда возникает вопрос -- как мы будем покупать сервера под этот проект? Объём, я думаю, выберем в 512Gb. Но какие сервера? Нам нужно выбрать три из тех сотен, которые сегодня на аукционе -- https://www.hetzner.com/sb?hdd_from=500&hdd_to=1000
По какому принципу их отбирать? Они все должны быть одинаковыми? Ненад говорил, что нет. Один купить подороже и два -- подешевле? Они должны быть в одном датацентре или могут быть в разных?
Як ми купували раніше? Раньше мы садились с Натальей, шарили экран и покупали -- это надо оговорить с новым подрядчиком.
Архитектура платформы
- Есть две окончательно неразрешённые проблемы касаемые ПО платформы:
- Один подрядчик предлагает вместо Ceph задействовать TrueNAS.
- До начала проекта, один специалист предлагал использовать роутер Microtik, чтобы на proxy сделать два IP адреса, первый использовать для внутренних виртуалок, если они нормально работают, а второй загнать в bridge для внешних серверов и средствами Линукса типа firewall делить тот трафик, который приходит. Кроме того, на том же proxy он предлагал поставить DHCP сервер для раздачи адресов машинам. Другой специалист считал, что безопасных DHCP серверов на рынке нет. В результате, роутеры и DHCP сервер не устанавливались.
Начало работы
Что надо от нас, кроме присуждения контракта, решений по Архитектуры платформы и Покупки железа?
Объёмы работ
Что подрядчик нам представит (aka что будет объектом приёмки)?
Приёмка
Как мы убедимся в том, что то, что представлено -- это то, что нам надо (aka что будет критериями приемлемости и как мы будем проводить приёмочное тестирование)?
