BeerPanda. Органично недоразвитый DevOps

Евгений Парфенов. Как НЕ надо работать с облаком. Быль полная слез.

🖥 Highload — территория для тех, кто не боится слова “нагрузка” и живёт на пределе возможностей системы.Это направление соберёт классных архитекторов, инженеров и практиков. Представляем спикеров секции «Высокие нагрузки»:⏩ Антон Жбанков, Архитектор вычислительной инфраструктуры, независимый экспертТема: «Хочешь настоящий ИТ-хайлоад по хардкору?»⏩ Вадим Подольный, руководитель комитета промышленной автоматизации АРПП «Отечественный софт», член совета клуба топ-менеджеров 4CIO, автор книги «Архитектура Высоконагруженных Систем»Тема: «Как НЕ надо строить хайлоад»⏩ Евгений Парфёнов, enterprise-архитекторТема: «Как НЕ надо работать с облаком. Быль, полная слёз»⏩ Игорь Гальцев, технический директор облачных разработок SoftlineТема: «Highload расходы. ФинОпс — методика оптимизации»До ⚡️⚡️⚡️⚡️ осталось 2 дня! Готовы к нетворкингу и экспертным выступлениям?📌 8 ноября, г. ЧебоксарыТеатр юного зрителя имени Михаила Сеспеля🟢Больше про IT-link Осень 2025🟢Зарегистрироваться

Сводная таблица с российскими решениями по виртуализации.Создана силами сообщества RusVirtUG при участии вендоров, но лишь при участии.Не является рекламойhttps://docs.google.com/spreadsheets/d/1fk8Hin2J31RIwnbPukPPKvrMJnu5hCq2wF6hjL8hiVQ/edit?usp=sharing

Время прохладных ИИ историйДиректор по ИТ инфраструктуре рассказывает. Взяли, говорит, у нас ИИ евангелиста с полгода назад. Ну тот шуршит, что то делает. Я и спрашиваю:- Планируется ли размещение ИИ оборудования у нас в онпреме.- Да, но не в этом году, а в следующем.- У меня для тебя с таким горизонтом планирования есть аж 80 кВт.- А что это?

🫡 Закончилась эпоха модемного доступа через телефонные линииВчера компания AOL окончательно отключила модемный доступ через телефонные линии. В конце 90-х сервисом пользовались 30 млн человек.

"Инженерная инфраструктура ЦОД должна обеспечивать электроснабжение и охлаждение стоек со средней плотностью мощности не менее 11 кВт на стойку и с возможностью обеспечения функционирования до 5 из 55 стоек энергопотреблением и тепловыделением не менее 21 кВт, прописано в требованиях."Снижая зависимость от облачных провайдеров, «Лемана Про» подыскивает новый ЦОД (https://www.tadviser.ru/a/898759)Ровно неделю назад аналитики от ИКС консалтинга и профи рынка коммерческих ЦОДов на DCForum рассказывали про среднюю корпоративную стойку в 5.5-7 кВт.РТК-ЦОД буквально недавно запустил очередные пару тысяч стоек по 5.5-7 кВт.Напомню, что еще в 2008 году HPE BladeSystem C7000 вполне могла съесть в одно лицо 8 кВт на 10U. В 2003 году HP DL 360 gen3 имел 2 БП х 350 Вт на 1U. В 2009 - 2 x 700, в 2025 - 2 x 2200 Вт.А стойки как были, так и остались по 5.5 кВт. Итого в среднюю "корпоративную" стойку сейчас еле-еле войдет 3 плотных 1U сервера (3U) ИЛИ пара 400Г коммутаторов (2 x 3500) общей высотой 4U.15 кВт сервер под AI с 8 горячими GPU придется запитывать сразу с трех стоек, что дает нам те же фантастические цифры утилизации в 3.5U на стойку, или 8%.Поэтому повторю свой вопрос с DCForum. Уважаемые ЦОДы, вы в каком году живете, все еще в 2005?Пожелаем ЛеманаПро успеха в сложном деле поиска локации из 2025 года.

Из древности ИТ в наши дни. 4Virtual Desktop InfrastructureБрокерВ 2007 лидер рынка промышленной виртуализации, VMware, выпустила первую версию своего продукта VDM (Virtual Desktop Manager), ставшего фактически первым на только рождающемся рынке виртуальных десктопов. Разумеется долго ждать ответа от лидера терминальных серверов Citrix не пришлось и в 2008 одновоременно с покупкой XenSource (XenServer) появляется XenDesktop. Безусловно были и другие вендоры со своими предложениями, но не будем слишком углубляться в историю, отходя от концепции.И до сих пор концепция сохраняется. Ключевой компонент VDI — это брокер соединений.Именно это сердце инфраструктуры виртуальных десктопов.Брокер отвечает за самые главные процессы работы VDI:* Определяет доступные для подключившегося клиента ресурсы (машины/сессии);* Балансирует при необходимости клиентов по пулам машин/сессий;* Пробрасывает клиента на выбранный ресурс.Сегодня клиентом (терминалом) для VDI может быть фактически вообще все, что имеет экран — ноутбук, смартфон, планшет, киоск, тонкий или нулевой клиент. А ответной частью, той самой что исполняет продуктивную нагрузку — сессия терминального сервера, физическая машина, виртуальная машина. Современные зрелые продукты VDI тесно интегрированы с виртуальной инфраструктурой и самостоятельно управляют ей в автоматическом режиме, развертывая или, наборот, удаляя уже ненужные виртуальные машины.Немного в стороне, но для некоторых клиентов крайне важной технологией VDI, стоит поддержка аппаратного ускорения 3D графики для работы проектировщиков или дизайнеров.ПротоколВторой чрезвычайно важной частью зрелого решения VDI является протокол доступа к виртуальным ресурсам. Если речь идет о работе внутри корпоративной локальной сети с отличной надежной сетью 1 Gbps до рабочего места и задержкой в 1 ms, то можно брать фактически любой и вообще не думать.Думать нужно когда подключение идет по неконтролируемой сети, а качество этой сети может совершенно любым, вплоть до скоростей в

Когда слышал про NUMA, но не понял как все это работает.Встретил вот такую интересную статью, в которой предлагают бороться с NUMA через CPU Affinity Краткий комментарий от меня:1. Задача поддерживать NUMA locality - задача гипервизора2. Чем больше инфраструктура - тем меньше в нее надо лезть руками3. При задании CPU affinity слетает миграция и балансировка4. CPU affinity не имеет смысла, если гипервизор память выделил НЕ на на том же узлеНу и отдельные перлышки.В рабочих окружениях мы обычно имеем дело с серверами на 32 и больше ядер.NUMA массово в x86 появилась во времена Xeon 55xx Nehalem, 2008 год. От 2 до 8 ядер на процессор.А для работы с большими объёмами оперативки - Non-Uniform Memory Access (NUMA). Для сокращения пути ядро<->память, а не для большого объема. Объем-то как раз не проблема нарастить, только все упрется в пропускную способность и задержки.Но виртуальные машины не имеют информации о том, как устроены NUMA-узлы и ядра на хостеПоэтому размещением машин и локальностью NUMA занимается гипервизор. В этом весь смысл виртуализации.Но в реальном продакшенеВ реальном продакшене количество узлов в кластере может составлять десятки хостов. ВМ постоянно создаются, включаются, выключаются, перемещаются (живая миграции). Как результат идет фрагментация памяти. А управлять процессор должен планировщик процессора и менеджер памяти гипервизора.Использования CPU affinity для борьбы с NUMA - уровень "чтобы быстрее ползать надо отрубить ноги".

Из древности ИТ в наши дни. 3Терминальные серверыПовсеместное распространение все более и более мощных персоналок на периферии значительно опережало развитие сетей общего доступа. Классические для 90-начала 00 клиент-серверные приложения не очень хорошо работали по тонкому каналу, если обмен данными составлял сколько нибудь значимые значения. Особенно это было тяжело для удаленных офисов, подключавшихся по модему и телефонной линии, которая к тому же периодически подвисала или обрывалась. И…Спираль сделала виток и оказалась снова в терминальном режиме с концепцией терминальных серверов.Фактически мы вернулись к 70м с их нулевыми клиентами и централизацией вычислительной мощности. Очень быстро стало очевидно, что помимо чисто экономической подоплеки с каналами терминальный доступ дает огромные возможности по организации безопасного доступа снаружи, в том числе работы из дома для сотрудников, или крайне ограниченного и подконтрольного доступа контракторам из недоверенных сетей и недоверенных/неконтролируемых устройств.Однако терминальные серверы при всех их плюсах и прогрессивности, обладали также и рядом минусов — низкая гибкость, проблема шумного соседа, строго серверная Windows и тд.Рождение прото VDIПравда в начале-середине 00х уже вовсю выходила на сцену промышленная виртуализация x86 платформы. И кто-то озвучил попросту витавшую в воздухе идею: а давайте вместо централизации всех клиентов на серверных терминальных фермах дадим каждому его персональную ВМ с клиентской Windows и даже администраторским доступом?Отказ от толстых клиентовПараллельно с виртуализацией сессий и ОС развивался подход, связанный с облегчением функции клиента на уровне приложения.Логика за этим была довольно простая, ведь персональные ноутбуки были все еще далеко не у всех, интернет точно так же был не у всех, и многие могли подключиться только из интернет кафе с очень ограниченными, мягко говоря, правами. Фактически, все что можно было запустить — это браузер. Браузер стал непременным атри

Из древности ИТ в наши дни. 2“Наши дни” я бы стал отсчитывать с начала 80-х, с момента появления первых доступных широкому кругу процессоров со сколько нибудь значимой вычислительной мощью. Традиционно считается, что главным процессором эпохи стал Intel 8088 (семейство x86) как родоначальник победившей архитектуры. В чем же принципиальная разница с концепцией 70х?Появляется тенденция переноса обработки информации из центра на периферию. Далеко не все задачи требуют безумных мощностей мейнфрейма или даже мини-компьютера. Intel не стоит на месте, в 90х выпускает семейство Pentium. Эти процессоры уже способны на многое, не только написать письмо — но и мультимедиа, и работать с небольшими базами данных. Фактически для малого бизнеса полностью отпадает необходимость в серверах — все можно выполнять на периферии, на клиентских машинах. С каждым годом процессоры все мощнее, а разница между серверами и персоналками все меньше и меньше.Если сравнивать современные клиентские процессоры “смешной” для администраторов тяжелых серверов в 90е компании Intel с суперкомпьютерами прошлого, то и вовсе становится слегка не по себе.Давайте взглянем на старичка, всего-то практически моего ровесника. Cray X-MP/24 1984 года.Эта машина входила в топ суперкомпьютеров 1984, имея 2 процессора по 105 MHz с пиковой вычислительной мощностью 400 MFlops (миллионов операций с плавающей точкой). Конкретно та машина, что изображена на фото, стояла в лаборатории криптографии АНБ США, и занималась взломом шифров. Если перевести 15 млн долларов 1984 года в доллары 2020, то стоимость составит 37,4 млн, или 93 500 долларов / MFlops.В той машине, на которой я пишу эти строки (текст 2020 года), стоит процессор Core i5-7400 2017 года, не новый, и даже в год своего выхода самый младший 4-ядерным из всех десктопных процессоров среднего уровня. От 19 до 47 GFlops по разным тестам при цене 16 тыс руб за процессор. Если собрать машинку целиком, то можно принять ее стоимость за 750 долларов (по ценам и курсу на 1