DevOps Portal | Linux

Kubernetes NodeLocal DNSCache: как это работает Когда речь заходит о производительности, в Kubernetes важен каждый DNS-запрос.Без NodeLocal DNSCache поды отправляют DNS-запросы на Service IP kube-dns/CoreDNS.Эти запросы проходят через kube-proxy, правила DNAT и conntrack, прежде чем попасть в CoreDNS.В загруженных кластерах это может приводить к дополнительным задержкам и увеличивать нагрузку на таблицу conntrack.NodeLocal DNSCache решает эту проблему, разворачивая локальный DNS-кеш на каждой ноде в виде DaemonSet.В результате поды обращаются не напрямую к CoreDNS, а к локальному DNS-кешу на той же ноде.Основные преимущества:- Сокращает среднее время DNS-резолвинга, поскольку многие запросы обрабатываются локально из DNS-кеша.- Снижает нагрузку на CoreDNS.- Помогает избежать переполнения таблицы conntrack, так как соединения между подами и локальным DNS-кешем не создают записей в conntrack.- DNS-запросы к внешним доменам могут форвардиться напрямую, без участия CoreDNS.Примечание: NodeLocal DNSCache не включён в Kubernetes по умолчанию.Для его использования необходимо вручную развернуть DaemonSet с NodeLocal DNSCache (за исключением некоторых managed-решений, например GKE Autopilot, где эта функциональность уже включена по умолчанию).👉 DevOps Portal

Как правильно работать с резервным копированием в облаке?25 июня приглашаем на бесплатный вебинар от MWS Cloud Platform всех, кто работает с облаками.⚫️Развеем мифы, разберём лучшие современные подходы и инструменты.⚫️Обсудим интеграцию в процессы, консистентность, точечное восстановление и безопасность. Поговорим о плюсах нативных облачных инструментов.⚫️Проведём демо в MWS Cloud Platform и ответим на ваши вопросы.Зарегистрируйтесь, чтобы не пропустить! ⏰ 25 июня в 14:00 (мск)✅ Зарегистрироваться

Шпаргалка по SSH-туннелямЗабавный факт: с появлением ИИ-агентов и песочниц я стал пользоваться SSH даже чаще – это по-настоящему фундаментальная технология.👉 DevOps Portal

Корректное завершение работы контейнеризированных приложений может быть не таким простым, как кажетсяРазберитесь с типичными подводными камнями на практике:- Слишком медленная последовательность остановки приложения: https://labs.iximiuz.com/challenges/docker-graceful-container-shutdown- Потеря сигналов при их передаче процессам: https://labs.iximiuz.com/challenges/graceful-termination-for-nodejs-container- Некорректно работающий entrypoint-скрипт: https://labs.iximiuz.com/challenges/graceful-termination-for-container-with-entrypointПриятного хаккинга! 🚀👉 DevOps Portal

DevOps-инструмент недели: AirLLM Для локального запуска больших моделей вам не нужен мощный GPU.AirLLM — это open-source инструмент, который позволяет запускать крупные модели на одной видеокарте, не загружая всю модель в VRAM целиком.Он разбивает модель на слои и во время инференса подгружает их по одному.Вот как это работает 👇- При первом запуске AirLLM скачивает полную модель, разбивает её на отдельные шарды по слоям и сохраняет их на локальном диске.- Когда вы отправляете запрос, модель начинает загружаться в VRAM послойно.- Сначала из диска в VRAM видеокарты загружается первый слой, выполняется его обработка, затем память освобождается и загружается следующий слой.- Этот процесс повторяется для каждого слоя. После обработки всех слоёв AirLLM возвращает ответ на ваш запрос.Благодаря такому подходу даже GPU с 4 ГБ видеопамяти способен запускать модель размером 70B параметров.Начать можно здесь: AirLLM GitHub Repository👉 DevOps Portal

VPN и mTLS — это базовые и обязательные для понимания технологии для DevOps-инженеров.Это руководство поможет вам на практике разобраться со следующими темами:- VPN типа Client-to-Site- Генерация клиентских и серверных сертификатов с помощью EasyRSA- Взаимная TLS-аутентификация (mTLS)Почему это важно изучить?Практически в любой организации VPN используется для безопасного подключения к облачным ресурсам и внутренней инфраструктуре.Лучший способ по-настоящему понять, как работают VPN и mTLS, — развернуть и настроить их самостоятельно.Подробное руководство: https://devopscube.com/aws-client-vpn/В рамках руководства в теоретическом формате также рассматриваются следующие темы:- Аутентификация на основе SAML и Active Directory- TCP vs UDP — различия и сценарии использования👉 DevOps Portal

Как запускать Linux-демон при первом подключении к его API-сокету?Одно из ключевых назначений systemd – запуск и управление долго работающими фоновыми процессами. Демоны регистрируются в systemd как service units и обычно стартуют во время загрузки системы.Однако если сервис не нужен сразу после загрузки и предоставляет API через TCP-сокет или Unix-сокет, зачастую эффективнее запускать его только тогда, когда к нему подключается первый клиент. Такой механизм называется socket activation.Изучите, как работает socket activation в systemd, выполнив следующие задания:- Запустите сервис при первом подключении к его TCP-сокету:https://labs.iximiuz.com/challenges/systemd-socket-activate-listen-stream-inet- Запустите сервис при первом подключении к его Unix-сокету:https://labs.iximiuz.com/challenges/systemd-socket-activate-listen-stream-unix👉 DevOps Portal

DevOps-инструмент недели: DragonflyЗагрузка модели размером 130 ГБ на 200 GPU-нод создаёт около 26 ТБ сетевого трафика.Но что если ноды будут скачивать данные друг у друга, а не напрямую из исходного источника?Именно для этого нужен Dragonfly – опенорс система P2P-распространения файлов.Первая нода, которая скачивает файл, становится локальным кэшем. К хранилищу моделей обращаются только один раз, а остальные ноды в кластере получают данные друг от друга.Что умеет Dragonfly 👇- Поддерживает прямую загрузку моделей из Hugging Face и ModelScope.- Разбивает файлы на части и начинает раздачу по P2P ещё до завершения первого скачивания.- Снижает нагрузку на источник с 26 ТБ до примерно 130 ГБ при развёртывании на 200 нодах.- Поддерживает работу с приватными репозиториями через аутентификацию по токенам.- Разворачивается в Kubernetes как DaemonSet.GitHub-репозиторий: https://github.com/dragonflyoss/dragonfly👉 DevOps Portal

SRE тут? Нашли для вас подкаст, который вполне может пополнить ряд любимых.Коллеги из Авито создали «В SREду на кухне», периодически собираются, зовут на запись гостей и обсуждают то, о чём не принято говорить в опенспейсе. Например, вот темы недавних выпусков:— GitOps не волшебная таблетка;— Зачем продукту бюджет ошибок;— Роняем прод, чтобы стать сильнее: всё о Chaos Engineering;— SRE больше не нужны. AI переписал правила.Отвечая на вопрос «А при чём здесь комьюнити?» — все дополнительные инсайты, статьи и мысли на темы выпусков ребята выкладывают в канал «Avito SREда». И там уже собралась активная аудитория коллег-инженеров.

Учимся на практике: как выбрать правильный Distroless Base Image 🤔На этот раз тебе предстоит разобраться с контейнером, который ведёт себя некорректно. Приложение даже не может стартоватьТвоя задача – найти причину проблемы и устранить её. Возможно, для этого придётся пересобрать образ.Лабораторная работа: https://labs.iximiuz.com/challenges/pick-the-right-distroless-base-image👉 DevOps Portal

Компания, которая когда-то называла Linux "раковой опухолью", теперь сама поставляет его базовые инструменты пользователям WindowsMicrosoft выпустила GNU Coreutils для Windows 😳ls, grep, cat, cp, find — те самые команды, которые уже более 50 лет лежат в основе Unix- и Linux-систем, теперь доступны в Windows нативно и поддерживаются самой Microsoft.Для понимания контекста: GNU Coreutils — это набор базовых утилит, на которых строится работа любой Linux- или macOS-системы. Они используются для операций с файлами, обработки текста и написания shell-скриптов. По сути, это фундамент всей Unix-экосистемы. Каждый день на них выполняются десятки миллионов скриптов, пайплайнов и автоматизированных процессов.И теперь Microsoft не только поставляет их для Windows, но и занимается их поддержкой.И это не WSL. Вам не нужна Linux-подсистема, работающая в фоне. Эти инструменты запускаются напрямую в Windows и поддерживают те же флаги, тот же синтаксис и то же поведение, что и в Linux. Существующие скрипты работают без каких-либо изменений.Цель Microsoft – сделать переход между Linux, macOS, WSL, контейнерами и Windows максимально бесшовным. Написал скрипт один раз – запускай где угодно.В пакет входят uutils/coreutils (современная реализация GNU Coreutils на Rust), а также findutils и grep, собранные в единый multi-call бинарник. Все команды поддерживают стандартные ключи и параметры. Те же команды, те же пайплайны, никакой адаптации или переписывания не требуется.Проект пока находится на стадии Preview, но направление развития уже совершенно очевидно 🤔https://github.com/microsoft/coreutils@linuxos_tg

Лучший способ понять, как на самом деле работают серверы – написать несколько из них с нуля. Вот серия практических заданий, которые помогут вам освоить сокетное программирование на C, Python и Go:- Напишите TCP-клиент для сервера телеметрии: https://labs.iximiuz.com/challenges/write-tcp-client-for-telemetry-server- Напишите TCP-клиент для чат-сервера: https://labs.iximiuz.com/challenges/write-tcp-client-for-chat-server- Реализуйте TCP echo-сервер с нуля: https://labs.iximiuz.com/challenges/write-tcp-echo-server- Доработайте echo-сервер так, чтобы он работал как с TCP-сокетами, так и с Unix-сокетами: https://labs.iximiuz.com/challenges/write-stream-echo-serverHappy hacking! 🚀👉 DevOps Portal

Как автоматизировать работу с выделенными серверами без слез и костылейРазбираемся на бесплатном вебинаре от Selectel. Присоединяйтесь, чтобы узнать, как работать с Terraform на выделенных серверах, чем подход Infrastructure as Code может быть полезен для бизнеса и как устроен Bare Metal Cloud в Selectel.Все участники вебинара получат промокод на 3000 бонусов в панели Selectel.📍 Онлайн⏰ 16 июня в 12:00Регистрируйтесь ➡️ https://slc.tl/6ifkdБольше мероприятий для ИТ-специалистов в канале @selectel_events. Подписывайтесь!Реклама. АО "Селектел". erid:2W5zFJAgHVb

Скормил Клоду весь свой проект на переписываниеТеперь что-то отвалилось.Что именно он поменял, нафига поменял и как это откатить – вообще непонятно.Ни истории коммитов. Ни блейма. Ни кнопки отменить.Только вера, надежда и молитва 🙏Этот опенсорсный ИИ-инструмент как раз решает такую боль.По сути – гит для ИИ-агентов.Каждое действие записывается, каждая строчка кода привязана к промпту, который её сгенерил. Скоро ещё и полный откат завезут.Можно спокойно давать агенту доступ на запись и при этом видеть весь след изменений с re_gent:http://github.com/regent-vcs/re_gent👉 DevOps Portal

DevOps-инструмент недели: AgentgatewayПо мере того как AI-агенты становятся частью продакшн-систем, управление их подключениями к LLM, инструментам, API и MCP-серверам становится всё более сложной задачей.Agentgateway решает эту проблему, выступая в роли централизованного шлюза для AI-агентов.Вот что он умеет:- Маршрутизирует трафик между агентами, инструментами, API и LLM.- Предоставляет единую точку входа для MCP-серверов и взаимодействия между агентами.- Добавляет аутентификацию, политики безопасности и ограничение скорости запросов (rate limiting).- Обеспечивает прозрачность работы агентов: позволяет отслеживать запросы, сбои и использование ресурсов.Можно рассматривать его как API Gateway для агентных AI-системGitHub-репозиторий: https://github.com/agentgateway/agentgateway👉 DevOps Portal