Блог KAI Lab
Практика DevOps: разборы сбоев, Kubernetes, дежурства и карьера
Пишем о том, с чем инженер сталкивается в первый год работы: что делать, когда под падает в цикл, как найти, что съело диск, как пережить первое дежурство и чему учат аварии больших компаний. Для сисадминов, сетевиков и helpdesk, которые растут в DevOps.
Разборы сбоев
Что сломалось у больших компаний, почему и что сделал бы дежурный.
18 сбоев, которые должен знать каждый DevOps-инженер: что случилось и чему они учат18 известных сбоев от Azure 2012 до CrowdStrike 2024 в одной таблице: что случилось, главный урок и подробный разбор. Уроки по темам: релизы, бэкапы, время, секреты25 сентября 2026 г. · 9 минСбой left-pad в марте 2016 года: как удаление пакета из 11 строк сломало тысячи сборок на npmРазбор сбоя left-pad 22 марта 2016: спор за имя kik, удаление 273 пакетов из npm, 2,5 часа сломанных сборок и новые правила unpublish. Как защитить свои сборки25 сентября 2026 г. · 7 минPokémon GO в 2016 году: как игра получила в 50 раз больше трафика, чем планировали, и что сделали Niantic и GoogleРазбор запуска Pokémon GO в 2016 году: трафик в 50 раз выше плана, крупнейший кластер GKE, переход на новый балансировщик, каскадный сбой и уроки по нагрузке25 сентября 2026 г. · 9 минСбой Atlassian в апреле 2022 года: как скрипт за 23 минуты удалил 883 сайта и почему их восстанавливали до 14 днейРазбор сбоя Atlassian 5 апреля 2022: скрипт удалил 883 сайта 775 клиентов, восстановление шло до 14 дней. Почему бэкапы не помогли быстро и что проверить у себя25 сентября 2026 г. · 9 минСбой AWS S3 28 февраля 2017 года: как неверный параметр в команде из плейбука остановил S3 в us-east-1Разбор сбоя AWS S3 28 февраля 2017: неверный параметр команды вывел из работы подсистемы индекса и размещения, S3 в us-east-1 стоял часами. Хронология и уроки для DevOps25 сентября 2026 г. · 9 минСбой Windows Azure 29 февраля 2012 года: как дата «через год» сломала облакоРазбор сбоя Windows Azure 29 февраля 2012: сертификат до 29.02.2013, автоматика, которая разнесла ошибку по кластерам, и поспешный фикс. Хронология и уроки25 сентября 2026 г. · 8 минСбой Cloudflare 2 июля 2019 года: как одно регулярное выражение в WAF загрузило процессоры по всему мируРазбор сбоя Cloudflare 2 июля 2019: правило WAF с неудачной регуляркой загрузило CPU до 100%, и сайты 27 минут отдавали 502. Хронология, backtracking и уроки для DevOps25 сентября 2026 г. · 9 минСбой CrowdStrike 19 июля 2024 года: что произошло и чему он учит DevOpsРазбор сбоя CrowdStrike 19 июля 2024: почему 8,5 млн компьютеров на Windows ушли в синий экран, хронология по часам, причина и уроки для DevOps25 сентября 2026 г. · 12 минСбой Datadog 8 марта 2023 года: как автоматическое обновление systemd отключило сеть на десятках тысяч узловРазбор сбоя Datadog 8 марта 2023: автообновление systemd стёрло маршруты Cilium на десятках тысяч узлов в пяти регионах сразу. Хронология, причины и уроки25 сентября 2026 г. · 8 минСбой Ericsson 6 декабря 2018 года: как истёкший сертификат оставил без мобильного интернета O2, SoftBank и операторов 11 странРазбор сбоя Ericsson 6 декабря 2018: в ПО узлов SGSN-MME истёк сертификат, и без мобильного интернета остались O2, SoftBank и операторы 11 стран. Уроки25 сентября 2026 г. · 8 минСбой GitLab 2017: как удалили рабочую базу и почему не сработал ни один бэкапКак в 2017 году инженер GitLab.com удалил рабочую базу, почему не помог ни один из пяти механизмов бэкапа и что проверить в своих бэкапах. Хронология и уроки25 сентября 2026 г. · 10 минСбой Knight Capital 1 августа 2012 года: забытый сервер, старый флаг и 460 млн долларов за 45 минутСбой Knight Capital 1 августа 2012 по решению SEC: ручной деплой на 8 серверов, флаг Power Peg, 97 писем до открытия биржи, 460 млн долларов убытка и уроки для DevOps25 сентября 2026 г. · 9 минСбой Reddit 14 марта 2023 года: как обновление Kubernetes до 1.24 положило сайт на 314 минутРазбор сбоя Reddit в Пи-день 2023: обновление Kubernetes 1.23 → 1.24 сняло метку master, и Calico потерял route reflectors. Хронология, восстановление, уроки25 сентября 2026 г. · 9 минУтечка Capital One 2019 года: как ошибка в настройке WAF в AWS открыла данные около 106 млн человекРазбор утечки Capital One 2019: неправильно настроенный WAF в AWS, учётные данные роли сервера, 700 бакетов с данными. Что такое SSRF, как защищает IMDSv2 и что проверить25 сентября 2026 г. · 9 минУтечка Uber 2016 года: как ключ AWS в приватном репозитории на GitHub открыл данные 57 млн человекРазбор утечки Uber 2016 по жалобе FTC: пароли из чужих утечек, GitHub без MFA, ключ AWS в коде и незашифрованные бэкапы в S3. 57 млн человек и год молчания25 сентября 2026 г. · 9 минВисокосная секунда 30 июня 2012 года: как одна лишняя секунда загрузила процессоры Linux-серверов по всему мируРазбор сбоя из-за високосной секунды 30 июня 2012: баг ядра Linux, 100% CPU у Java и MySQL, сбои у Mozilla, Reddit и Qantas, обходной путь и leap smear у Google25 сентября 2026 г. · 8 минВзлом CircleCI в январе 2023 года: как один заражённый ноутбук заставил всех клиентов менять секретыРазбор взлома CircleCI: вредонос на ноутбуке инженера, украденная сессия SSO с 2FA, утечка секретов клиентов, хронология по дням и уроки для защиты CI/CD25 сентября 2026 г. · 9 минВзлом Codecov 2021 года: как одна строка в Bash Uploader два месяца отправляла наружу переменные окружения CIРазбор взлома Codecov 2021: с 31 января по 1 апреля подменённый Bash Uploader отправлял наружу переменные окружения CI с токенами и ключами. Как это работало и что делать25 сентября 2026 г. · 7 мин
Kubernetes и Docker
Ошибки подов и контейнеров: причина, диагностика, решение.
CrashLoopBackOff в Kubernetes: почему под перезапускается по кругу и как найти причинуCrashLoopBackOff: контейнер падает снова и снова, а kubelet ждёт до 5 минут перед рестартом. Как найти причину: код выхода, logs --previous, события и liveness probe.25 сентября 2026 г. · 9 минCreateContainerConfigError: почему kubelet не может собрать конфигурацию контейнераCreateContainerConfigError: kubelet не собрал конфигурацию контейнера — нет Secret или ConfigMap, неверный ключ или runAsNonRoot. Как найти причину и исправить без догадок.25 сентября 2026 г. · 7 минtoomanyrequests: You have reached your pull rate limit — лимиты Docker Hub и как защитить CIОшибка toomanyrequests: Docker Hub ответил 429, лимит pull исчерпан. Лимиты на 25.09.2026, история 2020 года и решения: вход в аккаунт, зеркало, свой реестр.25 сентября 2026 г. · 10 минRestarting: почему Docker-контейнер постоянно перезапускается и «то работает, то нет»Контейнер Docker то работает, то нет: почти всегда он падает и перезапускается по restart policy. Как увидеть это через RestartCount и docker events и найти причину по коду выхода.25 сентября 2026 г. · 8 минno space left on device в Docker: что занимает место и как его безопасно освободитьno space left on device в Docker: кончилось место или inode в /var/lib/docker. Как найти виновника через docker system df и du, что чистить через prune и как ротировать логи.25 сентября 2026 г. · 8 минImagePullBackOff и ErrImagePull: почему Kubernetes не может скачать образ и как это исправитьImagePullBackOff и ErrImagePull: kubelet не смог скачать образ и повторяет попытки с паузой до 5 минут. Опечатка в теге, приватный реестр без imagePullSecrets, лимиты Docker Hub.25 сентября 2026 г. · 8 минOOMKilled и exit code 137: почему ядро убило контейнер и как подобрать лимит памятиOOMKilled и exit code 137: контейнер превысил лимит памяти cgroup, и ядро убило его сигналом SIGKILL. Как это проверить, чем 137 отличается от 143 и как выбрать лимит.25 сентября 2026 г. · 8 минEvicted: почему kubelet выселяет поды и что значит «The node was low on resource»Под Evicted: kubelet выселил его, потому что на ноде кончалась память, диск, inode или PID. Пороги kubelet, QoS-классы, как найти виновника и не допустить повтора.25 сентября 2026 г. · 8 минPending: почему под не запускается и что значит «0/3 nodes are available»Под в статусе Pending: планировщик не нашёл ноду или под ждёт образ и том. Как читать FailedScheduling «0/3 nodes are available»: ресурсы, taints, affinity, PVC.25 сентября 2026 г. · 8 мин
Linux и эксплуатация
Диски, процессы, сеть, сервисы — как находить причину, а не перезагружать.
DNS не резолвит в Linux: Temporary failure in name resolution, dig, resolv.conf и systemd-resolvedCould not resolve host или Temporary failure in name resolution? Пошагово: getent и dig, NXDOMAIN и SERVFAIL, resolv.conf, systemd-resolved, /etc/hosts, TTL и кэш.25 сентября 2026 г. · 8 минИстёк SSL-сертификат: как проверить срок через openssl, починить цепочку и настроить автопродлениеСайт отдаёт certificate has expired? Как проверить срок через openssl s_client и x509, найти ошибку в цепочке, настроить автопродление certbot и мониторинг срока.25 сентября 2026 г. · 8 минВысокий load average в Linux: что он показывает на самом деле и как найти причинуLoad average в Linux — это задачи в состояниях R и D, а не загрузка процессора. Как сравнить его с числом ядер и найти причину через top, vmstat, iostat и pidstat.25 сентября 2026 г. · 9 минAddress already in use: как в Linux найти, кто занял порт, и освободить егоОшибка bind: Address already in use (errno 98)? Как найти процесс через ss -ltnp, lsof и fuser, что делать с TIME_WAIT, SO_REUSEADDR, docker-proxy и портами ниже 1024.25 сентября 2026 г. · 8 минСервис systemd не запускается: status, journalctl, коды выхода и зависимостиСервис в failed или не стартует после правки unit-файла? Как читать systemctl status и journalctl -u, коды 203/EXEC и 217/USER, daemon-reload, лимит запусков и зависимости.25 сентября 2026 г. · 8 минЗакончилось место на диске в Linux: как найти, что его заняло, и освободить без потерьДиск Linux заполнен на 100% и приложение пишет No space left on device? Пошагово: df, du, ncdu, lsof +L1, inode, журнал systemd и logrotate с примерами вывода.25 сентября 2026 г. · 8 мин
Дежурства и постмортемы
Как устроен on-call, как пережить первую ночь и как писать разбор инцидента.
Blameless-постмортем: почему вопрос «кто виноват» мешает найти причину сбояBlameless-постмортем ищет, почему система допустила ошибку, а не кого наказать. Чем мешает поиск виноватых, где ломается «5 почему» и как писать без обвинений25 сентября 2026 г. · 11 минЧто такое on-call: как устроены дежурства в DevOps и SRE — ротация, эскалация, severity, MTTA и MTTROn-call — дежурство, когда инженер на связи и чинит прод в любое время. Как устроены ротации primary и secondary, эскалация, severity, runbook, алерты, MTTA и MTTR.25 сентября 2026 г. · 9 минКак писать постмортем: структура, готовый шаблон и типичные ошибкиКак писать постмортем после инцидента: резюме, влияние, хронология, причины, выводы и задачи с владельцами и сроками. Готовый шаблон в markdown и частые ошибки25 сентября 2026 г. · 10 минПервое дежурство DevOps: чек-лист до смены, первые пять минут после алерта и когда будить старшегоСпокойный практический гид к первому on-call: что проверить до смены, что делать в первые 5 минут алерта, когда будить старшего, как не наломать дров и что писать в канал.25 сентября 2026 г. · 7 минSRE простыми словами: SLI, SLO, SLA и бюджет ошибок на примере 99,9%SLI — метрика надёжности, SLO — цель по ней, SLA — договор с последствиями. Считаем бюджет ошибок для 99,9% и разбираем, что делать, когда он кончился25 сентября 2026 г. · 10 мин
Собеседования DevOps
Вопросы и задачи из реальной работы, а не из списка определений.
Вопросы на собеседовании по Docker: 15 ситуаций от слоёв до OOM15 вопросов по Docker для собеседования DevOps: слои и кэш сборки, секреты в образе и история Codecov, multi-stage, сети, volumes и OOM. Что хотят услышать и ответы25 сентября 2026 г. · 12 минВопросы на собеседовании по Kubernetes: 15 ситуаций с разбором ответов15 вопросов по Kubernetes для собеседования DevOps: поды, деплойменты, сервисы, пробы, ресурсы, Pending и CrashLoopBackOff. Что хочет услышать интервьюер и ответы25 сентября 2026 г. · 11 минВопросы на собеседовании по Linux для DevOps: 15 ситуаций с ответами15 вопросов по Linux для собеседования DevOps: процессы, диски, права, systemd, сеть и load average. Каждый — рабочая ситуация, что хочет услышать интервьюер и ответ25 сентября 2026 г. · 11 минТестовое задание DevOps: какие дают, как оценивают и как сделать хорошоКакие тестовые задания DevOps дают на практике: пайплайн, Dockerfile, Terraform, сломанный стенд. Как их оценивают и как сделать хорошо: README, воспроизводимость, секреты25 сентября 2026 г. · 8 минВопросы на собеседовании DevOps: 40+ ситуаций из реальной работыВопросы на собеседовании DevOps в виде рабочих ситуаций: Linux, сети, Docker, Kubernetes, CI/CD, Git, IaC, мониторинг и инциденты. Что хотят услышать и ответы25 сентября 2026 г. · 26 мин
Карьера в DevOps
Куда расти сисадмину, сетевику и helpdesk и как получить опыт без увольнения.
DevOps без опыта работы: почему не берут и как набрать практику, не увольняясьПочему в DevOps редко берут без опыта и как его набрать, не увольняясь: задачи на работе, pet-проект, open source, стенд, тренажёры, стажировки и что показать на собеседовании25 сентября 2026 г. · 7 минDevOps roadmap 2026: 10 шагов по порядку, что уметь на каждом и как себя проверитьDevOps roadmap 2026 по шагам: Linux и сети, Git, скрипты, Docker, CI/CD, облако, IaC, Kubernetes, мониторинг, инциденты. Что уметь, как проверить себя и сколько это занимает25 сентября 2026 г. · 9 минИз сетевого инженера в DevOps: сети как преимущество, чего не хватает и зачем NetDevOpsКак сетевому инженеру перейти в DevOps: где DNS, балансировка и TLS дают фору в Kubernetes, каких навыков не хватает, NetDevOps на Ansible и Python и зачем CCNA25 сентября 2026 г. · 8 минИз сисадмина в DevOps: что у вас уже есть, чего не хватает и план на 3–6 месяцевКак перейти из системного администратора в DevOps: что из опыта админа уже засчитывается, каких навыков не хватает, план на 3–6 месяцев и как описать опыт в резюме25 сентября 2026 г. · 9 минКуда расти сисадмину и специалисту helpdesk: карта переходов в DevOps, SRE, сети и SOCКарта переходов из helpdesk и системного администрирования в DevOps, SRE, сетевые инженеры и SOC: что вы уже умеете, чего не хватает и как набрать опыт, не увольняясь25 сентября 2026 г. · 12 минСисадмин или DevOps: чем на самом деле отличаются задачи, инструменты, ответственность и дежурстваЧем системный администратор отличается от DevOps-инженера: задачи, инструменты, ответственность и дежурства в одной таблице, можно ли совмещать роли и как выбрать свою25 сентября 2026 г. · 8 минСтажировка DevOps в Казахстане и СНГ: реальные программы, требования и чем заменить, если не взялиГде есть стажировки DevOps в Казахстане и СНГ: EPAM, Andersen, Core 24/7, Яндекс, Т1. Что требуют на входе, на что смотреть до подачи и чем заменить стажировку25 сентября 2026 г. · 8 мин