ДевОпс Інженер 🇺🇦


Channel's geo and language: Uzbekistan, Ukrainian
Category: Technologies


ДевОпс Інженер - авторський канал @mukolaich - Head of DevOps у SQUAD.
Я розглядаю технології та рішення, роблю огляд архітектурних проблем, включаючи контейнери, оркестратори, скейлінг, моніторинг, etc.

Related channels  |  Similar channels

Channel's geo and language
Uzbekistan, Ukrainian
Statistics
Posts filter


Deprecation plan

Поділюсь сьогодні з вами подією, яка пройшла дуже тихо в середині літа, але для декого стала досить неприємною. 31-го липня, у своєму твіттері X, Jeff Barr повідомив ось таку новину на широкий загал:

After giving it a lot of thought, we made the decision to discontinue new access to a small number of services, including AWS CodeCommit.
While we are no longer onboarding new customers to these services, there are no plans to change the features or experience you get today, including keeping them secure and reliable.


Тут варто сказати, що цей AWS CodeCommit в цілому і був не дуже хорошим рішенням, тому дивного тут нічого не було. Проблема полягає в тому, що Jeff Barr зробив це до офіційної комунікації AWS, і клієнти цього чудового сервісу почали у своїх компаніях, у лічках, пересилати посилання на твіттер (а він, повірте, викори
стовується, особливо в тих випадках, коли регулятор забороняє будь-який third-party сервіс поза межами AWS).

Чи це нормально? Звісно, ні, бо мали б пересилати посилання на блог або імейл, в якому було б сказано: “сорі, так і так — ось вам купа часу і промо на Х грошей, ми цю штуку прибираємо зі свого портфоліо. Хто користується — користуйтеся, але нові репозиторії вже не створюйте, будь ласка”.

Далі за хронологією полетіло багато чого по трубам, і AWS вирішив додати в статтю, яка називалась “How to migrate your AWS CodeCommit repository to another Git provider” і в якій спочатку нічого не було про “we made the decision”, ось такий хідер:

After careful consideration, we have made the decision to close new customer access to AWS CodeCommit, effective July 25, 2024. AWS CodeCommit existing customers can continue to use the service as normal. AWS continues to invest in security, availability, and performance improvements for AWS CodeCommit, but we do not plan to introduce new features.


Ну, і в принципі на цьому вся комунікація від AWS і закінчилася.

Ось ви це прочитали, чи залишились у вас питання? Наприклад: скільки ще він буде працювати для існуючих клієнтів — місяць, рік чи ще 5 років? Чи можна додатково заплатити і розблокувати можливість створення репозів? Який альтернативний solution є всередині самого AWS? А що з цим прекрасним CI/CD тулсетом — він теж депрекейтиться чи він strong enough? (CodeBuild / CodePipeline / CodeStart і т.д.)

Як бачите, таким чином комунікувати неефективно, і комунікувати не рекомендується, якщо ви хочете, щоб клієнти були задоволені. Тому, шановні DevOps / SRE / Infra / Platform Engineers, ви, як представники сервісів, тулів, платформ, які працюють неефективно, не робіть так, як це було зроблено з AWS CodeCommit.

Трохи подумавши, це можна було б пофіксити ось так:

1. За рік до події, зловивши тренд, розіслати кастомерам survey: “ми думаємо, що сервіс не вдався, і ви теж даєте нам такий фідбек. Ми хотіли б його задепрекейтити. Що ви думаєте?”
2. Цей фідбек ніхто не бачить, тож тут можемо діяти як завгодно. Наприклад, комунікуємо за півроку: “ми отримали результати опитувань, які свідчать, що цей сервіс не вдався, і ми не хочемо його розвивати. Починаючи з dd/mm/yyyy, він переходить на deprecation path, але до цієї дати він працюватиме як завжди. Це стосується виключно цього сервісу. Ось comprehensive guide, як з нього мігрувати”.
3. Фінальний нотіф: “Як ми повідомляли раніше, сьогодні dd/mm/yyyy ми припиняємо можливість створювати нові репозиторії. Так як сервіс на deprecation path, ми займаємось тільки його безпекою, і до кінця yyyy року ви змушені з нього зʼїхати, бо буде повний sunset. Команда AWS доступна для ваших запитів.”

Використовуйте цей патерн для депрекейшну старих, нових, потрібних і непотрібних сервісів, які є у ваших системах.

Ключ до ефективності — ранній нотіф клієнтам (офіційна, формальна комунікація). Для збереження відносин — comprehensive guide. І ще бажано мігронути клієнта на нову систему, можливо навіть смузлі. Тоді буде win-win.

Пропрацьовуйте ваші депрекейшн плани "in upfront". Будьте здорові.


Офлайн DOU DevOps meetup. Київ

Доброго вечора пані і панове,

Знову понабирають невідомого кого на мітапи, ми тут тільки Вову Цапа знаємо 😁

Якщо серйозно, то як я зрозумів, буде тільки 1 спікер і панельна дискусія після доповіді. Хто може прийти - приходьте, подейкують що це можливо і останній подібний офлайновий DevOps-мітап від DOU.

На пост не сваріться, бо мене попросила запостити @dzzzvinka з DOU, а в них є розділ "Зарплати", за допомогою цієї аналітики ми собі багато років підвищували винагороду :)) зазвичай способом "ну там не актуальне, там тільки джуни відповідають"

Реєстрація, як прийнято, зі збором імейлів, телеграмів і лінкедінів (там далі фіолетова кнопка):

https://dou.ua/goto/Zp45


Forward from: Українська девопсарня
полайкайте PR від якого русня горить
https://github.com/opentofu/registry/pull/817

4.5k 0 31 12 110



CrowdStrike 🤦‍♂️

https://www.yahoo.com/news/live/microsoft-outage-it-crowdstrike-status-flights-grounded-latest-072117660.html

CrowdStrike is aware of reports of crashes on Windows hosts related to the Falcon Sensor.

Symptoms include hosts experiencing a bugcheck\blue screen error related to the Falcon Sensor.
Current Action: CrowdStrike Engineering has identified a content deployment related to this issue and reverted those changes.
If hosts are still crashing and unable to stay online to receive the Channel File Changes, the following steps can be used to workaround this issue.
Workaround Steps:
Boot Windows into Safe Mode or the Windows Recovery Environment
Navigate to the C:\Windows\System32\drivers\CrowdStrike directory
Locate the file matching “C-00000291*.sys”, and delete it.
Boot the host normally.


Securing Research Infrastructure for Advanced AI

Власне, ми багато працюємо з Computer Vision і основний продукт - це девайс, який вміє розумно щось детектити (читайте - івенти, які відбуваються перед камерою). Булшитні або ні. Чи треба слати нотіф, тому що хтось краде посилку або коцає авто, чи це просто кіт / вітер / бжели (мем).

Хоча і наша робота закінчується раніше (ще до релізу девайсу і сервінгу моделі), але те що ми робимо - називається Research Infrastructure.

І ми робили це ще до того як це стало мейнстрімом. Всі степи, по типу Data Collection, Annotation, Model Evaluation, Inference ... Окрім останнього, в силу багатьох причин.

Ну і я завжди вважав, що "ну що тут складного". Зібрав стрім, в бакет поклав, процесинг зробив, хтось проанотував, в базку поклав, готово. Можна тренуватись. А виявляється не так 🙂

Почитайте про безпеку в Research Infrastructure. Спершу виглядає як успішний успіх, але з другого-третього разу виявляється що цей набір практик має сенс.

Ви натренувались на даних, які користувач вам розшарив, а потім попросив видалити. Що тепер робити з моделькою?

Видалити і перетренувати? Так це ж дорого. І метрики моделі будуть гіршими. А якщо вона вже в проді?

Видаляти похідні цих даних (фрейми, шматки даних, деривативи будь-які) по системі, а як їх ідентифікувати? А якщо їх хтось викачав з інфри (не важливо як, опустимо цей момент)?

І це тільки мікрочастина data collection & data deletion.

Звісно, якщо це парсинг інтернету без консентів, то все простіше. Але і в результаті вийде лайно.

Власне, ще дуже багато роботи.

У девопсдейс кімнатах запитав шановного девопса, а "що ж там у них". І там по-іншому. Тули зібрав, почитаю потикаю, і теж поділюсь.

Поки подивіться цей блогпост від OpenAI, який з першого ознайомлення буде здаватись "за все хороше, проти всього поганого". ⤵️

https://openai.com/index/securing-research-infrastructure-for-advanced-ai/


Зарплатне опитування і мітап у Львові

Добрий вечір, пройдіть свіже зарплатне опитування і / або відвідайте DevOps мітап у Львові. Якщо ви це зробите, графіки будуть виглядати краще, і пропозиції будуть приємніше.

Прохання сабмітити тільки крепкі ЗП-хи (ніт) 💰

Ну а на мітап просто сходіть.

Також зараз відбувається DevOpsDays Ukraine, і вчора в кімнаті "Disaster Recovery" ми обговорили цей топік. Короткі нотатки:

1. Створіть бекап план (так званий Backup Strategy)
2. Зберігайте бекапи в іншому регіоні, краще - в іншому аккаунті, ще краще - в іншому клауді.
3. Завжди тестуйте бекапи.
4. Дуже обережно поводьтесь з Базами Даних.
5. Не приховуйте, якщо ви щось дропнули 🌚
6. Репліка БД не є достатнім підходом, все ж треба бекапи.
7. Репліка БД, яка відстає на X годин - це добре, але краще - репліка в ріалтаймі + транзакшн лог.
8. Додайте умову в автоматизацію, яка видаляє інфру, щоб вона не потерла всі ресурси. Краще exit 1 :)

[ нотатки є думками людей які долучились до обговорення, і можуть не збігатись з моєю / вашою думкою ]

Напишіть комент, якщо у вас є Lessons Learned по Disaster Recovery 🤝

6k 0 19 4 20





⚡️Microsoft and Amazon will suspend access to their cloud products in russia from March 20.

The restrictions are prompted by the 12th package of EU sanctions dated December 19, 2023.

11.3k 2 173 28 306

DOU Day 2024

Добрий вечір,

DOU, великий друг української айтішечки, і України, проведе топову конференцію, коректовану представниками багатьох спільнот, компаній, і бажанням зробити найкращу подію на нашому ринку.

Чому топову конференцію? Тому що там був відбір, як в FAANG. Сотні бажаючих взяти участь, і всього 5 місць на стейдж. Оргкомітет відбирав мега прискіпливо.

Просто зайдіть і подивіться, хто там буде. Я не буду рекламувати, але соромно повинно стати:
- Максиму Іщенку, за те що він створив DOU і Djinni
- Тарасу Чмуту, тут ясно за що
- Олесю Петріву з Reface, за попапи русакам в перші дні війни
- Анастасії Войтовій, за те що вона з Cossack Labs і її всі знають
- Віктору Турському, якого ви бачили на ютубі (а де Діма Малеєв тоді?)
- Івану Петрушенко за його школу алгоритмів на користь збройних сил
- Наталії Ренській, за те що вона з компанії SQUAD
- та іншим 😄

Це має бути офлайн івент, і локацію зараз звісно не скажуть, хоч її знають. Це свято айтішки відбудеться 18 травня, і сьогодні до 00:00 можна вихопити квитки зі знижкою. Беріть собі і своєму тімліду, якщо в нього скоро день народження.

Особисто чекаю топіки на сайті і девопсів у якості спікерів. Вірю, що перше буде скоро (але квитків вже не буде), а друге - точно наступного року.

Кожен квиток на DOU Day, це мікро-подяка DOU за їх відоси, збори, внесок в нашу галузь, за можливість посратись на форумі і прочитати якусь холіварну статтю.

Квитки тут ❤️ https://dou.ua/dou-day-2024/


Вебінари від Svitla Systems (28 та 29 лютого)

🔹 28 лютого - вибір структури Terraform проекту та найкращі підходи до організації репозиторію Terraform.

Спікер: Олександр Сапожніков - Lead of SRE team в Temabit

- Основні типи організації terraform коду
- Плюси та мінуси кожного типу
- Як це використовувати у CI/CD пайплайнах
- Що вибрати?

Реєстрація за посиланням

🔹29 лютого - AWS Fargate

Спікер: Станіслав Коленкін - Head of Cloud Foundation в TemaBit

- основи AWS Fargate
- ключові особливості та переваги використання AWS Fargate
- практичне застосування та випадки використання
- поради для міграції та інтеграції з вашою існуючою інфраструктурою

Реєстрація за посиланням


High Middle DevOps, наваліться

Пожартували і вистачить, прямий збір, збирає DevOps з моєї команди + з міста Суми, @rzhyganov (відповідаю головою). Тепер деталі:

- 3 танкова бригада
- Харківський напрямок
- за 3 дні втратили 2 машини (FPV)
- всі живі 🇺🇦
- грузовий бус для транспортування снарядів (більше 1 тони за раз)

Давайте проголосуємо за Суми і Харків гривнею, сума велика, але і ми не просто так за компами сидимо.

Попрацював, задонатив - день не даремно:

https://send.monobank.ua/jar/49VizSxCqw



5.4k 0 22 25 72

Forward from: Bite the Byte
nginx (компанія і власне продукт) в 2019 році продалися F5 (це контора яка робить лоад балансери, головний гравець ринку).

Але в 22 році ф5 каже Максиму Дуніну, основному розробнику (на рівні шо останні 10 років він більше половини коду написав) - Максимчик, ваша гнусна країна розпочала війну, ми валимо з рашки. Він вирішив залишитися у москві і працювати над жинксом далі безоплатно (зі сторони ф5, так-то напевно якісь консультації його годують).

На разі 24 рік і Максим пише листа у розсилку жинкса - ф5 поставили на проєкт якогось нетехнічного чувака, який вважає, що знає краще, я так більше жити не можу і форкаю жинкс у freenginx.org. Free, тому що, очевидно, він вільно у москві сидить, а не загниває десь на заході.

А проблема там в тому, що чуваки знайшли якийсь баг чи два в експериментальній фічі нжинкса, і хотіли присвоїти їм CVE, а він був проти. Чувак, відповідальний за CVE, таки їх зробив, на що Максим образився. Тобто це навіть не продуктова проблема, не напрямок, нічо. Просто его велике. А “нетехнічний” менеджер раптом виявився відносно відомим чуваком, який в інтернеті технічними речами займається з 89 року.

P.S. Якщо у вас є Твіттер, то можна лайкнути/рт англійську версію цієї історії. 😁

7.3k 0 64 13 100

Google продовжує навчальну програму "Розвивайте кар’єру з Google Cloud" – з фокусом на AI та Data!

🔗 Реєстрація на програму за посиланням!

Новий потік програми стартує 13 лютого та націлений на Junior та Middle розробників, IT-інженерів, студентів IT-спеціальностей і точних наук та всіх кому цікаві хмарні технології.

Учасники програми отримають:

✔️45 днів безкоштовного доступу до платформи Google Cloud Skills Boost;
✔️доступ до лекцій, воркшопів, карʼєрних консультацій та сесій запитань-відповідей від фахівців Google;
✔️практичний досвід та бейджі Google Cloud, якими можна підкріпити свій профіль LinkedIn;
✔️індивідуальні напрями навчання, зокрема з фокусом на AI та Data;
✔️цінні нагороди від Google;
✔️ваучери на сертифікаційний іспит Google Cloud;


IaC generator - CDK

Найс, terraformer для AWS CDK (вкрав в робочому чаті). Думаю, це відповідь на gcloud beta resource-config bulk-export, який обговорювали декілька місяців раніше.

Якщо хтось встиг потестити, напишіть два слова в коментарях. В будь-якому випадку, нам в плюс і зайвим не буде 🙂

https://aws.amazon.com/ru/blogs/devops/import-entire-applications-into-aws-cloudformation/



9k 0 89 3 155

Щось робимо? Закиньте в чат, де готують відповідь пліз


У всіх WAF + Shield на паблік ендпоінтах?

20 last posts shown.