Ворог б’є по дата-центрам: чи буде інтернет і що робити?

Роз’яснення та поради від фахівця. Пише Антон Золотарьов, ІТ-провайдер.

«За сьогодні кілька десятків знайомих спитали мене, чи купувати Starlink. Щоб не відповідати кожному окремо, пишу тут і буду давати лінк».

Чи купувати старлінк?

Якщо вартість Starlink для вас несуттєва — купуйте, житимете спокійніше.
Якщо суттєва — ні. Або дочитайте до кінця і вирішіть самі.
Особисто в мене Starlink немає.
Так сталось що рочків 20 тому я мав відношення до інтернету не як споживач і трошки знаю як воно працює. І чому “знищили центральний вузол українського інтернету” — це смішно.

Що таке Інтернет?
Інтернет — це мережа мереж. Удома у вас своя мережа: роутер, телефони, ноутбук, телевізор. Провайдер об’єднує тисячі таких домашніх мереж у свою. Більші оператори об’єднують мережі провайдерів. Ті, своєю чергою, з’єднуються з операторами інших країн. І так каскадом.
Але це не дерево з одним стовбуром, яке падає, якщо його підрубати. З’єднань багато, і вони йдуть не лише вгору-вниз, а й навскоси: між сусідніми провайдерами, між різними рівнями, через різні міста й країни. Якщо одне з’єднання зникає, обладнання автоматично шукає інший шлях. Це якщо без технічних деталей.
Можна знищити десятки з’єднань — мережа однаково працюватиме. Повільніше, з перевантаженнями, але буде працювати.

Нижче — як влаштований український інтернет, де в нього слабкі місця і що з цим робити бізнесу й вам особисто.

Одразу скажу: тут немає ні комерційної, ні військової таємниці. Цю архітектуру описано тисячі разів у статтях, на форумах, у доповідях на галузевих конференціях. Тисячі людей в Україні й за кордоном знають, як це працює.

На початку 90-х інтернету в Україні майже не було.
Мережу будували переважно приватні компанії — спочатку кілька, потім десятки, потім тисячі. Держава роками майже не втручалася. І добре що не “допомагала”. Це була доля технарів задротів, привладні були зайняті іншим. Оператори навчилися домовлятися між собою самі. У 2000 році вони створили точку обміну трафіком UA-IX, де всі обмінюються трафіком з усіма.
До повномасштабного вторгнення в Україні працювало близько 4 тисяч провайдерів, зараз — приблизно 2 тисячі (так пише Федієнко). Це досі дуже багато. І саме ця кількість незалежних гравців робить наш інтернет таким живучим.

Як влаштований “Український Інтернет”

Міжнародні канали і “провайдери провайдерів”
Це оператори, які продають великі канали іншим провайдерам, дата-центрам, точкам обміну трафіком, великим оптовим клієнтам. Через них український інтернет з’єднується з рештою світу.
Фізично це оптичні лінії через західний кордон до великих європейських вузлів — Варшави, Франкфурта, Будапешта. Таких переходів багато, у різних операторів, різними трасами. У 2022 році оператори оперативно організовували резервні канали з Європи до українських міст і навіть обмінювалися ємністю з конкурентами.
У 2022 році лише в Київській області підірвали багато мостів, і майже в кожному лежав кабель. Тоді було значно гірше, ніж зараз.
Цей рівень зарезервований добре. Вивести з ладу одночасно всі міжнародні з’єднання дуже складно.

Точки обміну трафіком і пірингові центри.
Якщо ви в Києві відкриваєте сайт, що стоїть у Львові, трафіку немає сенсу їхати через Франкфурт. Для цього існують точки обміну трафіком — місця, де мережі різних операторів з’єднуються напряму й обмінюються трафіком усередині країни.
Це, мабуть, найвразливіша ланка. Точки обміну та вузли комутації фізично зосереджені в кількох великих дата-центрах, здебільшого в Києві. За оцінкою представника точки обміну трафіком Anatolii Frolenkov, через чотири київські дата-центри, уражені цього вересня, раніше йшло до половини внутрішнього українського трафіку.
Що стається, коли такий вузол падає? Трафік іде іншими шляхами: через інші точки обміну, через уцілілі вузли, частково через Європу. Ці шляхи довші й вужчі, тому виникають перевантаження й затримки. Інтернет стає повільнішим, у когось на кілька годин зникає, але загалом працює.
Крім великих пірінгових центрів оператори зробили домовленості і канали між собою приватно, хто з ким захотів. І поробили маленькі пірингові центри. Це працює вже давно, тому що так дешевше і надійніше і швидше.
Оператори вже додатково розносять обладнання по різних майданчиках і будують прямі з’єднання між собою в обхід великих вузлів.

Дата-центри
У дата-центрів дві ролі.
Перша — вузол комутації. Тут стоять ядра мереж провайдерів і точки обміну трафіком. Удар по такому вузлу б’є по зв’язності. Цього вересня один із київських провайдерів втратив основний вузол, і частина абонентів у центрі міста залишилася без інтернету. Тепер провайдер переносить ядро мережі в іншу локацію.
Друга — майданчик для серверів: сайти, хостинг, бази даних, сервіси. Коли такий дата-центр знищено, мережа працює, а конкретні сервіси — ні. Обладнання можна купити, а от дані без резервної копії відновити неможливо.
Приклад: MiroHost. Його український дата-центр знищено. Але приблизно 95% клієнтів продовжили працювати, бо були зарезервовані в Польщі та Чехії. Постраждали близько 150 клієнтів із тисяч — ті, хто свою інфраструктуру не дублював. Так написав Alexandr Olshanskiy.
Для користувача недоступність великого сервісу виглядає як “інтернет не працює”. Але це проблема конкретного сервісу, а не мережі.

Остання миля.
Це провайдери, які заводять інтернет у квартири, будинки й офіси, плюс мобільні оператори.
Обриви кабелю, негода, трактори, розкопки — для провайдерів це щоденна робота. Якби великі мережі не були зарезервовані, інтернет у нас зникав би щодня. Тому у більшості великих провайдерів магістральна частина побудована кільцями, будинкові вузли часто теж об’єднані в кільця, обладнання продубльоване.
Зробили це давно, і не лише тому, що змусила конкуренція. Провайдерам самим вигідніше ремонтувати планово, ніж щоночі гасити пожежі. А український споживач звик до якісного фіксованого інтернету, і тисячі конкурентів тримають цю планку.
Слабке місце останньої милі — кабель від вузла до вашої квартири часто один, а будинкове обладнання потребує живлення.

Спільна залежність: електроживлення.
Усі рівні — маршрутизатори, комутатори, сервери, базові станції — працюють від електрики. Батареї й генератори дають години-дні. Найгірший сценарій — удари по зв’язку одночасно з ударами по енергетиці.
Провайдери за ці роки зробили величезну роботу. Наприклад, Київстар заявляв, що 99% його фіксованої мережі FTTB зарезервовано до 12 годин автономної роботи. А в мережах GPON між вузлом провайдера і вашою квартирою взагалі немає активного обладнання, тому вони працюють навіть тоді, коли в будинку немає світла.

Де в цій схемі Starlink
Starlink — окремий канал, який обходить усі чотири рівні одразу: від тарілки на вашому даху через супутник до наземної станції. Тому він не залежить від київських дата-центрів і місцевого провайдера.
Але він недешевий, швидкість нижча, ніж у хорошої оптики, і він теж потребує живлення. І якщо потрібний вам сервіс лежить у знищеному дата-центрі, Starlink його не підніме.

Цього вересня Росія системно б’є по київських дата-центрах і вузлах зв’язку. Постраждали хостинги й кілька провайдерів, у частини абонентів зникав інтернет, на кілька годин зупинявся один із системних банків.
Але зв’язність відновлювали за години. За словами Alex Fediienko, після однієї з атак уже до 19:00 усі оператори працювали. Довше відновлюються конкретні сервіси без резерву.
Висновок: локальні перебої на кілька годин — реальні. Загальнонаціональний колапс — ні.

НАЙБІЛЬШІ РИЗИКИ
-зосередженість вузлів у кількох великих дата-центрах;
-живлення;
-сервіси без резервування;
-одна точка відмови у вашому власному підключенні. І це єдине, на що ви можете вплинути самі.

ЩО РОБИТИ БІЗНЕСУ
Офіс. Два провайдери, бажано з різними фізичними трасами: два провайдери в одному кабельному каналі мало що дають. Плюс мобільний резерв або Starlink, якщо година простою коштує дорожче за термінал. Роутер, комутатори й точки доступу — на ДБЖ.

Сайти й сервіси. Копія або резервний майданчик за кордоном. Перемикання на резерв має бути протестоване. DNS — не в одного постачальника.

IT-інфраструктура. Резервні копії. Регулярні. І перевірятись чи вони справді працюють. Сьогодні це робити просто.

ЩО РОБИТИ РОДИНІ
— Дві SIM-картки різних операторів. Більшість телефонів це підтримує. Думаю у всіх в сім’ї вже два оператора.
— Другий канал удома. Не впевнений що потрібен кожному. Хочете — нехай буде.
— ДБЖ чи зарядна станція для роутера й оптичного термінала. Якщо є вибір технології — GPON.
— Офлайн: карти, важливі контакти, паперові копії основних документів, трохи готівки. Це в цілому у вас вже давно в тривожному чемоданчику, так?