Интернет под бомбами

[Joe]

Перепост отсюда. Тема была создана 26 июля 2006 года.

Заметку прислал Denys Fedoryshchenko, он же nuclearcat на форуме.

Пожалуй, я первый, кто пишет русский обзор о работе ISP в условиях военного времени, под непрерывной бомбежкой. Даже сейчас, во время написания, постоянно слышу взрывы бомб, и своими глазами вижу вспышки.

Пользователи говорят об оседающих рядом зданиях, и даже был случай, когда саппорт общался с админом интернет кафе, там были посетители (в основном дети из этого же дома), админ говорил о том, что он ненавидит войну и террористов, и что хочет отсюда поскорее уехать... Взрыв, человек ушел в оффлайн.

Смотрим на мониторинг - узел в дауне. На место подъезжать сразу нельзя, неоднократно были случаи, когда начинали тушить возникший пожар и спасать людей, а через 5-15 минут наносился удар туда же. Позже разрушенное здание, скорая помощь, абсолютно безумные крики полные страха и боли, выносят людей по частям... Когда видишь детей, которых выносят фрагментами тел, начинаешь ненавидеть "миротворцев" и "демократию", их борьбу с терроризмом методом "точечных" ударов.

Итак, восстановим хронику событий

Со вторника (11.07) наблюдаем странные помехи, в определенное время начинает сбоить все беспроводное оборудование, спутниковый передающий и принимающий канал, в то же время оптика функционирует нормально. Были осуществлены попытки взлома биллинга с внешних адресов (какой-то финский институт), и изнутри, из района неподалеку от того, где находится Хезболла, попытки достаточно странные, ничего подобного ранее не встречалось.

Но свою положительную роль сыграл mod_security, php safe mode, chroot и т.п., ну и то, что я в тот момент отслеживал тщательнее возможные проблемы с безопасностью. Были жалобы от нескольких пользователей на взлом их компьютеров и воровство логинов-паролей.

В среду Хезболлой были похищены солдаты.

В ночь на четверг был разбомблен аэропорт, телестанция Хезболлы, мосты и дороги на юге.

В пятницу начинается активная бомбежка города, продолжающаяся по сей день. События можно легко отследить по mrtg основного приемного канала Кстати, мне сразу пришлось анализировать, почему упало потребление инета, и прикинуть, насколько нужно уменьшить внешние каналы, чтобы не уйти в минус. Анализ конечно предварительный, полная картина будет только через месяц.

Сразу после бомбардировки аэропорта, народ посчитал, что это их как всегда не касается, и бросился читать новости в интернете, вы видите пик вечером в четверг.

Ночью в пятницу нанесли удар по электропитанию южной части Бейрута, люди услышали бомбы, им стало мягко говоря не до интернета. Из-за частичной неготовности к длительному отключению электроэнергии, многие пользователи сидели в темноте. Ну и конечно испуг, все сидели по домам.

Владельцы sub-ISP бросились закупать батареи и топливо для генераторов, из 200 точек присутствия в мониторинге, отсутствовало около 30. Сейчас только 15, и те были разбомблены или отключены.

После починки, почти сразу началась бомбежка района, где находится Хезболла. Слава богу у нас были недавно подключены только несколько интернет-кафе, и то - через третью сторону, так называемый data provider, предоставляющий свой wireless. Часть из них разбомбили сразу, часть я отключил самостоятельно (не хочу, чтобы бомба упала на наши головы, только из-за того, что связь используется террористами).

Один из владельцев крупной точки присутствия (кстати христьянин, не имеющий отношения к террористам), погиб под бомбами, вместе со всем оборудованием. Он имел неосторожность расположиться рядом с стратегическим объектом (то ли АТС, то ли электроподстанция).

Ну и конечно почти все "юрики", т.е. предприятия не функционируют. Но вполне возможно, что интернет они оплатят.

Ключевые моменты в планировании бомбоустойчивого провайдера для тех, кто хочет чтобы функционирование продолжалось в условиях войны (не дай бог угодить вам в мою ситуацию). Вспомним долгие дискуссии на форуме nag, о моих идеях с использованием дешевого оборудования.

Местоположение. Не располагать ваши ключевые объекты в стратегических точках, излюбленные у нас АТС и подстанции бомбят в первую очередь. Коммуникационные вышки общего пользования - та же песня. Ну и конечно топливные склады и прочие промышленные объекты.

Электропитание, и снова электропитание. Генератор, способный работать хотя бы 20 часов в сутки. Батареи должны держать оборудование не менее 24 часов. Вполне вероятно, что из-за бомбежки вы не сможете добраться, и заправить генератор сразу. Но если ваши пользователи не подумали о питании (здесь почти каждый жилой дом имеет собственный дизель-генератор, из-за нестабильного "государственного" питания), то все ваши меры будут бесполезны.

Охлаждение и мониторинг. Температурный мониторинг, так как завести кондиционеры при батарейном питании не получится (это неразумно). Нужно просто вентилировать помещение. Если у вас гермозона без возможности внешней вентиляции, по нашему опыту, даже при небольшом количестве серверов температура без кондиционирования растет дико, сервера быстро отключаются из-за перегрева. Конечно, необходим хороший мониторинг всех объектов в сети, по нему сразу видно, где упала бомба или пропало питание.

Cisco 2509
Сервер доступа, 1 порт Ethernet, 2 синхронных последовательных порта, 8 асинхронных последовательных портов.
всего за $360.00!

Безопасность. Думаю слово "мародеры" много что скажет. В основном палестинцы-беженцы воруют wireless оборудование, его сложно прятать. Двух уже поймали.

Децентрализация. В случае полного бомбового попадания во все наши ключевые коммуникационные центры, практически 70% оборудования покупается в ближайшем супермаркете, бекапы хранятся вне страны, и провайдера можно восстановить в течении 1-4 суток. Более того, "мозговые центры" у нас есть и извне, при полном уничтожении персонала возможно восстановление любым специалистом, кто может поставить линукс и подключить его в сеть.

Дублирование "материальной" связи - беспроводной. Проводные и оптические линки обязательно дублировать беспроводкой. Когда падает бомба, обычно все подземные коммуникации рвутся в мелкие лохмотья, и засыпаются камнями. С оптикой понятно, дрова полные, но и провода раскопать нереально. Разумеется, гос-телекомы под бомбы не полезут ремонтировать.

Персонал. Возможно напишу жестоко. Лучше всего неженатые, и тем более без детей, с местным гражданством. Потому как про работу женатые забудут сразу, их жены скорее всего заставят превратить всю семью в беженцев, независимо от ситуации. Большинство "приезжих" консультантов в соседних компаниях, быстренько слиняло в свои страны.
Так же можно полагаться на outsourcing. Внешний персонал не сидит под бомбами, и нервничает меньше.

Удаленный офис. Нужно обеспечить возможность удаленной работы персонала. IP АТС позволит принимать звонки саппортом на дому, удаленный терминал позволит работать бухгалтеру из дома, jabber сервер позволит безопасно обмениваться информацией. Ну и конечно ключевые сотрудники должны быть обеспечены бесперебойной связью и электропитанием, т.е. подключение должно быть через "первые руки". В нашем случае один из сотрудников, подключенный не wireless, а через несколько ethernet сетей, оказался отрезанным от связи после первых бомб.

Резервирование оборудования, и его дешевизна:
Носители. Использование носителей в виде USB flash оказалось практически идеальным. Винты от перегрева выходят из строя практически сразу. DOM Flash днем с огнем не найдешь, все закрыто, аэропорт разбомблен, как и все границы наглухо запечатаны самолетами противника. USB Flash покупаем в супермаркетах, которые по прежнему открыты.

Серверы. В случае вышедшего из строя сервера Sun, при полном бекапе крайне тяжело найти ему замену. Весь софт на них собран под железо с оптимизациями и т.п. В случае использования обычного PC, любой компьютерный магазин, или даже старые запасы спасают даже в случае прямого попадания бомбы.

Коммуникационное оборудование. Роутер на PC намного легче заменяется, чем, скажем, Cisco семитысячник. Wireless - то же самое, унифицированное недорогое решение. Лучше поставить два, и опираться на софт, в плане резервирования.

Электропотребление. Теоретизируя, думаю нашпигованный 3Com Total Control, в качестве PPPoE NAS гораздо хуже себя покажет в плане энергопотребления в случае уменьшения количества пользователей. В случае использования кластера из PC, ненужные можно выключать, и при необходимости подымать через Wake-on-lan.

Политика. Пожалуй самое главное. Категорически не вмешиваться в политику, и не осуществлять связь для любой из воюющих сторон, и тем более террористам. Иначе бомбы на вас упадут в первую очередь.

Самое удивительное, наиболее живучим показали себя не wireless линки, а ethernet. И линки не проброшенные по всем "правилам" в подземных коммуникациях, а висящие соплями.

После разрушения зданий к ним легче всего добраться, и легче всего их починить. Даже при разрушении верхней части здания, провод пролегающий под карнизом, с коробкой и свичом внутри обычно остаются целыми.

И последние слова в этом обзоре, но надеюсь не мои последние слова. Я остаюсь здесь, и не буду эвакуироваться с гражданами своей страны. Просто не могу бросить работу и своих друзей. Пожелайте мне и мирным ливанцам удачи, чувствую она потребуется.

http://www.nag.ru/

PS - автор - севастополец, находящийся ныне в Ливане

Добавлено в 12:56
NuclearCat

Зарегистрирован: 01.12.2003
Сообщения: 5128
Откуда: Somewhere

Добавлено: 21 Июл, 2006, 20:33 Заголовок сообщения:
Василий622 писал(а):
Интересно,Кот-как это у тебя в Бейруте до сих пор инет пашет?

Пока еще пашет. Сегодня США задействовали jammer-ы похоже, все радио-оборудование "соответствующее" стандартам США скисло. Поэтому если вы не хотите попасть в неприятную ситуацию, не советую брать оборудование certified by FCC.