Будуємо доступ: топології та обладнання

Часто доводиться працювати з проблемами, що виникають в мережах провайдерів Інтернет та великих організацій. В одних випадках проблема вирішується просто і швидко, в інших – важко і довго. Іноді рішення проблеми обходиться «малою кров'ю», іноді – потребує багато часу, вкладень і робочого часу. Велика частина «важких» у вирішенні проблем пов'язано із спочатку непродуманою побудовою мережі. У таких випадках, як правило, потрібна повна перебудова мережі, яка веде до значних витрат. У цій статті я постараюся розповісти про різних варіантах побудови операторської мережі і варіантах приведення наявної мережі до ефективної топології. Оскільки найбільш динамічно зараз розвивається технологія Ethernet to home, мова піде саме про неї.

Загальна ієрархія мережі

Отже, мережу більш-менш великого провайдера Інтернет рекомендується будувати за трирівневою топології, в якій виділені, як мінімум:

1. Рівень доступу – обладнання (в самому поширеному у нас зараз випадку – комутатори Ethernet), в порти яких безпосередньо включені абоненти.
2. Рівень агрегації, який є проміжним між рівнем доступу і ядром і займається маршрутизацією трафіку абонентів.
3. Ядро – забезпечує зв'язність між обладнанням рівня агрегації та іншими ресурсами мережі.

Додамо сюди ще один рівень – кордони провайдера: тут працюють пристрої, що забезпечують зв'язність із зовнішнім світом Все, що написано і показано вище – теорія і хороша практика.

На ділі, мережі більшості невеликих провайдерів побудовано за іншими схемами, а саме:

1. Вироджене ядро ??- відсутність ядра мережі як окремої сутності. Пристрої агрегації з'єднані між собою і з граничними пристроями.
2. Вироджений доступ – досить рідкісний випадок, коли маршрутизація працює вже на комутаторах рівня доступу.
3. Вироджена межа Інтернет – часто зустрічається в зовсім невеликих мережах, в яких функції Internet border виконує пристрій, топологічно перебуває на місці ядра. Часто, в невеликих мережах, на одному пристрої (в кращому випадку – на парі пристроїв / стеку) поєднуються функції агрегації, ядра і граничного пристрою.
4. Некерований доступ.
5. Різноманітні поєднання пунктів 1-4.

Кілька років тому дуже поширеною топологією мережі невеликого провайдера (домонет) була наступна схема: набір з'єднаних в один чи кілька сегментів комутаторів доступу (часто – некерованих) і один PC-маршрутизатор, який відповідав за маршрутизацію клієнтського трафіку, забезпечення сервісу ("нарізку" трафіку згідно тарифних планів), і одночасно служив граничним пристроєм.

Зараз, в умовах жорстокої конкуренції, тарифи на доступ до Інтернет для кінцевого клієнта впали, відповідно зріс обсяг трафіку в мережах провайдерів. До того ж, машрутизаційні комутатори стали доступні за ціною навіть невеликим провайдерам. Тепер часто доводиться мати справу з топологією, що залишилася у спадок від описаних вище домосітей, але в якій на місці того самого "центрального" сервера Маршрутизуючий комутатор, який знову-таки відповідає за всю маршрутизацію – зовнішню і внутрішню.

Чим погані рішення з суміщенням функцій різних рівнів мережевої топології?

Перший очевидний мінус – відсутність ізоляції відмов: коли щось перестає працювати, буває досить важко визначити джерело проблеми – атака з боку абонента, атака із зовнішнього світу, неполадки в мережі, неполадки із залізом?

Другий мінус – єдина точка відмови: будь це наслідок атаки, неправильної конфігурації або несправність обладнання, що стоїть в центрі мережі – це зачіпає абсолютно всіх абонентів.

Третій мінус – відсутність масштабованості: в момент, коли ресурси того самого "центрального" комутатора виявляться вичерпаними, стане необхідною кардинальна зміна топології мережі, і, можливо, схеми надання послуг.

Четвертий мінус пов'язаний з особливостями будови маршрутизуючих комутаторів: маючи значну пропускну здатність, яка забезпечується чіпсетом – спеціалізованим під передачу трафіку "залізом", вони мають обмеження по потужності центрального процесора. Сам по собі процесор не бере участь у передачі кадрів і пакетів, що проходять через комутатор, але деякі операції (такі як прийом і відправка даних ARP, обмін даними протоколів маршрутизації і перерахунок цих даних в таблицю маршрутизації) виробляє саме центральний процесор.

У ситуації, коли Маршрутизуючий комутатор відповідає за все, можливі проблеми в наданні послуг при одночасному виконанні "важких" для процесора операцій, наприклад: віддача даних статистики по SNMP плюс перерахунок таблиці маршрутів після підняття сесії BGP, плюс масові запити ARP від ??абонентського обладнання.

Чому ж подібні рішення ще застосовуються?

Відповідь одна: удавана дешевизна такого рішення.

Адже Маршрутизуючий комутатор коштує кілька тисяч доларів і використання замість одного на всю мережу декількох таких комутаторів (один-два на десять-двадцять комутаторів доступу) помітно здорожує мережу … Подорожчання мережі в даному випадку досить незначно.

Оскільки мережа в цілому та мережеве обладнання зокрема – засіб виробництва, думка про те, що наприклад "правильно побудована мережа буде дорожче на стільки-то тисяч доларів", буде некоректно.

Провайдер будує мережу для того, щоб продавати послуги, і вартість устаткування коректніше буде перерахувати щодо абонента. При такому розрахунку з'ясується, що витрати на активне обладнання (при правильній побудові мережі) складуть декілька сотень гривень на абонента і окупляться платою за підключення і, максимум, за два-три місяці надання послуг. При цьому мережа буде володіти такими важливими якостями як відмовостійкість, і масштабованість як у плані розширення абонентської бази, так і в плані розширення спектру послуг.

Підраховуючи питому (в перерахунку на абонента) вартість мережного обладнання, можна виявити, що найбільший внесок у цю вартість вносить рівень доступу. Незважаючи на те, що комутатори доступу є найдешевшими, вони ж і самі численні. Якщо в комутатор ядра включено кілька десятків комутаторів агрегації (а це тисячі абонентів), а в комутатор рівня агрегації – 12-24 комутатора доступу (сотні абонентів), то в комутатор доступу – десятки абонентів.

При цьому далеко не завжди можна забезпечити стовідсоткове заповнення існуючих портів, що додатково збільшує середню вартість абонентського порту. Все це – причина для більш детальної розмови про рівень доступу.

Рівень доступу

Рівень доступу відповідає за L2-сервіси і захист мережі від атак і небажаного трафіку з боку абонентів. Оскільки обладнання рівня доступу найбільш численно і встановлюється в будинку (під'їзді житлового будинку або технічних приміщеннях цього будинку), вимогами до такого устаткування є: низька вартість абонентських портів, надійність (бажано відсутність вентиляторів, які вимагають періодичної чистки і заміни), розширений температурний діапазон і захист від статичної електрики.

Крім того, природно, комутатор (якщо ми говоримо про мережах Ethernet), повинен забезпечувати роботу необхідних для надання послуг абонентам функцій, набір яких залежить від набору цих самих послуг, технології надання цих послуг і топології рівнів доступу і почасти – агрегації.

Для початку розглянемо рекомендовані і реально існуючі варіанти побудови рівня доступу в мережах провайдера.

Найпростіша (на жаль, досить поширена топологія) – ланцюжок.

Мережні пристрої (в даному випадку комутатори доступу) з'єднані послідовно.

Така схема має низку суттєвих недоліків:

• Відсутність резервування;
• Відсутність ізоляції відмов – відмова одного пристрою може призвести до відмови всього ланцюжка;
• Взаємний вплив – паразитний трафік впливає на весь ланцюжок;
• Надмірні вимоги до комутаторів – комутатори в ланцюжку обслуговують трафік інших комутаторів.

* У мережевих інженерів дуже поширене інша назва такої топології: "ковбаса".

Поєднавши крайні пристрої в ланцюжку, отримуємо наступну топологію – кільце.

Така топологія краще ланцюга тільки тим, що є деяке резервування: при наявності однієї точки відмови, можлива робота інших вузлів. Всі інші проблеми ланцюжка залишаються.

До них додається ще один недолік: необхідність налаштування мережевого протоколу, який дозволяє уникнути утворення логічних петель і час спрацьовування цього протоколу при відмові вузла в кільці.

Наступна топологія – зірка.

Особливість такої топології в тому, що всі комутатори доступу ізольовані один від одного і єдиною точкою їх з'єднання є комутатор вищого рівня ієрархії – агрегації.

З цього випливають як переваги:

• Відсутність взаємного впливу;
• Відсутність зайвого трафіку через комутатор доступу;
• Ізоляція відмов;
• Ізоляція паразитного трафіку;
• Простота пошуку неполадок;

так і недоліки топології:

• Відсутність резервування зв'язків між рівнями агрегації та доступу;
• Наявність єдиної точки відмови – комутатора агрегації.

Зазначені недоліки можна усунути, застосувавши топологію "подвійна зірка".

Тут мається надлишкова зв'язність між кожним з комутаторів доступу з комутаторами вищого рівня. Крім того, відсутня єдина точка відмови: комутаторів агрегації тепер два.

Тепер про реально існуючі схеми:

Дуже часто, в зовсім невеликих провайдерів, мережа доступу розвивається "історично" і поетапно – спочатку будується "ковбаса", часто з некерованих комутаторів. У міру наростання проблем в мережі, комутатори спочатку замінюються на керовані, потім вона замикається в довге кільце.

У міру нарощування абонентської бази та розширення мережі від кільця відгалужуються нові ланцюжки. В результаті, схема мережі доступу являє собою величезне кільце з численними відгалуженнями ланцюжками, або набір кілець.

Недоліки такої побудови перераховані вище. У міру подальшого зростання мережі, кількість проблем безупинно наростає. Доводиться розукрупнювати кільця, замикати їх не на рівні доступу, а на рівні агрегації, і так далі. У ході таких робіт (які припускають вкладення в устаткування і лінії зв'язку), постійно виникає конфлікт інтересів між технічними фахівцями (мета яких побудувати максимально надійну і безпроблемну мережу), фахівцями з роботи з абонентами (мета яких продати послуги як можна більшому числу абонентів) та власником, або його представником, який зацікавлений отримати найбільшу віддачу від вкладень.

Для вирішення цього конфлікту, технічним фахівцям необхідні будуть переконливі аргументи: обгрунтування витрат на розгортання, розширення, або оптимізацію мережі.

Власне, основна мета цього матеріалу – допомогти у виборі розумного рішення і його обгрунтування.

Один із вирішальних чинників у виборі обладнання рівня доступу – розумна вартість абонентського порту. Приміром, вартість абонентського порту в комутаторі серії DES-3200 складає менше 10 доларів (в залежності від моделі), що дозволяє окупити витрати на придбання обладнання з місячної абонентської плати, або навіть з плати за підключення.

Однак, вартість – не єдиний чинник при виборі обладнання. Як мінімум, це обладнання має задовольняти існуючим вимогам до обладнання доступу, з урахуванням застосовуваної топології і технологій.

Великим плюсом також буде підтримка функцій, які, може бути зараз та не є необхідними конкретному провайдеру, але впровадження їх неминуче або ймовірно в майбутньому. Наприклад, це підтримка мультікаст і IPv6. Якщо з побудовою знову створюваної мережі або її сегмента все зрозуміло: тут бажано будувати зіркоподібну топологію або, якщо "зірка" зовсім невигідна – невеликі кільця, то з розширенням або оптимізацією існуючої мережі все дещо складніше. У цьому випадку варто взяти до уваги спосіб побудови фізичних з'єднань між комутаторами.

Зараз майже всі провайдери використовують оптичний кабель, а число тих, хто ще використовує простягнуту між будинками виту пару стрімко скорочується після кожної грози. В оптичних кабелях, як правило, міститься кілька пар волокон, ціна кабелю росте не в арифметичній прогресії від числа пар волокон, до того ж ціна кабелю не єдина складова вартості кабельної інфраструктури.

Таким чином, дуже часто, навіть за наявності довгого ланцюжка з комутаторів, в запасі є невикористані оптичні волокна.

Крім того, існують WDM-трансивери, пара яких за рахунок зсуву частот прийому і передачі можуть використовувати всього одне волокно замість пари. Все це – резерв для приведення в порядок топології і їм не варто нехтувати при проектуванні кабельної інфраструктури і мережі взагалі.

Розглянемо кілька прикладів реорганізації сегмента доступу:

Випадок 1:

Маємо "кільце" з 10-ти комутаторів доступу. Комутатори з'єднані по одномодовому оптичному кабелю з використанням звичайних (не WDM) трансіверов. При побудові кабельної інфраструктури використаний 12-ти парний кабель. Кожен з комутаторів обслуговує від 10-ти до 24-х абонентів з тарифним планом, що передбачає підключення на швидкості 100Мбіт / с і наданням IPTV. У сегменті почастішали скарги абонентів на низьку швидкість доступу до ресурсів Інтернет, низька якість («пригальмовування» і артефакти) при перегляді IPTV, втрати при використанні skype і т.п. Аналіз графіків завантаження лінків між комутаторами в кільці показує 80% і вище завантаження цих лінків в години пік. Крім того, спостерігалися випадки аварій трансформаторної підстанції, причому два будинки, в яких знаходяться найближчі до рівня агрегації комутатори, виявилися запитані від однієї і тієї ж ТП.

Зрозуміло, що перша проблема – вичерпання ємності (1 Гбіт / с) лінків в кільці; друга – пов'язана з тим, що особливості енергопостачання не були враховані при проектуванні мережі.

Варіанти вирішення першої проблеми:

– Перехід на 10Гбіт / с лінки між комутаторами;

– Побудова агрегованих лінків;

– Зміна топології мережі на зіркоподібну.

Перший спосіб передбачає значні вкладення і заміну всього обладнання доступу. Крім того, цей спосіб не буде виглядати економічно виправданим в порівнянні з іншими.

Другий спосіб, як легко переконатися простим підсумовуванням смуги пропускання портів абонентів на всіх комутаторах, проблему всього лише відсуне.

Третій спосіб значно знизить навантаження адже навантаження від абонентів, включених в один комутатор доступу, не буде підсумовуватися з завантаженням сусідніх.

Крім того, при заданому співвідношенні кількості комутаторів і ємності кабелю, можна створити топологію виду "подвійна зірка", використовуючи два півкільця оптичного кабелю для побудови двох лінків до кожного комутатора. Використовуючи агрегацію лінків, можна отримати достатню пропускну здатність і високу надійність сегмента.

У разі подвійної зірки платою за високі параметри продуктивності і надійності мережі буде подвійне число задіяних портів рівня агрегації.

Варіанти вирішення другої проблеми:

– Використання джерел безперебійного живлення для кожного комутатора в кільці;

– Перетворення мережі в зіркоподібну. При цьому, у разі відсутності харчування, деградація сервісу буде спостерігатися тільки в абонентів в будинку, в якому відключено харчування (так адже і абонентів в цьому випадку теж немає харчування!).

Висновок: в описаному випадку зміна топології мережі дозволить вирішити виниклі проблеми оптимальним способом.

Випадок 2:

Кільце містить, наприклад, 18 комутаторів. Інші дані і проблеми аналогічні нагоди 1. У цьому випадку ємності кабелю вже не вистачає для включення кожного комутатора окремої парою волокон.

У цьому випадку допоможе використання WDM-трансіверов, які використовують тільки одне волокно для прийому і передачі. У цьому випадку по трасі наявного кабелю можна включити до 24-х комутаторів.

Випадок 3:

Кільцева структура з великим числом комутаторів. Замикаючий кільце комутатор включений одним з портів в комутатор агрегації. Для запобігання утворення логічних петель використовується RSTP. Проблеми полягають у необхідності ретельної конфігурації RSTP для збільшення діаметра мережі і захисту протоколу і помітного часу сходження. При накладенні "плаваючою" несправності у фізичній інфраструктурі відбувається частий перерахунок spanning-tree з відповідною деградацією сервісу. При відмові замикаючого кільце комутатора або комутатора агрегації спостерігається деградація сервісу у всьому кільці.

Припустимо, що ємність кабелю не дозволяє побудувати зіркоподібну топологію навіть з використанням WDM-трансіверов.

У цьому випадку можна порекомендувати поетапне вирішення проблем: перехід на протокол ERPS, в якому можна задати час відновлення (що дозволяє уникнути частого перерахунку топології), а сам час сходження набагато менше – всього лише близько 200 мс.

Другим етапом буде побудова додаткової зв'язності між рівнями доступу та агрегації – сполука ще, як мінімум, одного комутатора доступу з ще одним комутатором агрегації.

Третім – Докладання кабелю і приведення сегмента до зіркоподібній топології, або, в крайньому випадку – поділ на кілька кілець з розумною кількістю комутаторів в кожному. У кожному з цих випадків необхідний комутатор, який би одночасно підтримував протоколи STP (RSTP, MSTP), ERPS, агреговані лінки з використанням LACP, мав достатню кількість швидкісних портів для з'єднання з іншими комутаторами і достатню ємність буфера фізичних адрес. Дуже бажано мати моделі з різною кількістю абонентських портів в одній серії.

Також, варто враховувати, що подальший розвиток мережі та нарощування абонентської бази в даний час досить утруднені у зв'язку з практичним вичерпанням адрес IP версії 4. Тому необхідна підтримка протоколу IPv6 обладнанням доступу. Побіжний аналіз устаткування, використовуваного в мережах успішних провайдерів приводить нас все до тієї ж операторської лінійці комутаторів DES-3200 (на кінець 2012-го року в мережах провайдерів працює вже кілька сотень тисяч цих комутаторів).

Чому саме ця серія? Спробуємо трохи формалізувати процедуру вибору:

Критерій вибору	Фактичні показники
Низька вартість абонентського порту	До $ 10 за абонентський порт
Гнучка щільність портів	Від 8-ми до 48-ми абонентських портів в різних комутаторах серії
Наявність швидкісних аплінк-портів	Від 2-х до 4-х
Низька вартість обслуговування і мінімальні планові простої	Відсутність вентиляторів
Підтримка функцій, що забезпечують сервіси	Port bandwitdh, DHCP relay, IGMP snooping
Підтримка функцій безпеки	ACL, IP-MAC-Port binding
Підтримка кільцевої топології	STP, RSTP, MSTP, ERPS, 16K MAC FDB
Підтримка функцій управління і моніторингу	SNMP, Ethernet Link OAM, CFM, DULD, sFlow
Підтримка перспективних технологій	IPv6 ready phase II logo
Досвід успішного застосування	сотні операторів, сотні тисяч встановлених комутаторів

Вказана тільки частина підтримуваних функцій, повний опис можна знайти на сайті виробника

Як видно з таблиці, ці комутатори дозволяють забезпечити основні функції мережі і надають оператору додаткові можливості. До того ж додатковими перевагами такого вибору є умовно-довічна гарантія та безкоштовна технічна підтримка з боку регіональних офісів виробника.

С. Базяк

 За даними dlink.ua