«Сложности с разработчиками старого биллинга только усугублялись»: «Таттелеком» пошел на разрыв с прошлым

Перед 50 сотрудниками «Таттелекома» и питерской компании-разработчика Bercut стояла беспрецедентная по скорости и сложности задача переключить за несколько часов сотни тысяч абонентов оператора на новую биллинговую систему Фото: Андрей Титов

Время перемен

Два миллиона абонентов сегодня пользуются услугами «Таттелекома». Более трех с половиной тысяч сотрудников компании обеспечивают бесперебойную связь (фиксированную и мобильную), скоростной интернет, облачное видеонаблюдение, домофонию и другие сервисы. Каждая транзакция с клиентами, вышестоящими провайдерами, банками и другими партнерами, каждая подписка, баланс счета, каждое подключение или изменение услуги для абонентов управляются с помощью биллинга. Это, как говорят в компании, одновременно «нервная и кровеносная система любого оператора», глубоко интегрированная во все процессы.

Айрат Нурутдинов: «Если наша система электронного документооборота остановится на полдня, это будет неприятно, но это не приведет к каким-то критическим последствиям. Остановка биллинга даже на 10 минут может оставить всех абонентов без связи и интернета» Фото: Андрей Титов

«В отличие от госкомпаний, для которых ключевыми являются электронный документооборот и казначейские системы, 60% наших процессов — это биллинг плюс написанная нами программа технического учета, позволяющая контролировать сотни тысяч элементов на наших сетях, распределенных по всей республике, и защищенная СRМ-система*, также разработанная „TTK Digital“ (дочерняя IT-компания „Таттелекома“ — прим. ред.). Остальные 30% процессов управляются множеством других систем, причем на документооборот у нас приходится не больше 5–10% работы, — обрисовывает расклад гендиректор „Таттелекома“ Айрат Нурутдинов. — Если наша система электронного документооборота остановится на полдня, это будет неприятно, но это не приведет к каким-то критическим последствиям. Остановка биллинга даже на 10 минут может оставить всех абонентов без связи и интернета».

Уже к 2020 году стало понятно, что биллинг, скорее всего, придется менять, несмотря на всю сложность этой задачи. «„Ирбис“, система, с которой „Таттелеком“ работал раньше, была внедрена 15 лет назад. Тогда хорошей считалась скорость в 400 килобит в секунду, сейчас мы оперируем скоростями 250–500 мегабит в секунду. Трафик вырос в тысячи раз! А на пике трафик на сетях „Таттелекома“ сегодня превышает 850 гигабит в секунду», — объясняет Изил Алтынбаев, начальник центра развития систем расчетов департамента ИТ компании. Он в своем время внедрял «Ирбис», и он же возглавил команду, отвечающую за миграцию на новый биллинг.

Изил Алтынбаев: «Ирбис», система, с которой «Таттелеком» работал раньше, была внедрена 15 лет назад. Тогда хорошей считалась скорость в 400 килобит в секунду, сейчас мы оперируем скоростями 250–500 мегабит в секунду»Фото предоставлено ПАО «Таттелеком»

Проблемы копились, усугубляясь с каждым годом. Прежняя система биллинга, развернутая на программно-аппаратном комплексе Exadata*** (запущена в 2016 году) на машинах американской корпорации, стремительно устаревает как морально, так и физически. За последние годы производительность машин выросла в десятки раз, делая версию ПАК Exadata просто неконкурентоспособной. Не говоря уже о том, что вендор ушел из России и обслуживание этого «железа» в условиях санкций становилось все сложнее. И если аппаратный комплекс еще продолжает так или иначе решать вопросы бизнеса, то программное обеспечение не справлялось ни с ростом числа абонентов, ни с вызовами, которые ставил рынок.

«Доходило до того, что часть услуг клиенты до сих пор были вынуждены получать через обращение в офисы. Даже смена некоторых тарифных планов требовала личного визита. И конечно, для нас было приоритетным вызовом, чтобы все услуги абонент мог получить в один клик, никуда не выезжая, — вспоминает Ильнар Сибгатуллин, заместитель генерального директора по массовому рынку и маркетингу. — В прежней биллинговой системе любое изменение, даже незначительное, требовало месяцев работы. И десятки, если не сотни, наших идей оказывались технически нереализуемыми».

Ильнар Сибгатуллин: «Доходило до того, что часть услуг клиенты до сих пор были вынуждены получать через обращение в офисы» Фото: Андрей Титов

В результате любой новый тариф или услуга для абонентов спотыкалась о множество препятствий из-за устаревшего ландшафта прежнего биллинга, рассчитанного изначально только на моноуслуги. А из-за перегруженности системы даже оплаты по счетам могли проходить с задержками. Конечно, решиться на смену подрядчика было непросто — как решиться на замену кровеносной системы? Но попытки договориться с разработчиками прежней системы не увенчались успехом — сложности во взаимодействии только усугублялись.

Тогда в «Таттелекоме» стали смотреть на внешний рынок, параллельно создавая собственную команду специалистов, которая будет способна решить нетривиальную задачу по переходу. В качестве внешнего подрядчика в ходе закупочной процедуры была определена петербургская компания Bercut**, которая к этому моменту работала на рынке 28 лет, имела богатый опыт разработки и внедрения биллинговых решений у российских и зарубежных операторов, а в числе клиентов — например, «Ростелеком» и «Теле2». К тому же их решение оказалось вполне оптимальным по бюджету, а команда с готовностью включилась в работу, несмотря на амбициозные сроки.

Ильдар Нургалеев отмечает, что каждая система биллинга отличается от другой на 80–90%, потому что у каждого оператора свой набор задач Фото: Андрей Титов

Как происходил переход?

«Миграция — естественное явление как для животного мира, так и для предприятий. Она происходит неизбежно, как только где-то истощаются ресурсы», — подмечает Алтынбаев. Но эта миграция оказалась близкой к беспрецедентной по скорости и сложности процессов.

Заместитель гендиректора по информационной безопасности, директор ИТ-департамента «Таттелекома» Ильдар Нургалеев отмечает, что каждая система биллинга отличается от другой на 80–90%, потому что у каждого оператора свой набор задач. Поэтому в прошлом году было принято решение создать отдельную команду — некий прокси-центр для перевода языка биллинга Bercut на язык биллинга «Таттелекома». В ней под руководством Алтынбаева работают 6 человек. «Вместе с новой системой приходят новые бизнес-процессы, поэтому в переходе участвовала практически вся компания — от контакт-центра до разработчиков, которые создают новые методы интеграции для мобильного приложения. А со стороны вендора участвовали более 80 человек», — рассказывает он.

В прошлом году было принято решение создать отдельную команду — некий прокси-центр для перевода языка биллинга Bercut на язык биллинга «Таттелекома»Фото предоставлено ПАО «Таттелеком»

Универсальные механики, заложенные в наши ИТ-продукты на этапе разработки, позволяют операторам реализовывать самые амбициозные задачи с минимальным вложением трудозатрат и максимально быстрым time-to-market****. Сплетение двух замотивированных команд — вендора и заказчика — вокруг такого значимого проекта, как переход на новый технологический стек ПАО «Таттелеком», позволяет нам успешно проходить этап за этапом и делать это комфортно для бизнеса и его клиентов.

Андрей Богданов генеральный директор Bercut

По рукам ударили в декабре, а 1 февраля уже произошел первый этап перехода на новый биллинг под названием IN@Voice Bercut. Для понимания, насколько это быстро: считается, что на разработку даже хорошего приложения нужно три месяца — от идеи до реализации, а тут не прошло и двух. В ночь на 1 августа успешно завершился второй этап миграции, незаметно переключив сотни тысяч абонентов мобильной связи. И сегодня подавляющая часть клиентов «Летай» уже переехала на новое, современное ПО.

«Как правило, биллинговые системы внедряются разом: два-три года готовится ландшафт, потом в один день старый биллинг останавливается, а новый запускается. Мы выбрали более плавный эволюционный, клиентоцентричный подход. У нас огромное количество абонентов, тарифных планов, услуг, систем, которые связаны с биллингом. Поэтапный перевод снизил вероятность возникновения незапланированных событий, хоть и потребовал от команды куда бо́льших усилий», — говорит Нурутдинов. Например, пришлось провести инвентаризацию более сотни архивных тарифов, накопившихся за 10 лет, и обучить более 700 сотрудников, для которых биллинг — ключевая система.

Второй этап миграции в результате занял несколько часов — с 23:45 31 июля до 07:00 1 августа. «Точнее, в 7 утра был запланирован запуск, но мы фактически сделали это в 05:42, — показывает Нургалеев план работы той ночью, который состоит примерно из 100 пунктов. — Была очень важна координация всех действий. Всю ночь работали примерно 50 человек со всей страны: распределенная команда вендора, участвовали ребята из Калининграда, Самары, Екатеринбурга, Иркутска. Все сработали как одно целое».

Валентин Сергиенков, директор департамента производства в External Bercut, рассказывает, что в эту ночь на внешних устройствах было выполнено несколько миллионов команд, связанных с переключением профилей абонентов с одного оборудования на другое. 

«Таттелеком» — лидер по скорости в нашей практике. До этого мы работали с региональными компаниями с сопоставимым количеством абонентов, но там переход занимал большее время. Более того, это первый проект Bercut по внедрению нового FMC-биллинга, когда мы не просто модернизируем уже установленное решение, а полноценно внедряем новый продукт, позволяющий обслуживать абонентов, которые одновременно пользуются услугами и ШПД, и мобильной связи, и умной домофонией, и облачным видеонаблюдением.

Валентин Сергиенков директор департамента производства в External Bercut

Новые возможности

Конвергентные тарифные планы, немыслимые в условиях прежнего биллинга, появятся уже в начале следующего года. И это только один из плюсов перехода на новую систему. Инструмент позволит доработать приложение «Летай 2.0», сделать более удобным и прозрачным выбор тарифов, повысить скорость и качество обслуживания и оставаться объективно одним из самых выгодных операторов в Татарстане: «Таттелеком» — единственный оператор, который сейчас предлагает безлимитный интернет в тарифах мобильной связи.

Результаты перехода заметят все абоненты. «С точки зрения клиента все просто: оставил заявку, пришел инженер и все подключил. Но на самом деле в этой цепочке участвует более 5 разных подразделений. В процессе перехода на новый биллинг мы сможем оптимизировать внутренние бизнес-процессы и ускорить подключение на 35%. Уже реализованный пример: оформление сим-карты сократилось с 6 до 3 минут», — перечисляет Сибгатуллин.

Внутри компании ускорение процессов же еще более показательно. Например, есть понятие «закрытие биллингового периода» — момент, когда агрегируются все полученные платежи и весь трафик, выставляются счета для бухучета и так далее, после чего никакие изменения в этот период уже невозможны. Раньше этой процедурой занимались около 20 человек в течение 2,5 суток. С новым биллингом с этим справляется 1 человек за 15–17 минут!

И это еще не все. «Мы видим очень быстрый рост зарплат на рынке. Как ему соответствовать? Один из вариантов — повышение тарифов, но это не совсем верный путь. Остается повышать производительность труда: за последние пять лет она у нас выросла вдвое. И самое главное — оптимизация происходит за счет автоматизации рутинных операций, которыми мало кто любит заниматься, особенно среди молодого поколения. Поэтому новый биллинг позволяет нам предлагать сотрудникам более высокие зарплаты и более интересные задачи», — заключает Нурутдинов.