Аннотация научной статьи по строительству и архитектуре, автор научной работы — Ляховский К.А., Архипов А.В.
При реконструкции объектов, проводимой в условиях имеющейся городской застройки, часто возникают вопросы к решению конкретной задачи проведения работ на объектах капитального строительства. Например, рассматриваемые в статье работы по реконструкции объектов здравоохранения проводятся в условиях действующих учреждений, различных кампусов или среды.
При этом ряд факторов, значительно влияющих на затраты труда рабочих, принятые в строительстве методы организационно-технологического проектирования не учитывают. В процессе организации работ по реконструкции в условиях ограниченного пространства и в помещениях малого объема, возникает проблема определения продолжительности выполнения работ. Также возникает проблема определения количества необходимых трудовых ресурсов при директивно заданной продолжительности согласно условиям Государственных контрактов. Для решения задачи согласования в статье рассмотрена возможность использования транзакционных платформ.
Сравнение подходов ETL и ELT
Похожие темы научных работ по строительству и архитектуре , автор научной работы — Ляховский К.А., Архипов А.В.
Исследование подготовительных работ для использования BIM-технологий на примере проектирования медицинских организаций
PROSPECTS FOR THE USE OF TRANSACTION PLATFORM MODELS IN THE SELECTION OF ORGANIZATIONAL AND TECHNOLOGICAL SOLUTIONS FOR THE RECONSTRUCTION OF HEALTHCARE FACILITIES USING THE ELT APPROACH
During the reconstruction of facilities carried out in the conditions of existing urban development, questions often arise to solve the specific task of carrying out work on capital construction projects. For example, the work considered in the article on the reconstruction of health facilities is carried out in the conditions of existing institutions, various campuses or environments. At the same time, a number of factors that significantly affect the labor costs of workers, the methods of organizational and technological design adopted in construction are not taken into account.
In the process of organizing reconstruction work in conditions of limited space and in rooms of small volume, there is a problem of determining the duration of work. There is also a problem of determining the number of necessary labor resources for a directive specified duration according to the terms of Government contracts. To solve the problem of coordination, the article considers the possibility of using transactional platforms.
Текст научной работы на тему «ПЕРСПЕКТИВЫ ИСПОЛЬЗОВАНИЯ МОДЕЛЕЙ ТРАНЗАКЦИОННЫХ ПЛАТФОРМ ПРИ ВЫБОРЕ ОРГАНИЗАЦИОННО-ТЕХНОЛОГИЧЕСКИХ РЕШЕНИЙ ПРИ РЕКОНСТРУКЦИИ ОБЪЕКТОВ ЗДРАВООХРАНЕНИЯ С ПОМОЩЬЮ ПОДХОДА ELT»
Перспективы использования моделей транзакционных платформ при выборе организационно-технологических решений при реконструкции объектов здравоохранения с помощью подхода ELT
К.А. Ляховский, А.В. Архипов
Что такое ETL и ELT за 10 минут. Разница подходов
Национальный исследовательский Московский государственный строительный университет (НИУ МГСУ), г. Москва
Аннотация: При реконструкции объектов, проводимой в условиях имеющейся городской застройки, часто возникают вопросы к решению конкретной задачи проведения работ на объектах капитального строительства. Например, рассматриваемые в статье работы по реконструкции объектов здравоохранения проводятся в условиях действующих учреждений, различных кампусов или среды.
При этом ряд факторов, значительно влияющих на затраты труда рабочих, принятые в строительстве методы организационно-технологического проектирования не учитывают. В процессе организации работ по реконструкции в условиях ограниченного пространства и в помещениях малого объема, возникает проблема определения продолжительности выполнения работ. Также возникает проблема определения количества необходимых трудовых ресурсов при директивно заданной продолжительности, согласно условиям государственных контрактов. Для решения задачи согласования в статье рассмотрена возможность использования транзакционных платформ.
Ключевые слова: реконструкция, объекты здравоохранения, организационно-технологические решения, документация, пространство, время, затраты труда, транзакционная модель, производительность.
При существующей плотности городской застройки возведение новых корпусов для лечебных учреждений является большой проблемой. В основном идет переоснащение существующих зданий с изменением их функционального назначения [1], созданием более комфортных условий для пребывания пациентов и посетителей. В ходе реализации государственной программы города Москвы «Развитие здравоохранения города Москвы (Столичное здравоохранение)», утверждённой Постановлением Правительства Москвы (Постановление Правительства Москвы от 30 марта 2021 года № 388-ПП «О внесении изменения в постановление Правительства Москвы от 4 октября 2011 г. № 461 -ПП» URL: docs.cntd.ru/document/608397476) и общенациональных проектов, разрабатываются новые стандарты по общим техническим решениям фасадов и интерьеров, благоустройству прилегающей территории городских
поликлиник и стационарных учреждений здравоохранения. Особенностью реконструкции является выполнение строительных работ в условиях действующих учреждений [2], а также соседства (иногда очень близкого) с эксплуатируемыми объектами, что снижает по сравнению с новым строительством «в чистом поле» производительность труда рабочих на 25.
30% из-за большого числа вынужденных простоев, увеличения расстояния доставки материалов, невозможности применения некоторых видов техники, стесненности условий работы [3, 4], необходимости выполнения сложных работ по разборке и замене конструкций. Также повышается на 30. 45%, удельный вес заработной платы, а эксплуатационные расходы на средства механизации увеличиваются в 1,5. 2,5 раза, в то время как удельная себестоимость отдельных видов работ повышается на 15% [5, 6].
Для решения задачи выбора при организационно-технологическом проектировании, используя транзакционные платформы, стоит обратить внимание на принципы и критерии формирования таких платформ и программных комплексов. В более ранних публикациях отмечалось то, что решением данных проблем, существующих в строительной отрасли, является разработка интегрированных автоматизированных систем управления предприятиями в строительной отрасли, позволяющих поднять на новый качественный уровень процесс принятия организационно-технологических, а в последующем, и управленческих решений. Также это позволяет осуществить компьютеризацию и компьютерное моделирование основных и вспомогательных производственных процессов в системе.
Основные принципы и критерии технического формирования сложных систем заключаются в следующем:
• экономичность и эффективность;
• надежность и безопасность;
М Инженерный вестник Дона, №2 (2022) ivdon.ru/ru/magazine/arcliive/n2y2022/7467
• мониторинг инженерных параметров и управление ими;
• оперативность в оценке данных и устранение возникших неисправностей и неполадок.
Компьютерное моделирование должно быть:
• простым и понятным пользователям;
• удобным в управлении и обращении с программным продуктом;
• функционально полным с учётом возможности решения главных (поставленных) задач;
• адаптивным, позволяющим легко модифицироваться или обновлять данные;
• гибким (может усложняться и соответствовать современным требованиям) [7].
Результатом внедрения в отрасли таких платформ станет повышение точности расчетов трудовых затрат при возведении и реконструкции объектов капитального строительства (далее — ОКС) для составления графиков производства работ в Проектах организации строительства (далее -ПОС) и Проектах производства работ (далее — ППР), и определение необходимого количества трудовых ресурсов по конкретному объекту с учетов факторов, влияющих на производство работ и оценка повторяющихся технологических решений [8] при строительстве, капитальном ремонте и реконструкции объектов на протяжении всего Жизненного цикла (далее -ЖЦ), а также отдельных этапов [9].
Материалы и методы
Для решения задач дальнейшего исследования по части расчета затрат труда, распределения объемов и видов работ, оказывающих наиболее
существенное влияние на продолжительность реконструкции в действующих лечебных учреждениях, были проведены процедуры кластерного анализа данных и статистики, полученных из проектной и исполнительной документации по реконструкции объектов здравоохранения.
В ходе исследования были рассмотрены методы организационно-технологического проектирования, разрабатываемые для принятия решений, обеспечивающих своевременную строительную готовность объектов подрядными организациями при выполнении строительно-монтажных работ. По результатам кластерного анализа выделены 250 завершенных объектов реконструкции, которые можно сформировать в группы по следующим сходным признакам:
• набор, объемы и виды работ;
• сроки проведения работ, указанные в проектной документации;
• стоимость проведения работ;
• фактические сроки проведения работ по реконструкции объектов;
• методы расчетов затрат труда и количества работающих при выполнении строительно-монтажных работ.
Применение метода кластерного анализа позволило определить группы схожих объектов внутри первоначальной выборки таких объектов с целью выделения наиболее типичных по части принимаемых организационно-технологических решений при расчете затрат труда работающих на объектах реконструкции.
Результаты исследования показали возможность выделения принципов группировки объектов реконструкции и выделения нетипичных ОКС на предмет применения транзакционных платформ.
Стоит отметить, что по части определения затрат труда рабочих (далее — ЗТР) уже сегодня существует возможность использования данных
проектно-сметной документации, разрабатываемой при реконструкции ОКС. С целью обеспечения совместимости и обмена данными между различными компьютерными сметными программами применяются единые универсальные форматы передачи данных между сметными программами (Блок обмена данными между компьютерными программами по составлению смет — «Формат АРПС 1.10» (URL: xn--80a4acf.xn--p1ai/format-arps)).
Кроме того, при подготовке документов в электронном виде для всех типов графических и текстовых документов применяются следующие общепринятые форматы: Portable Document Format (PDF, версии не ниже 1.7) и/или Extensible Markup Language Paper Specification (XPS). В свою очередь, для текстовых документов раздела проектной документации в электронном виде «Смета на строительство объектов капитального строительства» на ОКС применяются форматы: Office Open Extensible Markup Language Workbook (XLSX) и extensible Markup Language (XML). Также, при необходимости предоставления графических материалов, используются единые форматы: 3D Portable Document Format (3D PDF); Design Web Format (DWF, или 3D-DWF); DWG; Navisworks Document (NWD); Industry Foundation Classes (IFC) (Постановление Правительства Москвы от 03 ноября 2015 г. № 728-ПП «Об утверждении технических требований к проектной документации, размещаемой в электронном виде в информационных системах города Москвы» (с изменениями на 2 июня 2020 года) URL: docs.cntd.ru/document/537982695#6540IN). Повсеместное внедрение единых форматов машинно-ориентированных и машиночитаемых документов, предназначенных для записи и считывания информации средствами вычислительной техники, позволяет использовать такие форматы для ввода данных, расчетов и вычислений платформенными программными комплексами. В свою очередь, набор методик, основанных на технологиях
машинного контролируемого обучения, позволит выявить функциональные взаимосвязи в анализируемых массивах данных.
В ходе исследования данных, размещённых в открытом доступе единой информационной системы в сфере закупок, установлено, что в большинстве случаев при разработке проектной документации по реконструкции объектов здравоохранения проектные организации используют 2-3 варианта методики расчета ЗТР при разработке ПОС, указанных на Примерах 1 и 2, а именно:
Число работающих кадров и ИТР составляет:
СМР — общая стоимость строительно-монтажных работ (421 тыс. руб.);
W — средняя выработка в месяц на 1 работающего (330 тыс. руб.);
Т — продолжительность работ в месяцах (9 месяцев по объекту аналогу);
п — количество смен (2 смены по объекту аналогу);
А — количество человек (71 человек — расчетная величина)
Средняя численность рабочих N занятых на строительно-монтажных работах, определена по формуле:
Тр — затраты труда на выполнение строительно-монтажных работ, чел. час (30060);
Тп — продолжительность проведения работ в месяцах (9 месяцев по объекту-аналогу);
167 — среднемесячное количество рабочих часов;
N — количество человек (20 человек — расчетная величина).
Данные методы расчета затрат труда при проведении работ на объектах не учитывают специфику производства работ и факторы, влияющие на время их выполнения. Производительность труда в условиях ограниченного пространства ниже, а следовательно, сокращается и выработка. Также, с данными формулами невозможно учесть такие факторы, как график работы действующего здравоохранительного учреждения, что дополнительно накладывает существенные временные ограничения при организации и проведении работ.
Данные для ввода в формулы, в части стоимости, берутся из сметной документации по объекту строительства, а в расчёте ЗТР используются такие понятия, как «средняя выработка», «объекты-аналоги», что не может учитывать конкретные условия при реконструкции для расчета общей численности рабочих и предельной концентрации рабочих на объекте строительства и при проведении строительных работ на всем протяжении ЖЦ- объекта в последующем.
При этом надо учитывать, что уровень производительности труда в среднем по промышленности в РФ составляет 26 % от уровня США, а в жилищном строительстве — 28 %. Такие страны, как Германия, Швеция, Норвегия, Финляндия по производительности труда в строительном комплексе опережают Россию в 2-3 раза [10].
Данные проектно-сметной документации для решения задачи расчета ЗТР можно использовать с применением Двусторонней (многосторонней) транзакционной платформы — информационной системы, пользователи которой могут быть соответствующим образом сгруппированы (отнесены к разным сторонам платформы), при этом в одну группу входят Проектные организации, Заказчики и Технические заказчики, а в другую — потребители, в лице Генеральных подрядчиков и их Субподрядчиков.
Этот подход позволяет выделить ЗТР при возведении и реконструкции ОКС для всего проекта и отдельных процессов или этапов реализации проекта при строительстве и ЖЦ объекта. Подобные платформы уже используются для решения различных задач бизнеса и банковского сектора экономики. Примером может послужить Транзакционная платформа -интернет-инструмент, используемый для поддержки бизнес-операций различных организаций. С помощью платформ можно планировать покупки и продажи, вести переговоры, осуществлять инвестиции, а также контролировать финансовые процессы. Такой инструмент работает по принципу открытой или закрытой платформы В2В, и его использование осуществляется с помощью соответствующего программного обеспечения или любого веб-браузера.
Предлагается использование именно Двусторонней (многосторонней) транзакционной платформы закрытого типа. На первом этапе количество пользователей ограничено ввиду отсутствия достаточного количества подготовленного и обученного персонала для ввода данных и анализа. На втором этапе внедрения таких платформ, когда количество обученного персонала увеличится (подготовка новых кадров, профессиональная переподготовка), такие платформы, возможно, станут более открытыми, но с соблюдением всех мер по сохранению данных путем ранжирования и ограничения доступа участников — пользователей.
Принцип ввода данных, при использовании существующих, единых, форматов, используемых сметными программами [11], позволит в короткое время «организовать» ввод и извлечение данных в автоматическом режиме в базу данных Двусторонней (многосторонней) транзакционной платформы закрытого типа. На Рисунке 1 и рисунке 2 приведены примеры того, какие данные могут использоваться для Извлечения, с целью их последующей Трансформации, Преобразования и Анализа программными
комплексами с помощью подхода ELT (Extraction — извлечение, Loading загрузка, Transformation — преобразование).
Рис. 1 — Данные о стоимости по проекту До недавнего времени традиционным подходом для хранилищ данных и аналитики был подход ETL (Extraction — извлечение, Transformation -преобразование, Loading — загрузка). При таком подходе требуется взаимодействие всех участников процесса извлечения и обработки информации, формирования баз данных при ограниченной емкости
хранилищ данных. Аналитики и пользователи не имели возможности простого доступа к информации, пока не будет завершен весь процесс ЕТЬ, что значительно увеличивало время до принятия необходимых организационно-технологических решений.
Источник: cyberleninka.ru
Разбираемся, что такое ETL, на примере парсера текстового файла
Сложные ETL-процессы, как правило, разбиваются на цепочку более простых.
Рассмотрим частный случай импорта данных из внешнего файла. Например, из Excel или csv.
Образец файла с исходными данными (протокол проведенных соревнований по плаванию):
Модель данных в целевой БД:
Загрузка данных в модель выше довольно сложная задача, учитывая, что исходные данные находятся в неструктурированном виде. В данной статье мы ограничимся подготовкой последних для загрузки в стейджинговую (т.е. промежуточную с точки зрения целевой модели) таблицу.
Промежуточная таблица в данном случае позволяет сконцентрироваться на процессе первоначальной подготовки данных и переносе их из внешнего неструктурированного источника (см. скриншот выше) во внутренний, очищенный и удобный с точки зрения БД для последующей работы формат.
Архитектура ETL (мы концентрируемся на ETL 1):
Для определения возможной схемы стейджинговой таблицы проведем первичный data profiling, определив:
- метрики исходных данных (список атрибутов, их типы, длину строковых полей, null/not null, потенциальный ключ, степень соответствия целевым атрибутам и пр);
- аномалии (грязные или отсутствующие данные, множественные значения и пр);
- возможный способ осуществления парсинга.
Требования к Staging-ETL (v1.0):
Глядя на исходные данные, приходим к выводу что в них присутствуют множественные значения. Мы не будем готовы загрузить такие данные в целевые таблицы (например, строки Фамилия+Имя, Клуб+Город, Группа+Длина дистанции+Стиль плавания).
Нужно детальное сравнение исходных данных с целевыми атрибутами и уточнение требований.
Уточненные требования:
Создадим рабочую таблицу для загрузки “сырых” исходных данных.
Фактически, мы будем создавать ELT (Extract-Load-Transform) а не ETL (Extract-Transform-Load) код. Другими словами, все трансформации и очистку данных мы будем делать ПОСЛЕ загрузки сырых данных в БД.
Будем полагать исходные данные находятся в текстовом файле формата csv.
Если, изначально данные находятся в Excel, конверсию в csv можно предварительно сделать программно или средствами самого Excel.
Грузим данные в рабочую таблицу:
Commands completed successfully.
(1470 rows affected)
(5 rows affected)
Альтернативно, ту же задачу можно было сделать с помощью мастера импорта данных или с помощью
Попробуем решить задачу одним запросом SELECT, разбив его на ряд CTE-модулей
(30 rows affected)
Внимательно проанализировав полученный результат, мы находим признак грязных данных (Будник Виктория в названии группы).
После выяснения причины оказывается, в исходных данных нарушен общий порядок “Название группы-Строка заголовка-Данные” (см. ниже фрагмент исходного файла). В данном случае ниже названия группы “Мальчики 2007г.р. и моложе — 50 на спине” отсутствует строка заголовка, а сразу идут результатов спортсменов, поэтому название группы находится не как обычно на 2 строки выше первого места, а на одну строку.
Нужна доработка кода выше под эту особенность и строго продуманный подход к тому, как мы будем парсить исходные данные. Попытка выработать этот самый строгий подход дана в размеченном скриншоте ниже.
Предварительный анализ «сырых» данных
(30 rows affected)
Определение списка соревновательных дней:
(2 rows affected)
Определение места проведения соревнования:
«Разворот» строк с найденными значениями в столбцы:
(100 rows affected)
Мы приблизились к выполнению требований.
Теперь сконцентрируемся на разбиении множественных атрибутов на атомарные значения.
Попробуем разбить Фамилию Имя:
Проверим корректно ли происходит разбиение на всем множестве записей (у всех таких записей значение в колонке F1 не пусто):
(324 rows affected)
(106 rows affected)
Время на data profiling было потрачено не зря! Порой имя спортсмена содержит символы (в/к), что, вероятнее всего, означает что он участвовал в соревновании вне конкурса.
Для того чтобы загрузить лишь имя спортсмена, в поле first_name нужно взять первое слово (в случае если их несколько):
(99 rows affected)
Сделаем подобные проверки для каждого поля. Подкорректируем формулы извлечения атрибутов для всех имеющихся проблем.
Заметим, помимо прочего, что у всех атрибутов могут быть пробелы как До, так и После их значения. Для их удаления будем применять ltrim(rtrim(value)).
Все это — data profiling и меры по очистке данных!
Похоже, что мы не можем исправить все возможные проблемы.
Высокий процент грязных данных после работы парсера говорит как о плохом качестве исходных данных, так и о плохой работе ETL-специалиста в части его подготовительной (исследовательской) работы перед написанием ETL.
Еще одна проблема – результаты заплывов (время). Строки не находятся в едином формате и, соответственно, не конвертируются в тип time(2).
Примеры значений в этом поле: ‘44.1’; ‘42,35’; ‘DSQ’; ‘1.09,98’, ’59’.
Среди значений времени присутствуют строки, дробная часть может отсутствовать, а может быть отделена от целой как точкой, так и запятой.
Будем разбивать значения этого исходного поля на два новых: результат-время и результат-дисквалификация. При этом само поле результат-время разложим на компоненты hh-mm-ss-ms с намерением впоследствии применить функцию timefromparts(hh, mm, ss, ms, precision) и тем самым сконвертировать результат из типа varchar к типу time(2).
(12 rows affected)
Теперь соберем все вместе.
Окончательный вариант:
(2 rows affected)
В будущем, запрос выше можно оформить в хранимую процедуру или табличную функцию и использовать как отдельный компонент в «большом» ETL-процессе.
Используя язык SQL, мы создали основу ELT-процесса парсинга полуструктурированных данных.
Заметим, что код выше не является идеальным. Это скорее Rhttps://issoft.by/blog/razbiraemsya-chto-takoe-etl-na-primere-par/» target=»_blank»]issoft.by[/mask_link]