Тест: Чи зможете ви створити сервіс на основі відкритих даних?

За декілька останніх років бізнес та громадськість створили десятки ІТ-продуктів на основі відкритих даних. Найбільш знаними прикладами є OpenDataBot, YouControl, EasyWay, bihus.декларації, DOZORRO та інші. Їх сумарна щомісячна аудиторія оцінюється від 1.4 до 4.9 млн користувачів.

Органи влади також все частіше починають упроваджувати подібні застосунки. Однак великим викликом таких проєктів є ефективність, сталість та антикорупційний вплив.

Для того, щоб підвищити спроможність державного сектору до створення ІТ-продуктів з використанням відкритих даних, була започаткована програма Open Data Mastermind. Вона допоможе держслужбовцям перетворити ідеї сервісів на готові до втілення концепції та прототипи. Проєкти, що будуть розроблені у межах програми, зможуть запобігати корупції, підвищувати ефективність і прозорість органів влади, допомагати у прийнятті управлінських рішень.

Дізнатися більше про умови участі можна за посиланням — https://odm.data.gov.ua/. Реєстрація триває до 25 січня 2021 року. Програма реалізується USAID/UK aid проєктом «Прозорість та підзвітність у державному управлінні та послугах/TAPAS» спільно з Міністерством цифрової трансформації України. Партнер проєкту — 1991 Open Data Incubator.

Цей тест допоможе розібратися, наскільки ви володієте необхідними теоретичними знаннями та практичними навичками для створення застосунків на основі відкритих даних. Тест орієнтований переважно на державних службовців. Однак він стане також цікавим для представників бізнесу та громадськості.

1. Перший крок у створенні будь-якого IT-продукту — це визначення проблеми, яку він вирішуватиме. З якими викликами допомагають впоратись сервіси на основі відкритих даних?

Побудувати красиві графіки, діаграми та карти.

Отримати відкат з тендеру та полетіти у відпустку на Занзібар. ІТ — це дороге задоволення!

Забезпечити прозорість та підзвітність влади, посилити довіру громадян.

Та кому потрібні ці сервіси..? Краще створити канал в TikTok!

Правильно! Неправильно!

Сервіси на основі відкритих даних допомагають органам влади бути прозорими й підзвітними перед бізнесом та громадськістю, що у свою чергу, допомагає боротися з корупцією і посилювати довіру громадян.

2. Проблему визначили — тепер дані! Як потрібно оприлюднювати датасети, на основі яких працюватиме сервіс?

У формі інтерактивних таблиць, графіків, карт, дашбордів. Це зручно і наочно.

Доступ до будь-яких даних лише через електронну ідентифікацію. Зайві люди не мають їх бачити.

У формі платних витягів для того, щоб відбити інвестиції вкладені в ІТ-інфраструктуру.

У форматах електронних таблиць (XLS, XLSX, ODS), відкритих машиночитаних форматах (CSV, JSON, XML). Також можна створити відкрите API.

Правильно! Неправильно!

Відповідно до статті 10-1 Закону України «Про доступ до публічної інформації» відкриті дані мають бути машиночитаними. Тому для їхньої публікації слід використовувати формати електронних таблиць (XLS, XLSX, ODS), відкриті машиночитані формати (CSV, JSON, XML) або API. Завдяки цьому бізнес і громадськість зможуть легко включити датасети до власних вебсервісів, застосунків для смартфонів, дашбордів та інших ІТ-продуктів.

3. Гюстоне, у нас проблеми! Датасет містить брудні дані. Наприклад, дати записуються у різному форматі: 10.11.2020, 10/11/2020, 10 жовтня 2020. Однакові категорії позначаються різними назвами: «Виконано», «Виконаний», «Викон.». А ще купа інших негараздів. Яку функціональність потрібно запланувати в сервісі, щоб це більше не повторилося?

Автоматична валідація значень на основі попередньо визначених варіантів та логічних правил введення.

Алгоритми машинного навчання для виявлення помилок.

Окрема функціональність для модераторів, що перевірятимуть та підтверджуватимуть правильність введення даних.

Я довіряю своїм колегам. Вони ніколи не помиляються!

Правильно! Неправильно!

Автоматична валідація значень на основі попередньо визначених варіантів та логічних правил введення є найбільш ефективним рішенням. До речі, її можна легко налаштувати в Microsoft Excel, Google Таблицях або Libre/OpenOffice Calc.

4. Тепер переходимо до аналізу бізнес-процесів та створення моделі даних. Що ви зробите для того, щоб сервіс працював ефективно?

Нічого не робитиму! Ну і що, що все заплутано, і ніхто нічого не розуміє. Подивіться, десятки років так живемо — і все працює.

Створю чіткі вимоги до збору, обробки, зберігання та обміну даними. Позбудуся дублювання інформації. Використаю міжнародні стандарти для моделювання даних.

Подивлюсь, як зроблено в інших та попрошу розробників зробити так само. Для чого винаходити велосипед!

Що таке бізнес-аналіз і при чому тут моделі даних?

Правильно! Неправильно!

Варто впорядкувати процеси збору, обробки, зберігання та обміну даними. Інформація не має надлишково дубюватися. А для моделювання даних потрібно використовувати міжнародні стандарти. Наприклад, Базові словники ISA, OCDS, Popolo, Akoma Ntoso, GTFS, SDMX, DCMI Metadata Terms, Schema.org та інші.

5. Ймовірно, ваш сервіс буде працювати з інформацією про компанії. Час визначити, які дані про юридичних осіб доречно першочергово зберігати в базі даних?

Код ЄДРПОУ та найменування

Код ЄДРПОУ, найменування, дату державної реєстрації, види господарської діяльності

Повне та коротке найменування

Всю можливу інформацію, починаючи від найменування й завершуючи іменами керівників та бенефіціарів

Правильно! Неправильно!

Першочергово необхідно зберігати код ЄДРПОУ та найменування компаній. Найменування можна використати для зручного пошуку. А завдяки коду ЄДРПОУ легко приєднати будь-яку інформацію із зовнішніх реєстрів, зокрема розширені дані про юридичну особу з ЄДР.

6. Настав час розібратися, що ж робити з персональними даними?

Персональні дані не можна оприлюднювати у жодному випадку

Персональні дані можна надавати у формі витягів їх володільцям.

Персональні дані можна оприлюднювати за умови знеособлення або коли це безпосередньо передбачено законодавством.

Принцип відкритості за замовчуванням (open by default) передбачає оприлюднення всіх даних, у тому числі й персональних.

Правильно! Неправильно!

Відповідно до  статті 10-1 Закону України «Про доступ до публічної інформації». персональні дані можна оприлюднювати в датасетах за умови знеособлення або коли це безпосередньо передбачено законодавством.

7. Переходимо до прототипування функціональності. Важливо, щоб електронний сервіс допомагав боротися з корупцією. Наприклад, виявляв підозрілі записи або шахрайство. Завдяки яким технологіям це найкраще реалізувати?

Розподілена база даних блокчейн

Подача скарг від користувачів

Моніторинг в реальному часі

Система ризик-індикаторів на основі логічних правил

Правильно! Неправильно!

Система ризик-індикаторів на основі логічних правил — це найефективніший спосіб виявляти підозрілі записи або шахрайство. Цей підхід успішно працює в багатьох сервісах, наприклад, YouControl, DOZORRO, bihus.декларації, UrbanData.

8. Час додати трохи штучного інтелекту до вашого сервісу! Однак для цього потрібно вибрати підходящий алгоритм. Що з переліченого належить до методів машинного навчання?

Випадковий ліс

Наївний ліс

Лінійний ліс

Ліс з пітонами

Правильно! Неправильно!

Алгоритмом машинного навчання є випадковий ліс (random forest). У спрощеному розумінні він допомагає здійснити класифікацію шляхом побудови численних дерев прийняття рішень.

9. Фінальна перевірка! Ваш сервіс повинен мати потужний та стійкий антикорупційний вплив. Що з переліченого є важливим для цього?

Активна співпраця з бізнесом та громадськістю, врахування їхньої думки стосовно покращення якості даних.

Аналіз наборів даних з метою прийняття обґрунтованих управлінських рішень, що допомагають запобігати корупції.

Проведення конкурсів, хакатонів та інших заходів, щоб заохотити створення антикорупційних сервісів та розслідувань на основі даних

Все з переліченого.

Правильно! Неправильно!

Важливими є всі три компоненти: співпраця з бізнесом та громадськістю та врахування їх думки стосовно покращення якості даних; аналіз даних і прийняття обґрунтуваних рішень для запобігання корупції (так званий evidence-based policy-making for corruption prevention); проведення заходів із заохочення використання даних, окрім того, хакатони та конкурси – важливе джерело інновацій.

10. Настав час презентації сервісу! Ваша аудиторія як ніколи серйозна — представники бізнесу, журналісти, колеги з інших органів влади. Для того, щоб їх вразити, ви вирішили розповісти про OSINT. Що ж це таке?

Здатність комп’ютера вирішувати завдання, які зазвичай є типовими для людини.

Технологія збору, зберігання, аналізу та візуалізації даних організації, що використовується з метою ухвалення ефективних управлінських рішень.

Концепція, розвідки на основі відкритих джерел, що використовуються у військовій, політичній та економічній сферах.

Ніколи не готуюся до презентацій. Експромт — моє друге ім’я.

Правильно! Неправильно!

Open Source Intelligence або скорочено OSINT — це розвідка на основі відкритих джерел. Вона використовується для виявлення корупції та інших зловживань. Прикладом OSINT є журналістські розслідування на основі відкритих даних.

ТЕСТ. Чи зможете ви створити сервіс на основі відкритих даних?

Джун

Ви — джун або молодший спеціаліст! Поки що вам ще рано довіряти втілення складних проєктів. Натомість ви можете стати частиною команди та ефективно зарекомендувати себе в ній. Пам'ятайте, наполегливе навчання та менторська підтримка одного дня приведуть вас до успіху.

Програма Open Data Mastermind дозволить вам розвинути професійні компетенції для ефективної роботи з відкритими даними. Учасників чекає безліч лекцій, воркшопів та розбір кейсів з найкращими практиками. Приєднатися до програми можуть працівники органів державної влади та місцевого самоврядування незалежно від посади. А головними умовами участі є наявність ідеї ІТ-продукту на основі відкритих даних та команди щонайменше з трьох колег. Встигніть зареєструватися до 25 січня.

Сіньйор

Ви — сіньор або старший спеціаліст! Вас не лякають складні завдання, але ще є куди рости. Розширюйте світогляд, відпрацьовуйте лідерські навички, шукайте нестандартні підходи до розкриття цінності даних.

Програма Open Data Mastermind дозволить вам стати профі з використання відкритих даних. Попереду чекає тримісячна менторська підтримка із залученням міжнародних та українських експертів топрівня. Приєднатися до програми можуть працівники органів державної влади та місцевого самоврядування незалежно від посади. А головними умовами участі є наявність ідеї ІТ-продукту на основі відкритих даних та команди щонайменше з трьох колег. Встигніть зареєструватися до 25 січня.

Архітектор

Ви — архітектор! За вашими плечима достатньо досвіду, щоб реалізувати будь-який задум на основі відкритих даних. Ви досконало розумієте можливості й обмеження технологій, вмієте конвертувати відкриті дані в суспільні зміни.

Програма Open Data Mastermind дозволить вам отримати зворотний зв'язок стосовно власних ідей та напрацювати конкретні шляхи їх втілення в життя. Приєднатися до програми можуть працівники органів державної влади та місцевого самоврядування незалежно від посади. А головними умовами участі є наявність ідеї ІТ-продукту на основі відкритих даних та команди щонайменше з трьох колег. Встигніть зареєструватися до 25 січня.

Поширити результат:

Facebook Twitter

Публікацію створено у межах проєкту USAID/UK aid «Прозорість та підзвітність у державному управлінні та послугах/TAPAS», що фінансується урядом США через Агентство США з міжнародного розвитку (USAID) та урядом Великої Британії через UK aid. Думки та погляди, висловлені у матеріалі, не обов’язково відображають погляди Агентства USAID, Уряду США та Уряду Великої Британії.

Автор тесту: Богдан Тишкевич

📱 Читайте Na chasi у Facebook і Twitter, підписуйтесь на канал у Telegram.