РОЗРОБКА СИСТЕМИ ГЕНЕРАЦІЇ НА ОСНОВІ АЛГОРИТМУ ШТУЧНОГО ІНТЕЛЕКТУ. ЧАСТИНА 1
DOI:
https://doi.org/10.20535/1970.65(1).2023.283455Ключові слова:
генерація, аналіз, препроцесинг, математичний алгоритм, нейронна мережа, машинне навчанняАнотація
Розвиток сучасних інструментів і методів штучного інтелекту забезпечує широкий функціонал у різних наукових і прикладних сферах та надає можливість досягати нових результатів. Постає питання щодо застосування елементів штучного інтелекту для знаходження нових поєднань і сполучень шляхом генерації. В якості цільового результату розглядається застосування нейронної мережі для формування нових, унікальних рецептів харчової суміші, з метою визначення ефективності впровадження та використання методів і моделей штучного інтелекту. Для вирішення задачі генерації поєднань складових рецептів, у роботі розглянуто всі етапи технологічного процесу від збору, аналізу, препроцесингу даних до вибору математичного алгоритму та моделювання навченої системи. Кожен з етапів роботи містить у собі повний опис кроків, необхідних для вирішення поставленого завдання. Алгоритм машинного навчання має можливість обробляти тисячі прикладів для знаходження певної закономірності поєднань інгредієнтів. І значна увага приділяється формуванню тренувального датасету.
На етапі збору даних розглядаються особливості та основні проблеми, що виникають при роботі парсера. Важливою частиною є обхід захисних технологій при запитах до інтернет-ресурсів та зчитування DOM-дерева з коду HTML сторінки. Описано налаштування алгоритму автоматизованого збору інформації. Для розробки парсеру в роботі використовуються інструменти для швидкого розгортання проєкту та ефективного керування додатками Docker та Docker Compose. Окремим етапом є побудова датасету та аналіз даних для моделі нейронної мережі, який полягає у проведенні препроцесінгу та декодуванні і композиції у табличний вигляд. При автоматизованому процесі збору даних формується інформація зі значними шумами та зайвими елементами. Значна увага приділяється саме процесу очищення та підготовки корисної інформації, адже саме від чистоти даних та їх повноти в більшості випадків залежить якість математичної моделі та процесу моделювання для знаходження нових закономірностей та поєднань.
Посилання
D. Foster, A. O. M. C. Safari, Generative deep learning. O’Reilly Media, Inc. 2022.
T. Sousa, J. Correia, V. Pereira, M. Rocha, “Generative deep learning for targeted compound de-sign”, J. Chem. Inf. Model, vol. 61, no. 11, pp. 5343–5361, 2021. DOI: 10.1021/acs.jcim.0c01496
A. Creswell, T. White [et. al.], “Generative Adversarial Networks: An Overview”, IEEE Signal Pro-cessing Magazine, vol. 35, no. 1, pp. 53-65, 2018. [Online]. Available: https://arxiv.org/pdf/1710.07035.pdf
S. Raschka, Python machine learning. Packt Publishing ltd., 2015
A. Bhat, Data Collection Methods: Sources & Examples. [Online]. Available: https://www.questionpro.com/blog/data-collection-methods/
S. Gupta, G. Kaiser, D. Neistadt, P. Grimm, “DOM-based Content Extraction of HTML Documents”, in Proceedings of the 12th international conference on World Wide Web, pp. 207-217, 2003. DOI: 10.1145/775152.775182
What Is An API (Application Programming Inter-face)? [Online]. Available: https://aws.amazon.com/what-is/api/?nc1=h_ls
Docker overview. [Online]. Available: https://docs.docker.com/get-started/overview/
M. Walker, Python Data Cleaning Cookbook: Modern techniques and Python tools to detect and remove dirty data and extract key insights, 1st Edition. Packt Publishing, 2020
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2023 CC BY 4.0
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Авторське право на публікацію залишається за авторами.
Автори можуть використовувати власні матеріали в інших публікаціях за умови посилання на збірник наукових праць "Вісник Київського політехнічного інституту. Серія ПРИЛАДОБУДУВАННЯ" як на перше місце видання та на Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» як на видавця.
Автори публікують свої статті в збірнику на умовах ліцензії Creative Commons:
- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії CC BY 4.0, яка дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на динаміці цитування опублікованої роботи.
Видавець (КПІ ім. Ігоря Сікорського) має право за будь-якого використання цього видання зазначати своє ім'я або вимагати такого зазначення.
Редакційна колегія залишає за собою право розміщувати опубліковані в збірнику статті в різних інформаційних базах для надання відкритого доступу до матеріалів з метою популяризації наукових досліджень та підвищення цитованості авторів.
