2. Головна
  3. АРХІВ НОМЕРІВ
  4. 2022 рік
  5. Том 44, № 6 (2022)
  6. c. 69-85

Підвищення ефективності формування сцен доповненої реальності за допомогою нейронних мереж

І.В. Жабокрицький, аспірант

Національний технічний університет України
«Київський політехнічний інститут ім. Ігоря Сікорського»
Україна, 03056, Київ, пр-т Перемоги, 37
тел. +38 073 420 06 04, e-mail: Ця електронна адреса захищена від спам-ботів. Вам необхідно увімкнути JavaScript, щоб побачити її.

Èlektron. model. 2022, 44(6):69-85
https://doi.org/10.15407/emodel.44.06.069

АНОТАЦІЯ

На черговій хвилі індустріального прогресу технологій значно збільшилось застосуван­ня та інтеграція в мультигалузевий простір засобів візуалізації та віртуалізації. Тех­нологія створення додаткових візуальних образів наразі застосовується в медичній галузі, освіті, індустріально-промисловій галузі, в рекламі і торгівлі, в сфері моделювання та проектування, в науковій сфері, культурно-розважальній галузі, тощо. Наведено аналіз сучасного стану використання засобів доповненої реальності (Augmented Reality (AR)). Досліджено потенційні можливості застосування для комп’ютингового супроводу AR-інструментів обчислювальних потужностей адаптивних нейронних мереж. Сформовано пропозиції щодо підвищення ефективності використання засобів нейромереж у функціо­нуванні системи AR. Проблеми оптимізації витратності цифро-програмної потужності пропонується вирішувати засобами комбіновано-гібридної RNNCNN нейромережі та розробленого алгоритму оргінізації її функціонування.

КЛЮЧОВІ СЛОВА:

нейромережний, комп’ютінг, AR-технологія, AR+нейромережа, рекурентно-згорткова.

СПИСОК ЛІТЕРАТУРИ

  1. Tolsá-Caballero N., Tsay, C. J. Blinded by our sight: Understanding the prominence of visual information in judgments of competence and performance // Current Opinion in Psychology, 2022, 43, 219—225. DOI.org/10.1016/j.copsyc.2021.07.003.
  2. Liu Z.W., Tsay M.Y. Historical Overview of Data Visualization and its Attempts and Reflections in LIS // 2022 3rd International Conference on Mental Health, Education and Human Development (MHEHD 2022). Atlantis Press, 2022, 930—942. DOI: doi.org/10.2991/ k.220704.168.
  3. Veglis A. Interactive Data Visualization // In: Encyclopedia of Big Data, Cham: Springer International Publishing, 2022, 580—583. DOI: doi.org/10.1007/978-3-319-32010-6_116.
  4. Park S, Gil-Garcia J. R. Open data innovation: Visualizations and process redesign as a way to bridge the transparency-accountability gap // Government Information Quarterly, 2022, 39(1), 101—456. DOI: doi.org/10.1016/j.giq.2020.101—456.
  5. Flavián C., Barta S. Augmented reality // Encyclopedia of Tourism Management and Marketing, Edward Elgar Publishing, 2022, 208—210. DOI: doi.org/10.4337/9781800377486.
  6. Arena F., Collotta M., Pau G., Termine F. An Overview of Augmented Reality // Compu­ters, 2022, 11(2), 28. DOI: doi.org/10.3390/computers11020028.
  7. Chiang F. K., Shang X., Qiao L. Augmented reality in vocational training: A systematic review of research and applications// Computers in Human Behavior, 2022, 129, 107—125. DOI: doi.org/10.1016/j.chb.2021.107125.
  8. Hajirasouli A. et al. Augmented reality in design and construction: thematic analysis and conceptual frameworks. Construction Innovation (ahead-of-print), 2022. DOI: doi.org/ 1108/ CI-01-2022-0007.
  9. Kocer E., Ko T. W., Behler J. Neural network potentials: A concise overview of methods // Annual Review of Physical Chemistry, 2022, 73, 163—186. DOI: doi.org/10.1146/annurev-physchem-082720-034254.
  10. Cuomo S. et al. Scientific Machine Learning through Physics-Informed Neural Networks: Where we are and What's next. arXiv preprint arXiv:2201.05624, 2022. DOI: doi.org/ 48550/ arXiv.2201.05624.
  11. Huang C. et al. Prospects and applications of photonic neural networks. Advances in Physics: X, 2022, 7(1), 1981155. DOI: doi.org/10.1080/23746149.2021.1981155.
  12. Palanisamy T., Sadayan G., Pathinetampadiyan N. Neural network–based leaf classification using machine learning. Concurrency and Computation // Practice and Experience, 2022, 34(8), e5366. DOI: doi.org/10.1002/cpe.5366.
  13. Стратегія розвитку сфери інноваційної діяльності на період до 2030 року. Роз­порядження Кабінету Міністрів України від 10 липня 2019 р. № 526-р «Про схвалення Стратегії розвитку сфери інноваційної діяльності на період до 2030 року». Режим доступу: zakon.rada.gov.ua/laws/show/526-2019-%D1%80#Text.
  14. Morimoto T. et al. XR (extended reality: virtual reality, augmented reality, mixed reality) technology in spine medicine: status quo and quo vadis // Journal of Clinical Medicine, 2022, 11(2), 470 р. DOI: doi.org/10.3390/jcm11020470.
  15. Rauschnabel P. A. et al. What is augmented reality marketing? Its definition, complexity, and future // Journal of Business Research, 2022, 142, 1140—1150. DOI: doi.org/10.1016/ jbusres.2021.12.084.
  16. Han X., Chen Y., Feng Q., Luo, H. Augmented Reality in Professional Training: A Review of the Literature from 2001 to 2020 // Applied Sciences, 2022, 12(3), 10—24. DOI: doi.org/ 3390/app12031024.
  17. Graham M., Zook M., Boulton A. Augmented reality in urban places: contested content and the duplicity of code. Machine Learning and the City // Applications in Architecture and Urban Design, 2022, 341—366. DOI: doi.org/10.1002/9781119815075.ch27.
  18. Gatter S., Hüttl-Maack V., Rauschnabel P.A. Can augmented reality satisfy consumers' need for touch? // Psychology & Marketing, 2022, 39(3), 508—523. DOI: doi.org/10.1002/ mar.21618.
  19. Fombona-Pascual A., Fombona J., Vicente R. Augmented Reality, a Review of a Way to Represent and Manipulate 3D Chemical Structures // Journal of chemical information and modeling, 2022, 62(8), 1863—1872. DOI: doi.org/10.1021/acs.jcim.1c01255.
  20. Trunfio M. et al. Innovating the cultural heritage museum service model through virtual reality and augmented reality: The effects on the overall visitor experience and satisfaction // Journal of Heritage Tourism, 2022, 17(1), 1—19. DOI: doi.org/10.1080/1743873X.2020. 1850742.
  21. Papakostas C. et al. User acceptance of augmented reality welding simulator in engineering training // Education and Information Technologies, 2022, 27(1), 791—817. DOI: doi.org/ 10.1007/s10639-020-10418-7.
  22. Ariano R. et al. Smartphone-based augmented reality for end-user creation of home automations // Behaviour & Information Technology, 2022, 1—17. DOI: doi.org/10.1080/ 2021.2017482.
  23. Marto A., Gonçalves A. Augmented Reality Games and Presence: A Systematic Review // Journal of Imaging, 2022, 8(4), 91. DOI: doi.org/10.3390/jimaging8040091.
  24. Rojas-Sánchez M. A., Palos-Sánchez P. R., Folgado-Fernández J. A. Systematic literature review and bibliometric analysis on virtual reality and education // Education and Information Technologies, 2022, 1—38. DOI: doi.org/10.1007/s10639-022-11167-5.
  25. VOSviewer - Visualizing scientific landscapes. Software tool for constructing and visuali­zing bibliometric networks. vosviewer.com.
  26. Gao H., Ding X. The research landscape on the artificial intelligence: a bibliometric analysis of recent 20 years // Multimedia Tools and Applications, 2022, 81(9), 12973—13001. DOI: doi.org/10.1007/s11042-022-12208-4.
  27. Rong X., Li A. A Review of Research on Artificial Intelligence Life Cycle Based on Bibliometrics // Frontiers in Business, Economics and Management, 2022, 4(2), 129—137. DOI: doi.org/10.54097/fbem.v4i2.874.
  28. Giannopulu I. et al. Synchronised neural signature of creative mental imagery in reality and augmented reality // Heliyon, 2022, 8(3), e09017. DOI: doi.org/10.1016/j.heliyon.2022.e09017.
  29. Ouali I., Halima M. B., Wali A. Text Detection and Recognition Using Augmented Reality and Deep Learning // International Conference on Advanced Information Networking and Applications, Springer, Cham, 2022, 13—23. DOI: doi.org/10.1007/978-3-030-99584-3_2.
  30. Estrad J. et al. Deep-Learning-Incorporated Augmented Reality Application for Engineering Lab Training // Applied Sciences, 2022, 12(10), 51—59. DOI: doi.org/10.3390/
  31. Lv Z. et al. Memory-Augmented Neural Networks Based Dynamic Complex Image Segmentation in Digital Twins for Self-Driving Vehicle // Pattern Recognition, 2022, 108956. DOI: doi.org/10.1016/j.patcog.2022.108956.
  32. Shi Y. et al. Synergistic Digital Twin and Holographic Augmented-Reality-Guided Percutaneous Puncture of Respiratory Liver Tumor // IEEE Transactions on Human-Machine Systems, 2022. DOI: doi.org/10.1109/THMS.2022.3185089.
  33. Liu Q. Aerobics posture recognition based on neural network and sensors // Neural Computing and Applications, 2022, 34(5), 3337—3348. DOI: doi.org/10.1007/s00521-020-05632-w.
  34. Gupta N., Khan N. M. Efficient and Scalable Object Localization in 3D on Mobile Device. // Journal of Imaging, 2022, 8(7), 188. DOI: doi.org/10.3390/jimaging8070188.
  35. Alhejri A. et al. Reconstructing real object appearance with virtual materials using mobile augmented reality. Computers & Graphics, 2022. DOI: doi.org/10.1016/j.cag.2022.08.001.
  36. Wang, D. et al. Vision-Based Productivity Analysis of Cable Crane Transportation Using Augmented Reality–Based Synthetic Image // Journal of Computing in Civil Engineering, 2022, 36(1), 04021030. ascelibrary.org/doi/abs/10.1061/%28ASCE%29CP.1943-5487. 0000994.
  37. Ziyadinov V., Tereshonok M. Noise immunity and robustness study of image recognition using a convolutional neural network // Sensors, 2022, 22(3), 1241. DOI: doi.org/10.3390/ s22031241.
  38. Xu J. Sequence Analysis and Feature Extraction of Sports Images Using Recurrent Neural Network. Mobile Information Systems, 2022. DOI: doi.org/10.1155/2022/2845115.
  39. Li Y. Research and application of deep learning in image recognition. // 2022 IEEE 2nd International Conference on Power, Electronics and Computer Applications (ICPECA), IEEE, 2022, 994-999. DOI: doi.org/10.1109/ICPECA53709.2022.9718847.
  40. Gill H. S. et al. Multi-model CNN-RNN-LSTM based fruit recognition and classification // Intelligent Automation & Soft Computing, 2022, 33(1), 637—650. DOI: doi.org/10.32604/ iasc.2022.022589.
  41. Bai L., Zhao T., Xiu X. Exploration of computer vision and image processing technology based on OpenCV. // 2022 International Seminar on Computer Science and Engineering Technology (SCSET), IEEE, 2022, 145—147. DOI: doi.org/10.1109/SCSET55041.2022. 00042.

ЖАБОКРИЦЬКИЙ Ігор Вадимович, аспірант кафедри обчислювальної техніки Націо­нального  технічного  університету  України  «Київський  політехнічний  інститут ім. Ігоря Сікорського», який закінчив у 2020 р. Область наукових досліджень — ней­ронні мережі.

Повний текст: PDF