Сучасний стан та перспективи підвищення функціональності доповненої реальності за допомогою нейронних мереж

І.В. Жабокрицький, аспірант
Національний технічний університет України
«Київський політехнічний інститут ім. Ігоря Сікорського»
Україна, 03056, Київ, пр-т Перемоги, 37
тел. +38 073 420 06 04, e-mail: Ця електронна адреса захищена від спам-ботів. Вам необхідно увімкнути JavaScript, щоб побачити її.

Èlektron. model. 2022, 44(5):73-89

https://doi.org/10.15407/emodel.44.05.073

АНОТАЦІЯ

Динаміка розвитку сучасного суспільства та стрімкий прорив технологічної складової зумовили необхідність взаємодії із швидкозмінною та клієнто-орієнтованою інформа­цією в режимі реального часу. Така потреба задовольняється за допомогою використання технології доповненої реальності, яка надає користувачам можливість взає­мо­діяти у реальному часі як із реальним фізичним, так із віртуальним цифровим світом. Стрімка діджиталізація людського існування спровокувала експоненціальний зріст кількості іс­нуючих даних, поставивши перед науковою спільнотою нові завдання. Описано концепцію доповненої та змішаної реальності, а також концепцію технології глибинного навчання (ГН). На основі огляду літератури проаналізовано дослідження та інноваційні про­грами і системи з використанням доповненної реальності ((AR) Augmented Reality) у поєднанні з ГН. Проаналізовано відповідні дослідження щодо розробки додатків AR та систем, що використовують ці технології. Надано пропозиції щодо майбутніх досліджень.

КЛЮЧОВІ СЛОВА:

доповнена реальність, машинне навчання, глибинне навчання, нейронні мережі, віртуальна реальність.

СПИСОК ЛІТЕРАТУРИ

1. Dunleavy M. Design principles for augmented reality learning // TechTrends, 2014, 58 (1), рр. 28-34.
2. Enyedy N., Danish J.A., DeLiema D. Constructing liminal blends in a collaborative augmented-reality learning environment // J. Comput.-Support. Collaborat. Learn, 2015, 10 (1), рр. 7-34.
3. Lee K. Augmented reality in education and training // TechTrends, 2012, 56 (2), рр. 13–21.
4. Chen P., Liu X., Cheng W., Huang R. A review of using augmented reality in education from 2011 to 2016 // Innovations in smart learning, 2017, pp. 13–18.
5. Di Serio Á., Ibáñez M.B., Kloos C.D. Impact of an augmented reality system on students’ motivation for a visual art course // Comput. Educ., 2013, 68, рр. 586–596.
6. Wu J., Ma L., Hu X. Delving deeper into convolutional neural networksfor camera relocalization // IEEE International Conference on Robotics and Automation (ICRA), 2017, pp. 5644–5651.
7. Azuma R.T. A survey of augmented reality // Teleop. Virt. Environ., 1997, 6 (4), рр. 355–
8. Billinghurst M., Clark A., Lee G. et al. A survey of augmented reality // Found. Trends® Human–Comput. Interact., 2015, 8 (2–3), рр. 73–272.
9. Furht B. Handbook of Augmented Reality. Springer Science & Business Media, 2011.
10. Azuma R.T., Baillot Y., Behringer R. et al. Recent advances in augmented reality // IEEE Comput. Graph. Appl., 2001, 21 (6), pp. 34–47.
11. Carmigniani J., Furht B., Anisetti M. et al. Augmented reality technologies, systems and applications// Multimed. Tools Appl., 2011, 51 (1), pp. 341–377.
12. Amin D., Govilkar S. Comparative study of augmented reality SDKs // J. Comput. Sci. Appl., 2015, 5 (1), pp. 11–26.
13. Kim H., Matuszka T., Kim J.-I. et al. Ontology-based mobile augmented reality in cultural heritage sites: information modeling and user study // Multimedia Tools Appl., 2017b, 76 (24), pp. 26001–26029.
14. Nowacki P., Woda M. Capabilities of ARCore and ARKit platforms for AR/VR applications // Conf. on Dependability and Complex Systems. Springer, 2019, pp. 358–370.
15. Milgram P., Kishino F. A taxonomy of mixed reality visual displays // IEICETrans. Inf. Syst., 1994, 77 (12), pp. 1321–1329.
16. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature, 2015, 521 (7553), pp. 436–444.
17. Akgul O., Penekli H., Genc Y. Applying deep learning in augmented reality tracking // IEEE 12th Intern. 22564–2571. Conf. on Signal-Image Technology & Internet-Based Systems (SITIS), IEEE, 2016, pp. 47–54.
18. Rublee E., Rabaud V., Konolige K., Bradski G.R. ORB: An efficient alternative to SIFT or SURF // IEEE Intern. Conf. onComputer Vision (ICCV), IEEE, 2011, pp. 22564–2571.
19. Limmer M., Forster J., Baudach D. et al. Robust deep-learning-based road-prediction for augmented reality navigation systems at night // IEEE 19th Intern. Conf. on Intelligent Transportation Systems (ITSC), IEEE, 2016, pp. 1888–1895.
20. Schüle F., Schweiger R., Dietmayer K. Augmenting night vision video images with lon­ger distance road course information // IEEE Intelligent Vehicles Symposium, IEEE, 2013, pp. 1233–1238.
21. Risack R., Klausmann P., Krüger W., Enkelmann W. Robust lane recognition embedded in a real-time driver assistance system // Proc. IEEE, IEEE, 1998, pp. 35–40.
22. Farabet C., Couprie C., Najman L., LeCun Y. Learning hierarchical features for scene labe­ling// IEEE Trans. Pattern Anal. Mach. Intell., IEEE, 2012, 35 (8), pp. 1915–1929.
23. Schröder M., Ritter H. Deep learning for action recognition in augmented reality assistance systems // ACM SIGGRAPH 2017 Posters, Association for Computing Machinery, 2017.
24. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, IEEE, 2015, pp. 3431–3440.
25. Abdi L., Meddeb A. Deep learning traffic sign detection, recognition and augmentation // Proceedings of the Symposium on Applied Computing. ACM, 2017, pp. 131–136.
26. CireşAn D., Meier U., Masci J., Schmidhuber J. Multi-column deep neural network for traffic sign classification // Neural Netw., 2012, 32, pp. 333–338.
27. Stallkamp J., Schlipsing M., Salmen J., Igel C. Man vs. computer: benchmarking machine learning algorithms for traffic sign recognition// Ibid, 2012 32, pp. 323–332.
28. Sermanet P., LeCun Y. Traffic sign recognition with multi-scale convolutional networks // International Joint Conference on Neural Networks (IJCNN), 2011, pp. 2809–2813.
29. Stallkamp J., Schlipsing M., Salmen J., Igel C. The german traffic sign recognition benchmark: a multi-class classification competition// Ibid, 2011, pp. 1453–1460.
30. Rao J., Qiao Y., Ren F. et al. A mobile outdoor augmented reality method combining deep learning object detection and spatial relationships for geovisualization // Sensors, 2017, 17 (9), pp. 1951-1977.
31. Wang R., Lu H., Xiao J. et al. The design of an augmented reality system for urban search and rescue // IEEE International Conference on Intelligence and Safety for Robotics (ISR), 2018, pp. 267–272.
32. Caelles S., Maninis K.-K. et al. One-shot video object segmentation // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 221– 230.
33. Aliprantis J., Kalatha E., Konstantakis M. et al. Linked open data as universal markers for mobile augmented reality applications in cultural heritage // Digital Cultural Heritage. Springer, 2018, pp. 79–90.
34. Englert M., Klomann M., Weber K. et al. Enhancing the ar experience with machine lear­ning services // The 24th International Conference on 3D Web Technology. ACM, 2019, pp. 1–9.
35. Zhou F., Duh H.B.-L., Billinghurst M. Trends in augmented reality tracking, interaction and display: a review of ten years of ISMAR // Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality. IEEE Computer Society, 2008, pp. 193–202.
36. Krizhevsky A., Sutskever I., Hinton G.E. Imagenet classification with deep convolutional neural networks //Advances in Neural Information Processing Systems., 2012, pp. 1097–1105.
37. Guenter B., Finch M., Drucker S. et al. Foveated 3D graphics // ACM Trans. Graph., 2012, 31 (6), p. 1-10.

Повний текст: PDF