A Review of Curiosity-Driven Learning Systems in Artificial Intelligence

Subject Areas : Information Technology in Engineering Design (ITED) Journal

Saeed Jamali ¹ , Saeed Setayeshi ² , Sajad Taghvaei ³ , mohsen jahanshahi ⁴

1 - Department of Computer Engineering, Central Tehran Branch, Islamic Azad University, Tehran, Iran
2 - Faculty of Nuclear Engineering and Physics, Amirkabir University, Tehran, Iran
3 - Department of Mechanical Engineering, Shiraz University, Shiraz, Iran
4 - Mohsen Jahanshahi, IEEE Senior Member. Associate Prof. of Computer Engineering Department, Central Tehran Branch, Islamic Azad University.

Received: 2024-09-17 Accepted : 2024-12-03 Published : 2025-07-05

Keywords: Curiosity, Artificial Intelligence, Machine Learning, Reinforcement Learning, Collative Variables, Space Coverage,

Abstract :

One key aspect that can elevate artificial intelligence to a higher level of capability is curiosity. Similar to humans, in artificial intelligence, curiosity can serve as a key mechanism for improving active learning and exploration in complex and unknown environments. This review paper examines efforts to model and simulate curiosity in machines in order to create systems that can automatically and independently exhibit exploratory behaviors. By investigating psychological studies on curiosity and existing computational models in artificial intelligence, this research seeks a deeper understanding of the concept of curiosity and how it can be simulated in machines. Additionally, we have examined the advantages and limitations of existing approaches. The results of this research show that curiosity can serve as an important factor in accelerating learning, increasing the generalizability of models, and improving performance in challenging tasks. Furthermore, by introducing a new metric called "space coverage," we propose new avenues for research in this type of curiosity modeling in artificial intelligence. Finally, along with enumerating some applications, we have attempted to pave the way for the development of more curious and powerful artificial intelligence systems by providing suggestions for future research.

References:

[۱] R. Archana, P. Jeevaraj. "Deep learning models for digital image processing: a review," in Artificial Intelligence Review, vol. 57, no. 1, pp. 11, 2024.
[۲] Mehrish, A., et al. "A review of deep learning techniques for speech processing," in Information Fusion, vol. 99, pp. 101869, 2023.
[۳] M. Soori, B. Arezoo, R. Dastres. "Artificial intelligence, machine learning and deep learning in advanced robotics, a review," in Cognitive Robotics, vol. 3, pp. 54–70, 2023.
[۴] Badue, C., et al. "Self-driving cars: A survey," in Expert systems with applications, vol. 165, pp. 113816, 2021.
[۵] Yin, H., et al. "On-device recommender systems: A comprehensive survey," in arXiv preprint arXiv:2401.11441, 2024.
[۶] Stray, J., et al. "Building human values into recommender systems: An interdisciplinary synthesis," in ACM Transactions on Recommender Systems, vol. 2, no. 3, pp. 1–57, 2024.
[۷] T. Kashdan, M. Steger. "Curiosity and pathways to well-being and meaning in life: Traits, states, and everyday behaviors," in Motivation and Emotion, vol. 31, pp. 159–173, 2007.
[۸] Sun, C., Qian, H., & Miao, C. (2022). From psychological curiosity to artificial curiosity: Curiosity-driven learning in artificial intelligence tasks. arXiv preprint arXiv:2201.08300.
[۹] George Loewenstein. 1994. The psychology of curiosity: A review and reinterpretation. Psychological bulletin 116, 1 (1994), 75.
[۱۰] J. Schmidhuber. "Developmental robotics, optimal artificial curiosity, creativity, music, and the fine arts," in Connection Science, vol. 18, no. 2, pp. 173–187, 2006.
[۱۱] Wu, Q., & Miao, C. (2013). Curiosity: From psychology to computation. ACM Computing Surveys (CSUR), 46(2), 1-26.
[۱۲] P. Oudeyer, F. Kaplan. "What is intrinsic motivation? A typology of computational approaches," in Frontiers in neurorobotics, vol. 1, pp. 108, 2007.
[۱۳] D.E. Berlyne. 1960. Conflict, arousal, and curiosity. McGraw-Hill New York.

[۱۴] R. Saunders, J. Gero, "The digital clockwork muse: A computational model of aesthetic evolution," in Proceedings of the AISB, 2001, pp. 12–21.
[۱۵] A. Stein, R. Maier, J. Hähner, "Toward curious learning classifier systems: Combining xcs with active learning concepts," in Proceedings of the Genetic and Evolutionary Computation Conference Companion, 2017, pp. 1349–1356.
[۱۶] F. Abbas, X. Niu. "One size does not fit all: Modeling users’ personal curiosity in recommender systems," in ArXivorg, 2019.
[۱۷] Schaul, T., et al, "Curiosity-driven optimization," in 2011 IEEE Congress of Evolutionary Computation (CEC), 2011, pp. 1343–1349.
[۱۸] R. Zhao, V. Tresp. "Curiosity-driven experience prioritization via density estimation," in arXiv preprint arXiv:1902.08039, 2019.
[۱۹] T. Blau, L. Ott, F. Ramos. "Bayesian curiosity for efficient exploration in reinforcement learning," in arXiv preprint arXiv:1911.08701, 2019.
[۲۰] D. Rezende, S. Mohamed, "Variational inference with normalizing flows," in International conference on machine learning, 2015, pp. 1530–1538.
[۲۱] J. Schmidhuber, "Curious model-building control systems," in Proc. international joint conference on neural networks, 1991, pp. 1458–1463.
[۲۲] P. Oudeyer, F. Kaplan, "How can we define intrinsic motivation?," in the 8th international conference on epigenetic robotics: Modeling cognitive development in robotic systems, 2008.
[۲۳] Dobrynin, D., et al. "Physical and biological mechanisms of direct plasma interaction with living tissue," in New Journal of Physics, vol. 11, no. 11, pp. 115020, 2009.
[۲۴] Jepma, M., et al. "Neural mechanisms underlying the induction and relief of perceptual curiosity," in Frontiers in behavioral neuroscience, vol. 6, pp. 5, 2012.
[۲۵] Todd B Kashdan and Paul J Silvia. 2009. Curiosity and interest: The benefits of thriving on novelty and challenge. 
Oxford handbook of positive psychology 2 (2009), 367–374. 

[۲۶] Celeste Kidd and Benjamin Y Hayden. 2015. The psychology and neuroscience of curiosity. Neuron 88, 3 (2015), 
449–460. 

[۲۷] G Stanley Hall and Theodate L Smith. 1903. Curiosity and interest. The Pedagogical Seminary 10, 3 (1903), 315–358.
[۲۸] Daniel E Berlyne. 1950. Novelty and curiosity as determinants of exploratory behaviour. British Journal of Psychology 41, 1 (1950), 68.
[۲۹] Abraham Harold Maslow. 1943. A theory of human motivation. Psychological review 50, 4 (1943), 370.
[۳۰] Konrad Z Lorenz. 1981. Exploratory behavior or curiosity. In the Foundations of Ethology. Springer, 325–335.
[۳۱] Donald O Hebb. 1946. On the nature of fear. Psychological review 53, 5 (1946), 259.
[۳۲] Jean Piaget. 2003. The psychology of intelligence. Routledge.
[۳۳] Robert W White. 1959. Motivation reconsidered: The concept of competence. Psychological review 66, 5 (1959), 297.
[۳۴] Edward L Deci and Richard M Ryan. 2010. Intrinsic motivation. The corsini encyclopedia of psychology (2010), 1–2.
[۳۵] William N Dember and Robert W Earl. 1957. Analysis of exploratory, manipulatory, and curiosity behaviors. Psychological review 64, 2 (1957), 91.
[۳۶] C.D. Spielberger and L.M. Starr. 1994. Curiosity and exploratory behavior. NJ: Lawrence Erlbaum Associates, 221–243.
[۳۷] F.F. Schmitt and R. Lahroodi. 2008. The epistemic value of curiosity. Educational Theory 58, 2 (2008), 125–148.

[۳۸] Deci, E. L., & Ryan, R. M. (2000). Self-Determination Theory: Theoretical issues and practical applications. Rochester: University of Rochester Press.
[۳۹] Jirout, J. J., & Klahr, D. (2012). Children's scientific curiosity: In search of an operational definition of an elusive concept. Developmental Review, 32(2), 125-160.
[۴۰] Gottfried, A. E. (1990). Academic intrinsic motivation in young elementary school children. Journal of Educational Psychology, 82(3), 525-538.
[۴۱] Gruber, M. J., Gelman, B. D., & Ranganath, C. (2014). States of curiosity modulate hippocampus-dependent learning via the dopaminergic circuit. Neuron, 84(2), 486-496.
[۴۲] Cantor, G. N., Cantor, J. H., & Ditrichs, R. (1963). Observing behavior in preschool children as a function of stimulus complexity. Child Development, 683-689.
[۴۳] Daniel E Berlyne. 1978. Curiosity and learning. Motivation and emotion 2, 2 (1978), 97–175.
[۴۴] A. Ten, P. Oudeyer, C. Moulin-Frier. "Curiosity-driven exploration," in The Drive for Knowledge: The Science of Human Information Seeking, pp. 53, 2022.
[۴۵] Paul J Silvia. 2005. Cognitive appraisals and interest in visual art: Exploring an appraisal theory of aesthetic emotions. Empirical studies of the arts 23, 2 (2005), 119–133.
[۴۶] Pathak, D., Agrawal, P., Efros, A. A., & Darrell, T. (2017). Curiosity-driven exploration by self-supervised prediction. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2017.
[۴۷] Burda, Y., Edwards, H., Storkey, A., & Klimov, O. (2018). Exploration by random network distillation. arXiv preprint arXiv:1810.12894.
[۴۸] O. Nahirnyi. "Reinforcement Learning Agents in Procedurally-generated Environments with Sparse Rewards,", 2022.
[۴۹] Macedo, L., & Cardoso, A. (1999, January). Towards artificial forms of surprise and curiosity. In Proceedings of the European Conference on Cognitive Science, S. Bagnara, Ed (pp. 139-144).
[۵۰] Saunders, R., & Gero, J. S. (2001). A curious design agent. In CAADRIA (Vol. 1, pp. 345-350).
[۵۱] C. Sun. "Curiosity-driven learning in artificial intelligence and its applications," 2023.
[۵۲] P. Auer, N. Cesa-Bianchi, P. Fischer. "Finite-time analysis of the multiarmed bandit problem," in Machine learning, vol. 47, pp. 235–256, 2002.
[۵۳] A. Strehl, M. Littman. "An analysis of model-based interval estimation for Markov decision processes," in Journal of Computer and System Sciences, vol. 74, no. 8, pp. 1309–1331, 2008.
[۵۴] Bellemare, M., et al. "Unifying count-based exploration and intrinsic motivation," in Advances in neural information processing systems, vol. 29, 2016.
[۵۵] Tang, H., et al. "# exploration: A study of count-based exploration for deep reinforcement learning," in Advances in neural information processing systems, vol. 30, 2017.
[۵۶] J. Fu, J. Co-Reyes, S. Levine. "Ex2: Exploration with exemplar models for deep reinforcement learning," in Advances in neural information processing systems, vol. 30, 2017.
[۵۷] Savinov, N., et al. "Episodic curiosity through reachability," in arXiv preprint arXiv:1810.02274, 2018.
[۵۸] Kim, Y., et al, "Curiosity-bottleneck: Exploration by distilling task-specific novelty," in International conference on machine learning, 2019, pp. 3379–3388.
[۵۹] Alemi, A., et al. "Deep variational information bottleneck," in arXiv preprint arXiv:1612.00410, 2016.
[۶۰] Xu, H., et al. "Novelty is not surprise: Human exploratory and adaptive behavior in sequential decision-making," in PLOS Computational Biology, vol. 17, no. 6, pp. e1009070, 2021.
[۶۱] Modirshanechi, A., et al. "The curse of optimism: a persistent distraction by novelty," in bioRxiv, pp. 2022–07, 2022.
[۶۲] H. Jiang, Z. Ding, Z. Lu, "Settling Decentralized Multi-Agent Coordinated Exploration by Novelty Sharing," in Proceedings of the AAAI Conference on Artificial Intelligence, 2024, pp. 17444–17452.
[۶۳] Sun, C., Qian, H., & Miao, C. (2022). From psychological curiosity to artificial curiosity: Curiosity-driven learning in artificial intelligence tasks. arXiv preprint arXiv:2201.08300.
[۶۴] Karaoguz, C., et al, "Curiosity driven exploration of sensory-motor mappings," in Capo Caccia Cognitive Neuromorphic Engineering Workshop, 2011.
[۶۵] R. Raileanu, T. Rocktäschel. "Ride: Rewarding impact-driven exploration for procedurally-generated environments," in arXiv preprint arXiv:2002.12292, 2020.
[۶۶] Parisi, S., et al. "Interesting object, curious agent: Learning task-agnostic exploration," in Advances in Neural Information Processing Systems, vol. 34, pp. 20516–20530, 2021.
[۶۷] Yuan, M., et al. "Rewarding episodic visitation discrepancy for exploration in reinforcement learning," in arXiv preprint arXiv:2209.08842, 2022.
[۶۸] Wang, Y., et al. "Efficient potential-based exploration in reinforcement learning using inverse dynamic bisimulation metric," in Advances in Neural Information Processing Systems, vol. 36, 2024.
[۶۹] Q. Wu, C. Miao, Z. Shen, "A curious learning companion in virtual learning environment," in 2012 IEEE International Conference on Fuzzy Systems, 2012, pp. 1–8.
[۷۰] Q. Wu, S. Liu, C. Miao, "Recommend interesting items: How can social curiosity help?," in Web Intelligence, 2019, pp. 297–311.
[۷۱] P. Oudeyer. "Intelligent adaptive curiosity: a source of self-development," ,2004.
[۷۲] S. Forestier, P. Oudeyer, "Modular active curiosity-driven discovery of tool use," in 2016 IEEE/RSJ international conference on intelligent robots and systems (IROS), 2016, pp. 3965–3972.
[۷۳] Colas, C., et al, "Curious: intrinsically motivated modular multi-goal reinforcement learning," in International conference on machine learning, 2019, pp. 1331–1340.
[۷۴] Baker, B., et al. "Emergent tool use from multi-agent autocurricula," in arXiv preprint arXiv:1909.07528, 2019.
[۷۵] Campero, A., et al. "Learning with amigo: Adversarially motivated intrinsic goals," in arXiv preprint arXiv:2006.12122, 2020.
[۷۶] Parker-Holder, J., et al, "Evolving curricula with regret-based environment design," in International Conference on Machine Learning, 2022, pp. 17473–17498.
[۷۷] Zhou, X., et al. "MENTOR: Guiding Hierarchical Reinforcement Learning with Human Feedback and Dynamic Distance Constraint," in arXiv preprint arXiv:2402.14244, 2024.
[۷۸] L. Macedo, A. Cardoso, "The role of surprise, curiosity and hunger on exploration of unknown environments populated with entities," in 2005 portuguese conference on artificial intelligence, 2005, pp. 47–53.
[۷۹] Houthooft, R., et al. "Vime: Variational information maximizing exploration," in Advances in neural information processing systems, vol. 29, 2016.
[۸۰] D. Pathak, D. Gandhi, A. Gupta, "Self-supervised exploration via disagreement," in International conference on machine learning, 2019, pp. 5062–5071.
[۸۱] Berseth, G., et al. "Smirl: Surprise minimizing reinforcement learning in unstable environments," in arXiv preprint arXiv:1912.05510, 2019.
[۸۲] J. Chen. "Reinforcement learning generalization with surprise minimization," in arXiv preprint arXiv:2004.12399, 2020.
[۸۳] Fickinger, A., et al. "Explore and control with adversarial surprise," in arXiv preprint arXiv:2107.07394, 2021.
[۸۴] Haarnoja, T., et al. "Soft actor-critic algorithms and applications," in arXiv preprint arXiv:1812.05905, 2018.
[۸۵] O’Donoghue, B., et al, "The uncertainty bellman equation and exploration," in International conference on machine learning, 2018, pp. 3836–3845.
[۸۶] Nachum, O., et al. "Trust-pcl: An off-policy trust region method for continuous control," in arXiv preprint arXiv:1707.01891, 2017.
[۸۷] Lin, J., et al. "Cat-sac: Soft actor-critic with curiosity-aware entropy temperature," 2020.
[۸۸] Li, K., et al, "Mural: Meta-learning uncertainty-aware rewards for outcome-driven reinforcement learning," in International conference on machine learning, 2021, pp. 6346–6356.
[۸۹] D. Cho, S. Lee, H. Kim. "Outcome-directed reinforcement learning by uncertainty & temporal distance-aware curriculum goal generation," in arXiv preprint arXiv:2301.11741, 2023.
[۹۰] Lee, S., et al. "CQM: curriculum reinforcement learning with a quantized world model," in Advances in Neural Information Processing Systems, vol. 36, 2024.
[۹۱] A. Barto, M. Mirolli, G. Baldassarre. "Novelty or surprise?," in Frontiers in psychology, vol. 4, pp. 907, 2013.
[۹۲] J. Schmidhuber. "Formal theory of creativity, fun, and intrinsic motivation (1990–2010)," in IEEE transactions on autonomous mental development, vol. 2, no. 3, pp. 230–247, 2010.
[۹۳] Storck, J., et al, "Reinforcement driven information acquisition in non-deterministic environments," in Proceedings of the international conference on artificial neural networks, Paris, 1995, pp. 159–164.
[۹۴] J. Schmidhuber, "Adaptive confidence and adaptive curiosity," Citeseer, Tech. Rep., 1991.
[۹۵] Ugur, E., et al, "Curiosity-driven learning of traversability affordance on a mobile robot," in 2007 IEEE 6th international conference on development and learning, 2007, pp. 13–18.
[۹۶] Barto, A., et al, "Intrinsically motivated learning of hierarchical collections of skills," in Proceedings of the 3rd International Conference on Development and Learning, 2004, pp. 19.
[۹۷] N. Chentanez, A. Barto, S. Singh. "Intrinsically motivated reinforcement learning," in Advances in neural information processing systems, vol. 17, 2004.
[۹۸] Sekar, R., et al, "Planning to explore via self-supervised world models," in International conference on machine learning, 2020, pp. 8583–8592.
[۹۹] Nguyen, T., et al, "Sample-efficient reinforcement learning representation learning with curiosity contrastive forward dynamics model," in 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2021, pp. 3471–3477.
[۱۰۰] Kapturowski, S., et al, "Recurrent experience replay in distributed reinforcement learning," in International conference on learning representations, 2018.
[۱۰۱] Jaques, N., et al, "Social influence as intrinsic motivation for multi-agent deep reinforcement learning," in International conference on machine learning, 2019, pp. 3040–3049.
[۱۰۲] Zheng, L., et al. "Episodic multi-agent reinforcement learning with curiosity-driven exploration," in Advances in Neural Information Processing Systems, vol. 34, pp. 3757–3769, 2021.
[۱۰۳] Mazzaglia, P., et al, "Self-supervised exploration via latent Bayesian surprise," in ICLR2021, the 9th International Conference on Learning Representations, 2021.
[۱۰۴] Mazzaglia, P., et al, "Curiosity-driven exploration via latent bayesian surprise," in Proceedings of the AAAI conference on artificial intelligence, 2022, pp. 7752–7760.
[۱۰۵] Le, H., et al, "Beyond Surprise: Improving Exploration Through Surprise Novelty.," in AAMAS, 2024, pp. 1084–1092.
[۱۰۶] Amin, S., et al. "A survey of exploration methods in reinforcement learning," in arXiv preprint arXiv:2109.00157, 2021.
[۱۰۷] M. Machado, M. Bellemare, M. Bowling, "A laplacian framework for option discovery in reinforcement learning," in International Conference on Machine Learning, 2017, pp. 2295–2304.
[۱۰۸] Machado, M., et al. "Eigenoption discovery through the deep successor representation," in arXiv preprint arXiv:1710.11089, 2017.
[۱۰۹] Hong, Z., et al. "Diversity-driven exploration strategy for deep reinforcement learning," in Advances in neural information processing systems, vol. 31, 2018.
[۱۱۰] Jinnai, Y., et al, "Discovering options for exploration by minimizing cover time," in International Conference on Machine Learning, 2019, pp. 3130–3139.
[۱۱۱] Hazan, E., et al, "Provably efficient maximum entropy exploration," in International Conference on Machine Learning, 2019, pp. 2681–2691.
[۱۱۲] Jinnai, Y., et al, "Exploration in reinforcement learning with deep covering options," in International Conference on Learning Representations, 2020.
[۱۱۳] Amin, S., et al. "Locally persistent exploration in continuous control tasks with sparse rewards," in arXiv preprint arXiv:2012.13658, 2020.
[۱۱۴] Sabbioni, L., et al, "Simultaneously updating all persistence values in reinforcement learning," in Proceedings of the AAAI Conference on Artificial Intelligence, 2023, pp. 9668–9676.
[۱۱۵] Hartikainen, K., et al. "Dynamical distance learning for semi-supervised and unsupervised skill discovery," in arXiv preprint arXiv:1907.08225, 2019.
[۱۱۶] F. Stulp, O. Sigaud. "Robot skill learning: From reinforcement learning to evolution strategies," in Paladyn, Journal of Behavioral Robotics, vol. 4, no. 1, pp. 49–61, 2013.
[۱۱۷] S. Nguyen, P. Oudeyer. "Socially guided intrinsic motivation for robot learning of motor skills," in Autonomous Robots, vol. 36, pp. 273–294, 2014.
[۱۱۸] G. Gordon. "Infant-inspired intrinsically motivated curious robots," in Current Opinion in Behavioral Sciences, vol. 35, pp. 28–34, 2020.
[۱۱۹] Zeng, H., et al. "AHEGC: Adaptive Hindsight Experience Replay With Goal-Amended Curiosity Module for Robot Control," in IEEE Transactions on Neural Networks and Learning Systems, 2023.
[۱۲۰] Wang, T., et al. "Curiosity model policy optimization for robotic manipulator tracking control with input saturation in uncertain environment," in Frontiers in Neurorobotics, vol. 18, pp. 1376215, 2024.
[۱۲۱] Luo, Y., et al, "Curiosity-driven reinforcement learning for diverse visual paragraph generation," in Proceedings of the 27th ACM International Conference on Multimedia, 2019, pp. 2341–2350.
[۱۲۲] Colas, C., et al. "Language as a cognitive tool to imagine goals in curiosity driven exploration," in Advances in Neural Information Processing Systems, vol. 33, pp. 3761–3774, 2020.
[۱۲۳] Hong, Z., et al. "Curiosity-driven red-teaming for large language models," in arXiv preprint arXiv:2402.19464, 2024.
[۱۲۴] Roohi, S., et al, "Review of intrinsic motivation in simulation-based game testing," in Proceedings of the 2018 chi conference on human factors in computing systems, 2018, pp. 1–13.
[۱۲۵] Esteva, A., et al. "Dermatologist-level classification of skin cancer with deep neural networks," in nature, vol. 542, no. 7639, pp. 115–118, 2017.
[۱۲۶] Niu, X., et al, "Surprise me if you can: Serendipity in health information," in Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, 2018, pp. 1–12.
[۱۲۷] Z. Fu, X. Niu, M. Maher. "Deep learning models for serendipity recommendations: a survey and new perspectives," in ACM Computing Surveys, vol. 56, no. 1, pp. 1–26, 2023.
[۱۲۸] Song, S., et al. "Serious information in hedonic social applications: affordances, self-determination and health information adoption in TikTok," in Journal of Documentation, vol. 78, no. 4, pp. 890–911, 2022.
[۱۲۹] T. Hasan, R. Bunescu, "Topic-Level Bayesian Surprise and Serendipity for Recommender Systems," in Proceedings of the 17th ACM Conference on Recommender Systems, 2023, pp. 933–939.
[۱۳۰] Codevilla, F., et al, "Exploring the limitations of behavior cloning for autonomous driving," in Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 9329–9338.
[۱۳۱] M. Albilani, A. Bouzeghoub, "Dynamic Adjustment of Reward Function for Proximal Policy Optimization with Imitation Learning: Application to Automated Parking Systems," in 2022 IEEE Intelligent Vehicles Symposium (IV), 2022, pp. 1400–1408.
[۱۳۲] F. Carton, "Exploration of reinforcement learning algorithms for autonomous vehicle visual perception and control," Ph.D. dissertation, Institut Polytechnique de Paris, 2021.
[۱۳۳] M. Hutsebaut-Buysse, "Learning to navigate through abstraction and adaptation," Ph.D. dissertation, University of Antwerp, 2023.
[۱۳۴] Huang, C., et al. "Deductive reinforcement learning for visual autonomous urban driving navigation," in IEEE Transactions on Neural Networks and Learning Systems, vol. 32, no. 12, pp. 5379–5391, 2021.
[۱۳۵] Wu, Y., et al. "Deep reinforcement learning on autonomous driving policy with auxiliary critic network," in IEEE transactions on neural networks and learning systems, vol. 34, no. 7, pp. 3680–3690, 2021.
[۱۳۶] Yan, Y., et al, "An improved proximal policy optimization algorithm for autonomous driving decision-making," in Fourth International Conference on Sensors and Information Technology (ICSI 2024), 2024, pp. 837–845.

Full-Text:



	دوره هجدهم، شماره بهار 1404   مجله فناوری اطلاعات در طراحی مهندسی Information Technology in Engineering Design http://sanad.iau.ir/journal/ited
مروری بر سيستم­های يادگيری مبتنی برکنجکاوی در هوش مصنوعی   سعید جمالی(1)     سعید ستایشی*(2)    سجاد تقوایی(3)    محسن جهانشاهی (4)   (1)       گروه مهندسی کامپیوتر، واحد تهران مرکزی، دانشگاه آزاد اسلامی، تهران، ایران  (2)       گروه مهندسی فیزیک و انرژی، دانشگاه صنعتی امیرکبیر، تهران، ایران* (3)       گروه مهندسی مکانیک، واحد شیراز، دانشگاه شیراز، شیراز، ایران (4)       گروه مهندسی کامپیوتر، واحد تهران مرکزی، دانشگاه آزاد اسلامی، تهران، ایران   (تاریخ دریافت: 27/06/1403           تاریخ پذیرش: 13/09/1403)
چکیده یکی از جنبه­های کلیدی که می­تواند هوش مصنوعی را به سطح بالاتری از توانایی برساند، کنجکاوی است. همانند انسان­ها، در هوش مصنوعی نیز، کنجکاوی می­تواند به عنوان یک مکانیسم کلیدی برای بهبود یادگیری فعال و اکتشاف در محیط­های پیچیده و ناشناخته عمل کند. در این مقاله مروری، تلاش­ها برای مدل­سازی و شبیه­سازی کنجکاوی در ماشین­ها به منظور ایجاد سیستم­هایی که بتوانند به طور خودکار و مستقل رفتارهای اکتشافی از خود نشان دهند مورد بررسی قرار گرفته است. در این پژوهش، با بررسی مطالعات روانشناختی در مورد کنجکاوی و مدل­های محاسباتی موجود در هوش مصنوعی، به دنبال درک عمیق­تری از مفهوم کنجکاوی و چگونگی شبیه­سازی آن در ماشین­ها هستیم. همچنین، به بررسی مزایا و محدودیت­های رویکردهای موجود پرداخته­ایم. نتایج این پژوهش نشان می­دهد که کنجکاوی می­تواند به عنوان یک عامل مهم در تسریع یادگیری، افزایش توانایی تعمیم‌پذیری مدل­ها و بهبود عملکرد در وظایف چالش‌برانگیز عمل کند. همچنین با معرفی یک متغیر هم­سنجش جدید به نام «پوشش فضا»، به دنبال تحقیقات جدیدی برای این نوع مدل­سازی کنجکاوی در هوش مصنوعی هستیم. در نهایت، در کنار برشمردن برخی کاربردها، با ارائه پیشنهاداتی برای تحقیقات آینده، تلاش کرده­ایم تا مسیری را برای توسعه سیستم­های هوش مصنوعی کنجکاوتر و قدرتمندتر هموار کنیم. کلمات کلیدی: کنجکاوی، هوش مصنوعی، یادگیری ماشین، یادگیری تقویتی، متغیرهای هم­سنجش، پوشش فضا *عهده‌دار مکاتبات:                  سعید ستایشی         نشانی: گروه مهندسی فیزیک و انرژی، دانشگاه صنعتی امیرکبیر، تهران، ایران         پست الکترونیکی: [e-mail]

 

1-       مقدمه

در عصر حاضر، هوش مصنوعی (AI¹) به یکی از مهم­ترین و پویاترین حوزه­های پژوهشی تبدیل شده است که هدف آن توسعه سیستم­هایی است که قادر به انجام وظایف پیچیده­ای باشند که به‌طور سنتی به هوش انسانی نیاز دارند. این سیستم­ها با الهام از عملکرد مغز و فرآیندهای شناختی انسان، تلاش می­کنند تا به سطوح جدیدی از توانایی در یادگیری، استدلال و تصمیم­گیری برسند. کاربردهای گسترده AI در زمینه­هایی مانند تشخیص تصویر [1]، پردازش زبان طبیعی [2]، رباتیک [3]، خودروهای خودران [4] و سیستم­های توصیه­گر² [5,6] به وضوح نقش حیاتی این فناوری را در دنیای مدرن نشان می­دهد [7]. قابلیت سیستم­های AI نیز باید با کارکردهای زیستی و روانشناختی یا شناخت در سطح انسان تقویت شود تا بتواند مزایای هوش انسانی مانند سازگاری سریع، بهره­وری نمونه بالا و تفسیر قابل اعتماد را به ارث ببرد [8]. یکی از جنبه­های کلیدی که می­تواند AI را به سطح بالاتری از توانایی برساند و در سال­های اخیر توجه بسیاری از پژوهشگران را به خود جلب کرده است، کنجکاوی است. کنجکاوی به عنوان یک عنصر اساسی شناخت، به طور طبیعی انگیزه­ای درونی را فراهم می­کند که انسان­ها را برای کشف اطلاعات جالب و مفید به کاوش در جهان ترغیب می­کند. تقاضای سیری­ناپذیر برای اطلاعات می­تواند در نهایت یادگیری، تصمیم­گیری و رشد سالم را شکل داده و تقویت کند [8]. در AI نیز، کنجکاوی به عنوان عاملی کلیدی برای یادگیری فعال، اکتشاف و نوآوری در نظر گرفته می­شود. سیستم­های AI کنجکاو، به جای اینکه صرفاً به انجام وظایف از پیش تعریف شده بپردازند، به طور فعال به دنبال کشف اطلاعات جدید و گسترش دانش خود هستند. در حوزه AI، تلاش­ها برای مدل­سازی و شبیه­سازی کنجکاوی در ماشین­ها به منظور ایجاد سیستم­هایی که بتوانند به‌طور خودکار و مستقل رفتارهای اکتشافی از خود نشان دهند، به تحقیقات گسترده­ای منجر شده است [9]. این رویکرد نه تنها می­تواند منجر به بهبود کارایی یادگیری در سیستم­های AI شود، بلکه می­تواند باعث افزایش توانایی این سیستم­ها در حل مسائل پیچیده و تعامل با محیط­های پویا و متغیر گردد [10]. از دیدگاه یادگیری ماشین، کنجکاوی به عنوان اصول الگوریتمی برای تمرکز یادگیری بر الگوهای جدید و قابل یادگیری در مقابل نویزهای نامنظم پیشنهاد شده است. این اصول در تسریع یادگیری و ساخت رباتیک توسعه­ای نظارت نشده موفق بوده­اند [11]. از دیدگاه محاسباتی، کنجکاوی می­تواند به عنوان یک نیروی محرک برای جستجوی دانش جدید و بهبود مدل­های موجود عمل کرده و در الگوریتم­های یادگیری ماشین می­تواند باعث تسریع فرآیند یادگیری و افزایش توانایی تعمیم‌پذیری مدل­ها شود [12]. برای مثال، در یادگیری تقویتی (RL³)، کنجکاوی به عنوان پاداش­های درونی برای تشویق عامل­ها به کاوش در محیط و کشف حالات جدید تعریف می­شود [13]. این رویکرد می­تواند منجر به بهبود عملکرد در وظایف چالش‌برانگیز شود و به سیستم­ها اجازه دهد تا با محیط­های ناشناخته و پیچیده بهتر سازگار شوند [14]. انواع مختلفی از الگوریتم­های یادگیری مبتنی بر کنجکاوی پیشنهاد شده است تا در وظایف کلاسیک AI مانند طبقه­بندی [15]، توصیه [16] و بهینه­سازی [17] اجرا شود، که در آن هدف نهایی بهبود کارایی یادگیری و توانمندسازی عامل­های هوشمند برای یادگیری به شیوه­ای انسانی است. در حوزه RL، کنجکاوی به عنوان پاداش­های درونی برای کمک به فرآیند یادگیری کمی‌سازی می­شود. در نتیجه، عامل­ها به سمت حالت­های جدید [18] تشویق می­شوند یا اقداماتی برای کاوش در مناطق بسیار نامطمئن بر اساس دانش موجود خود در مورد محیط انجام می­دهند [19,20]. با انگیزش کنجکاوی، عامل­ها می­توانند محیط را کاوش کرده و مهارت­های متنوعی را بیاموزند که ممکن است حتی در موقعیت­های ندیده مفید باشد و ویژگی مطلوب رفتارهای اکتشافی انسانی را نشان دهد. متأسفانه، انسان­ها اغلب پیچیده­تر از چیزی هستند که یک مدل یادگیری ماشین می­تواند توصیف کند. در نتیجه بازگشت به تحقیقات روانشناسی برای درک چگونگی برانگیخته شدن کنجکاوی انسان مفید است [11]. تحقیقات روانشناختی نشان می­دهد که عوامل مختلفی مانند تازگی⁴، تضاد، عدم قطعیت⁵ و پیچیدگی⁶ می­توانند کنجکاوی را تحریک کنند [8]. این عوامل می­توانند به عنوان متغیرهای هم­سنجش در مدل­سازی کنجکاوی محاسباتی مورد استفاده قرار گیرند تا به توسعه الگوریتم­هایی که قادر به تشخیص و پاسخ‌گویی به این محرک­ها هستند، کمک کنند [8]. به‌طور خاص، استفاده از نظریه­های روانشناختی برای طراحی سیستم­های کنجکاو، می­تواند به توسعه سیستم­های AI که قادر به تعامل طبیعی­تر با انسان­ها و محیط­های واقعی هستند، منجر شود [22]. در این مقاله، تلاش می­کنیم تا با بررسی نقش کنجکاوی در AI و استفاده از مدل­های محاسباتی مختلف، به درک عمیق­تری از این مفهوم دست یابیم و راهکارهایی برای بهبود سیستم­های AI ارائه دهیم. همچنین به بررسی مزایا و محدودیت­های رویکردهای موجود پرداخته و زمینه­های پژوهشی جدیدی را پیشنهاد خواهیم کرد که می­توانند به تقویت قابلیت­های اکتشافی و یادگیری سیستم­های AI کمک کنند.

 

 

1-1-                      کارهای اصلی

مهم­ترین دستاوردهای این مطالعه عبارتند از:

·       تحقیق پیرامون مفهوم کنجکاوی در روانشناسی و ارتباط آن با انگیزش درونی

·       بررسی متغیرهای هم­سنجش به عنوان محرک­های اصلی کنجکاوی

·       مطالعه کنجکاوی و متغیرهای هم­سنجش در AI

·       معرفی متغیر هم­سنجش جدیدی به نام پوشش فضا برای کنجکاوی مصنوعی

·       بررسی و دسته­بندی تحقیقات مدل­های محاسباتی در کنجکاوی مبتنی بر متغیرهای هم­سنجش

·       آنالیز مفهوم، مزایا و چالش­ها(محدودیت­ها) و معیارهای پاداش در این تحقیقات

 

1-2-                      انتخابات مقالات

از میان حجم گسترده­ای از پژوهش­های انجام شده در این حوزه، مقالات مورد استفاده در این پژوهش با توجه به معیارهای مشخصی انتخاب شده‌اند که عبارتند از:

·       کلید واژه­ها: در مرحله نخست پژوهش، با بهره­گیری از پایگاه داده‌ی گوگل اسکالر⁷، مقالاتی که حداقل یکی از مفاهیم کنجکاوی، یادگیری ماشین، و مدل­های محاسباتی را در کنار متغیرهای کنجکاوی نظیر نوآوری، پیچیدگی و عدم قطعیت و ... بررسی می­کردند، استخراج شدند. برای این منظور از الگوی زیر استفاده شده است:

[curiosity_concept] + [collative_variables] + [machine_learning_term] and/or [model_term] .       curiosity_concept: curiosity or curiosity-driven or artificial curiosity .       collative_variables: novelty or change or complexity or uncertainty or surprisingness or incongruity or conflict .       machine_learning_term: learning or reinforcement learning or machine learning .       model_term: model or computational model or structure

 

شایان ذکر است که برخی از پژوهش­های مورد بررسی، به جای ارائه یک تعریف صریح از کنجکاوی از منظر روانشناسی، به معرفی مدل­هایی پرداخته­اند که عملکرد آن­ها به طور ضمنی مفهوم کنجکاوی را بازتاب می­دهد. به ویژه در مطالعات مربوط به زیر بخش «پوشش فضایی»، این تطابق به وضوح قابل مشاهده است. در این دسته از پژوهش­ها، اگرچه محققان لزوماً از واژه «کنجکاوی» استفاده نکرده­اند، اما مدل­های پیشنهادی آن­ها به خوبی توانسته­اند رفتارهای اکتشافی و جستجوی اطلاعات جدید را شبیه­سازی کنند که از ویژگی­های بارز کنجکاوی انسانی است. 

·       سال و ارجاع: در گردآوری منابع این پژوهش، تلاش شده است تا تمرکز بر مقالات منتشر شده در سال­های اخیر باشد. با این حال، به منظور ارائه یک مرور جامع بر موضوع، برخی از مقالات بنیادین و تأثیرگذار که پیشگامان این حوزه محسوب می­شوند، علی‌رغم قدمت انتشارشان، در فهرست منابع گنجانده شده است. همچنین، مقالاتی که بیشترین تعداد ارجاعات را به خود اختصاص داده­اند، به عنوان منابع کلیدی مورد توجه قرار گرفته­اند.

·       محل چاپ: جهت تضمین اعتبار یافته­های پژوهش، منابع مورد استفاده در این مطالعه از میان مقالات چاپ شده در ژورنال­های معتبر بین­المللی همچون IEEE، ACM، Springer و Oxford University Press انتخاب شده است. همچنین، کنفرانس­های برجسته‌­ای در حوزه رایانه و AI از جمله AAAI، ICLR، ICML، CVPR و NeurIPS به عنوان منابع اصلی مقالات کنفرانسی مدنظر قرار گرفته­اند. با توجه به نقش فزاینده­ی آرشیوهای پیش‌چاپ مانند arXiv در انتشار سریع یافته­های پژوهشی، برخی از مقالات منتشر شده در این پلتفرم نیز در این پژوهش مورد بررسی قرار گرفته­اند.

 

1-3-                      ساختار مقاله

این مقاله به شرح زیر سازماندهی شده است. در بخش ۲ مروری کوتاه بر مطالعات روانشناختی کنجکاوی انسان ارائه می­دهیم و رابطه کنجکاوی با انگیزش درونی بررسی شده و به جایگاه متغیرهای هم­سنجش در کنجکاوی می پردازیم. در ادامه در بخش ۳، مدل­های محاسباتی موجود کنجکاوی را در AI از دریچه متغیرهای هم­سنجش مورد بررسی و ارزیابی قرار داده­ایم. محدودیت­ها، کاربردها و جهت­گیری تحقیقات آینده این حوزه را در بخش ۴ ارائه کرده­ایم. در نهایت، در بخش ۵، به جمع بندی می­پردازد.

 

2-       کنجکاوی در روانشناسی

در چند دهه گذشته، تحقیقات گسترده و تجزیه و تحلیل‌های تجربی بر روی مکانیسم­های زیستی کنجکاوی در مطالعات رفتاری، نوروبیولوژیکی و شناختی انجام شده است[23,26] . در ابتدا کنجکاوی به عنوان هیجانی نزدیک به ترس طبقه‌بندی می­شد [27]. در آن زمان، نظریه­های مبتنی بر «سائق⁸» محبوبیت پیدا کردند، در حالی که کنجکاوی ممکن بود با احساس ناخوشایند محرومیت همراه باشد و از طریق مجموعه­ای از رفتارهای اکتشافی کاهش یابد [28,29]. منظور از سائق حالتی درونی است که موجود زنده را به فعالیت وا می‌دارد یا رفتار خاصی را برمی‌انگیزد. پس از آن، اولین چارچوب نظری کامل مبتنی بر سائق توسط لورنز⁹ [30] ارائه شد. در نیمه دوم قرن بیستم، هب¹⁰  [31] و پیاژه¹¹ [32] در تحقیقاتی به طور مستقل نشان دادند که کنجکاوی با نقض انتظار بر اساس دانش موجود ایجاد می‌شود. نظریه شایستگی [33] (گسترش یافته در [34]) بیان داشت که کنجکاوی انگیزه‌ای برای «شایستگی» است که ناشی از میل به تسلط بر محیط است. البته بیشتر روانشناسان معتقدند که کنجکاوی یک انگیزش درونی¹²  است که محرک رشد شناختی انسان و حیوان است [31]. در دهه ۱۹۵۰، اکثر تحقیقات در مورد کنجکاوی بر زیربنای روانشناختی آن متمرکز بود [35]. برلین¹³ [33] کنجکاوی را در دو طیف دسته بندی کرد: ۱) از کنجکاوی ادراکی (حسی) به کنجکاوی معرفتی¹⁴ (شناختی)، و ۲) از کنجکاوی خاص¹⁵ به کنجکاوی گسترده (گوناگون)¹⁶. کنجکاوی ادراکی ریشه در حواس ما دارد و در همه موجودات زنده از جمله حیوانات دیده می‌شود (مانند حس لامسه، بینایی، چشایی). کنجکاوی معرفتی سطح بالاتری دارد و مختص انسان است. این کنجکاوی به دنبال کسب دانش و اطلاعات جدید است. کنجکاوی خاص وقتی برانگیخته می­شود که به دنبال پاسخ سوال خاصی باشیم. کنجکاوی گسترده یک انگیزه کلی برای جستجوی اطلاعات بدون جهت خاص است و عمدتاً برای رفع خستگی به کار می­رود. اسپیلبرگر¹⁷ و استار¹⁸ [36] کنجکاوی گسترده را با محرک­های «سطح پایین» و کنجکاوی خاص را با محرک­های «سطح بالا» مرتبط کردند. با این حال، اشمیت¹⁹ و لاهرودی²⁰ [37] با این تصور که کنجکاوی می‌تواند گسترده باشد، مخالف هستند آن ها به جای کنجکاوی گسترده، به تمایل کلی به دانش به عنوان «جستجوگری» اشاره کردند. با این وجود، اجماع کلی روانشناسان بر رابطه نزدیک بین کنجکاوی و شناخت، به عنوان محرکی برای کاوش محرک­های جدید یا علاقه به دانش اشاره دارد [11].

2-1- رابطه کنجکاوی با انگیزش درونی

انگیزش درونی و کنجکاوی مفاهیمی نزدیک به هم در حوزه روانشناسی هستند، به ویژه در زمینه یادگیری و رفتار. انگیزش درونی به معنای انجام فعالیتی به خاطر رضایت ذاتی آن است، نه به خاطر نتیجه جداگانه یا پاداش خارجی [38]. از سوی دیگر، کنجکاوی تمایل به کسب دانش یا تجربیات جدید است و اغلب تحت تأثیر علاقه­ی طبیعی یا شیفتگی به موضوع موردنظر شکل می­گیرد. تحقیقات نشان می­دهد که کنجکاوی می­تواند به طور قابل توجهی انگیزش درونی را افزایش دهد و محرک داخلی قوی برای کاوش و یادگیری فراهم کند. طبق نظریه خودتعیینی²¹ دسی²² و رایان²³ [38]، فعالیت­هایی که نیازهای روا­شناختی اساسی برای خودمختاری، شایستگی و ارتباط را برآورده می­کنند، به احتمال زیاد انگیزش درونی را افزایش می­دهند. کنجکاوی این نیازها را با ترویج حس خودمختاری از طریق کاوش خودهدایت شده، پرورش شایستگی با تشویق به تسلط بر مهارت­ها و دانش جدید و تقویت ارتباط برآورده می‌کند [38]. علاوه بر این، مطالعات تجربی نشان داده­اند که کنجکاوی نه تنها انگیزش درونی را تحریک می­کند بلکه عملکرد شناختی و تحصیلی را نیز بهبود می­بخشد [39]. علاوه بر این، تحقیق [40] نشان می­دهد کودکانی که سطوح بالایی از کنجکاوی را نشان می­دهند، انگیزش درونی بیشتری دارند که منجر به یادگیری مؤثرتر و دستاوردهای تحصیلی بالاتر در طول زمان می­شود. تحقیقات علوم اعصاب نیز از ارتباط بین انگیزش درونی و کنجکاوی حمایت می­کند. مطالعات با استفاده از تصویربرداری تشدید مغناطیسی عملکردی²⁴ نشان داده­اند که کنجکاوی، نواحی مغز مرتبط با پاداش و حافظه، مانند میان‌مغز²⁵ و هیپوکامپ²⁶ را فعال می­کند. این نشان می­دهد که مکانیسم­های عصبی زمینه‌ساز انگیزش درونی به شدت به مکانیسم­هایی که کنجکاوی و پردازش پاداش را کنترل می­کنند، مرتبط هستند [41].

 

2-2- متغییرهای هم­جنس

متغیرهای هم­سنجش²⁷، مانند پیچیدگی، تازگی، ابهام²⁸ و شگفتی²⁹، نقش مهمی در تحریک کنجکاوی ایفا می­کنند. طبق نظریه برلین، این متغیرها ویژگی­های محرک­هایی هستند که با ایجاد وضعیتی از عدم قطعیت و برانگیختگی در فرد، کنجکاوی را برانگیخته می­کنند. این برانگیختگی منجر به رفتار کاوشگرانه می­شود، زیرا فرد می­خواهد عدم قطعیت را برطرف کرده و اطلاعات بیشتری در مورد محرک به دست آورد [42]. علاوه بر این، رابطه بین متغیرهای هم­سنجش و کنجکاوی در AI کاربردهای عملی دارد. همانطور که در [11] پیشنهاد شده است، نظریه کنجکاوی روانشناختی ارائه شده توسط برلین [13] می­تواند به عنوان مبنای اندازه­گیری محاسباتی کنجکاوی مصنوعی با تعیین شدت محرک (دریافت شده از محیط) با استفاده از یک یا چند متغیر هم­سنجش معرفی شود. در بخش بعدی، متغیرهای کلیدی مورد استفاده در مدل‌سازی کمی کنجکاوی مصنوعی تشریح خواهند شد. این متغیرها نقش محوری در ساختار چارچوب یکپارچه‌ای دارند که به منظور اندازه‌گیری دقیق و جامع انواع مختلف کنجکاوی مصنوعی طراحی شده است.

 

3-       کنجکاوی در هوش مصنوعی

کنجکاوی در AI به عنوان یک جزء حیاتی برای توانمندسازی عامل­ها در کاوش خودکار محیط­های خود و کسب دانش جدید ظهور کرده است. اهمیت غیرقابل انکار کنجکاوی برای دستیابی نهایی به دانش مفید، محققان AI را به توسعه الگوریتم­های یادگیری کنجکاو ترغیب کرده است. این تلاش­ها منجر به تنوع زیادی از مکانیسم­ها برای فعال کردن یادگیری مبتنی بر کنجکاوی در عامل­های مصنوعی شده است [44].

 

3-1- متغییرهای هم­جنس در هوش مصنوعی

در AI، الگوریتم­هایی که بر اساس متغیرهای هم­سنجش، کنجکاوی را مدل می­کنند، قابلیت یادگیری و تعمیم­پذیری بهتری را نشان داده­­اند، زیرا این سیستم­ها برای کاوش و یادگیری مؤثر از محیط خود هدایت می­شوند. این ادغام متغیرهای هم­­سنجش در سیستم­­های یادگیری، نقش اساسی آن­ها را در پرورش کنجکاوی و بهبود فرآیندهای یادگیری انسان و ماشین برجسته می­کند [43].

یکی از روش­های کمی‌سازی کنجکاوی، اندازه­گیری آن بر اساس یک یا چند متغیر هم­سنجش با در نظر گرفتن محرک­هایی است که از محیط دریافت می­شود. به طور خاص، متغیرهای هم‌سنجش مجموعه­ای از اطلاعات از منابع مختلف هستند که بر اساس دانش قبلی یا انتظارات در زمینه­های مرتبط، شباهت­ها و تفاوت­ها را نسبت به محیط تشخیص می­دهند [43,45]. در اینجا ما نگاهمان به این متغیرها و ترجمان آن­ها در حوزه AI و مدل­های محاسباتی مبتنی بر پژوهش­های [11] و [8] که بر پایه تحقیقات برلین [13] است، می­باشد. متغیرهای اصلی هم­سنجش به شرح زیر تعریف می­شوند:

·       تازگی:  به معنای درک محرک یا اطلاعات جدید (تجربیات) است. میزان تازگی یک محرک با سه عامل به طور معکوس مرتبط است: ۱) تعداد دفعات برخورد با محرک­های مشابه در گذشته، ۲) زمان آخرین مواجهه با محرک، و ۳) میزان شباهت محرک به محرک­های قبلی. به عبارت دیگر، هر چه محرک جدیدتر باشد و کمتر با آن روبرو شده باشیم و از نظر ظاهری یا عملکردی با محرک­های قبلی تفاوت بیشتری داشته باشد، از تازگی بیشتری برخوردار خواهد بود.

·       تغییر³⁰: هنگام تأثیر محرک روی گیرنده­ها، حرکت را نشان می­دهد. تغییر را می­توان با اختلاف بین دو بازه­ی زمانی اندازه­گیری کرد.

·       شگفتی: زمانی رخ می­دهد که نتیجه حاصل شده از یک محرک متفاوت با انتظار ما باشد.

·       تناقض³¹: اگر نتیجه­ای به هیچ عنوان قرار نیست از یک محرک ایجاد شود ولی دقیقا آن نتیجه حاصل شود، تناقض به وجود آمده است.

·       پیچیدگی: تقریباً به تنوع یا گوناگونی در یک الگوی محرک اشاره دارد. سه ویژگی اصلی که درجه‌ی پیچیدگی را تعیین می­کنند عبارتند از: ۱) تعداد عناصر قابل تشخیص در یک محرک، ۲) عدم شباهت بین این عناصر، و ۳) درجه­ای که چندین عنصر به عنوان یک واحد درک، و به آن‌ها پاسخ داده می­شود.

·       عدم قطعیت: زمانی بروز می­کند که یک موجود زنده در انتخاب پاسخ به یک محرک دچار مشکل شود. درجه­ی عدم قطعیت را می­توان با استفاده از اشکال مختلف آنتروپی طبق نظریه اطلاعات، با تشخیص (طبقه­بندی) محرک دریافتی یا پاسخ به دسته­های مختلف، به صورت کمی اندازه‌گیری کرد.

·       تعارض³²: زمانی رخ می­دهد که یک محرک دو یا چند پاسخ ناسازگار را در یک موجود زنده برانگیزد. پاسخ­ها می­توانند به چندین روش با یکدیگر ناسازگار باشند. اولاً، برخی پاسخ­ها ذاتاً با یکدیگر متضاد هستند. به عنوان مثال، هیچ موجودی نمی­تواند همزمان به جلو و عقب حرکت کند. پاسخ­های دیگر ممکن است در ابتدا بتوانند با هم اجرا شوند، اما از طریق یادگیری ناسازگار شوند. به عنوان مثال، ما به ندرت هنگام دست دادن اخم می­کنیم. دلیل سوم ناسازگاری به توانایی محدود موجود زنده در انجام چند وظیفه به طور همزمان، نسبت داده می­شود. به عنوان مثال، توانایی استثنایی در نظر گرفته می­شود اگر شخصی بتواند همزمان دو کتاب را بخواند.

لازم به ذکر است که تغییر، شگفتی و تناقض می‌توانند به عنوان یک متغیر تکمیلی تازگی در نظر گرفته شوند.

علاوه بر متغیرهای فوق، ما متغیر جدیدی به نام «پوشش فضا³³» را معرفی کرده­ایم. چرا که متغیرهای هم­سنجش شامل تشخیص شباهت­ها و تفاوت­ها بین محرک فعلی و تجربیات قبلی هستند. پوشش فضا با این امر همخوانی دارد و نشان می‌دهد که عامل چقدر از محیط (فضای مسئله) را کاوش کرده است. به بیان دقیق­تر برای تعریف آن می­توان گفت: پوشش فضایی به میزان کاوش یک عامل در مناطق مختلف درون یک فضای مسئله تعریف می­شود. این مفهوم تمایل عامل را برای بررسی و تعامل با مجموعه­ای متنوع از مکان­ها یا وضعیت­ها در محیط به تصویر می­کشد. برای اینکه یک متغیر بتواند جزء متغیرهای هم سنجش قرار گیرد باید ویژگی­های زیر را داشته باشد:

·       قابلیت اندازه­گیری کمی: می­توان پوشش فضایی را به عنوان درصدی از فضای مسئله که عامل بازدید یا با آن تعامل داشته است تعریف کرد.

·       اختصاصی بودن: متغیرهای همبستگی کنونی مانند تازگی و پیچیدگی کلی­تر هستند. ممکن است بخواهیم انواع خاصی از پوشش فضایی را بسته به فضای مسئله تعریف کنیم. به عنوان مثال، کاوش مناطق جدید در مقابل بازدید مجدد از مناطق قبلاً کاوش شده با اعمال مختلف.

·       قابلیت ادغام با سایر متغیرهای موجود: ممکن است با سایر متغیرها ترکیب شود یا به عنوان یک عامل وزنی بسته به وظیفه خاص و رفتار کاوش مورد نظر استفاده شود.

 

3-2-  مدل­های محاسباتی در کنجکاوی

با توجه به حجم تحقیقات انجام شده، تقسیم­بندی ما در هفت گروه: تازگی، تغییر، تعارض، پیچیدگی، عدم قطعیت، شگفتی و تناقض، پوشش فضا خواهد بود. این تقسیم­بندی در شکل ۱ نشان داده شده است.

 

شکل ۱: انواع مدل­های محاسباتی در کنجکاوی

3-2-1- مدل­های مبتنی بر تازگی

کنجکاوی مبتنی بر تازگی به‌عنوان یک انگیزش درونی کلیدی عمل می­کند که عامل­های هوشمند را به کاوش در حالات جدید و ناشناخته سوق می­دهد. این نوع کنجکاوی بر این اصل استوار است که مواجهه با محرک­های جدید می­تواند پاداش­های درونی ایجاد کند و حتی در محیط­هایی با پاداش­های بیرونی محدود، کاوش را تشویق می­کند. به‌طور کلی، کنجکاوی مبتنی بر تازگی به‌عنوان یک متغیر هم‌سنجش در عامل­های هوشمند عمل می­کند و به‌طور معکوس با فرکانس مواجهه با محرک­های مشابه همبستگی دارد؛ یعنی عامل­ها تمایل دارند تا از تعامل مکرر با حالات آشنا اجتناب کرده و به‌دنبال حالات جدید باشند. این امر منجر به یادگیری رفتارهای جدید و کسب مهارت­های بیشتر می­شود [51]. با وجود این، رویکرد صرفاً مبتنی بر تازگی ممکن است بهینه نباشد، زیرا در برخی موارد بازبینی حالات قبلی می‌تواند مفید باشد. تازگی را می‌توان بر اساس تراکم مواجهه با محرک­های مشابه اندازه‌گیری کرد؛ شمارش دفعات بازدید از حالات یا جفت­های حالت-عمل می‌تواند شاخصی از تازگی و کنجکاوی باشد. کاوش مبتنی بر تازگی، با ایجاد انگیزه برای کشف محرک­های ناآشنا، درک جامعی از محیط فراهم می­کند و به بهبود یادگیری و توانایی‌های انطباقی منجر می­شود. مطالعات اخیر نشان داده­اند که عامل­هایی که از مکانیزم­های هدایت‌شده با تازگی بهره می­برند، عملکرد بهتری در وظایف مختلف دارند [46,47]. این یافته­ها بر اهمیت گنجاندن این نوع کنجکاوی در طراحی سیستم­های مستقل برای تقویت رفتارهای یادگیری مؤثر و سازگار تأکید می­کند.

یکی از نخستین تحقیقات در زمینه­ی مدل­سازی کنجکاوی محاسباتی توسط ماکدو³⁴ و کاردوزو³⁵ [49] انجام شد. آنها مدلی برای ربات­هایی که در محیط­های ناشناخته کاوش می­کنند، ارائه دادند که بر مبنای مفاهیمی همچون تازگی، شگفتی و عدم قطعیت عمل می­کند. این مدل محیط را به صورت شبکه­ای از اشیاء نمایش می­دهد، که هر شیء به عنوان یک «محرک» کنجکاوی ربات در نظر گرفته می­شود. برای سنجش تازگی هر شیء، ابتدا ویژگی­های اشیاء در یک قالب مشترک قرار می­گیرند و سپس به کدهای عددی تبدیل می­شوند. تفاوت بین اشیاء از طریق محاسبه‌ی فاصله‌ی همینگ³⁶، که تعداد عدم تطابق­ها را اندازه­گیری می­کند، مشخص می­شود. شیئی که کمترین شباهت به اشیاء قبلی داشته باشد، بالاترین تازگی و «ارزش کنجکاوی» را دارد و احتمال بیشتری برای کاوش توسط ربات خواهد داشت. این مدل از استراتژی «اضافه کردن تک به تک، بهترین در ابتدا³⁷» استفاده می­کند، به این معنی که ربات همیشه شیء با بالاترین تازگی را برای کاوش انتخاب می­کند. آیا ماشین‌ها می‌توانند خلاق باشند؟ ساندرس³⁸ و گرو³⁹ [50] با طراحی مدلی از کنجکاوی برای عامل­های طراحی، به بررسی این سؤال پرداخته­اند. این مدل بر ارزیابی «جذابیت» الگوهای طراحی جدید بر اساس تجربیات گذشته‌ی عامل تمرکز دارد و به عامل کمک می­کند تا تصمیم بگیرد کدام الگوها ارزش کاوش بیشتری دارند. فرآیند با مقایسه­ی هر الگوی طراحی جدید با الگوهای موجود در «فضای مفهومی طراحی» آغاز می­شود. این فضا، که توسط یک نقشه‌ی خودسازمان‌دهنده⁴⁰ مدل­سازی شده، نمایانگر دانش عامل از الگوهای قبلی است. الگوهای جدید بر اساس میزان شباهت به طرح‌های موجود ارزیابی می‌شوند؛ هرچه شباهت بیشتر باشد، تازگی کمتر و در نتیجه جذابیت آن کاهش می‌یابد. این مدل با استفاده از ایجاد تعادلی بین تازگی و آشنایی مقدار کنجکاوی را محاسبه می­کند.

الگوهایی که نه بیش از حد آشنا و نه کاملاً بیگانه هستند، جذاب­تر به نظر می­رسند و مقدار کنجکاوی بالاتری دارند. این مقدار جذابیت عامل را به سمت کاوش ایده­های جدیدتر و خلاقانه­تر هدایت می­کند. این مدل نشان می­دهد که کنجکاوی، تحت تأثیر تازگی، می­تواند نقشی کلیدی در تقویت خلاقیت در ماشین­ها ایفا کند.

[48] یک معماری برای ربات­های کنجکاو و بازپیکربندی شونده ارائه کرد که بازی و تفکر طراحی خلاقانه را تشویق می­کند. این ربات­ها در واکنش به تغییرات در ساختار خود، رفتارهای جدیدی را یاد می­گیرند و این باعث تشویق به آزمایش، تأمل و تخیل می­شود. در این تحقیق در مورد چگونگی اینکه این ربات­ها می­توانند از طریق یک مدل محاسباتی کنجکاوی و RL، رفتارهای جدیدی را یاد بگیرند، صحبت می­شود. در بسیاری از تحقیقات، علاقه فزاینده­ای به استفاده از روش­های اکتشاف مبتنی بر شمارش برای بهبود عملکرد عامل تقویتی وجود دارد. بلمر⁴¹ و همکاران [54] رویکردی مبتنی بر شمارش را با انگیزش درونی در RL ترکیب کرده‌­ند. آن­ها مفهومی جدید به نام « شمارش کاذب⁴²» را معرفی می­کنند که با استفاده از مدل­های چگالی، اکتشاف مبتنی بر شمارش را به تنظیمات غیرجدولی تعمیم می­دهد. این روش به بهبود اکتشاف در محیط­های پیچیده­ای مانند بازی­های ویدیویی کمک می­کند، جایی که روش­های سنتی مبتنی بر شمارش با مشکل مواجه می­شوند. این رویکرد امکان اکتشاف مبتنی بر تازگی را حتی در وظایف کنترل پیوسته، که در آن­ها تعداد وقوع حالات بسیار کم یا صفر است، فراهم می­کند. برای کاهش پیچیدگی مدل برای پیاده­سازی اکتشاف مبتنی بر تازگی (تعداد) و در نتیجه قابلیت تعمیم روش­های اکتشاف مبتنی بر شمارش به فضاهای حالت با ابعاد بالا و پیوسته، تانگ⁴³ و همکاران [55]، تابع هش⁴⁴ کردن رمزگذاری شده را برای نگاشت فضای حالت پیوسته با ابعاد بالا به یک فضای ویژگی با ابعاد پایین پیشنهاد کردند. البته آموزش یک کد هش مبتنی بر رمزگذار خودکار⁴⁵ نیازمند به‌روزرسانی تعداد زیادی پارامتر است که می­تواند فرآیند یادگیری را کند نماید.

[57] مکانیزم جدیدی برای کنجکاوی در RL پیشنهاد می­دهد که از حافظه اپیزودیک برای تعیین پاداش­های نوآوری بر اساس قابلیت دسترسی استفاده می­کند. به‌جای تکیه صرف بر شگفتی یا غیرقابل پیش‌بینی بودن، این رویکرد بر میزان تلاش لازم برای رسیدن به یک حالت جدید از حالات قبلی تمرکز دارد. هدف این مکانیزم، کاهش مشکل تمرکز بر رفتارهای تصادفی به جای اکتشاف معنادار است. تازگی در این رویکرد به‌صورت ضمنی و بر اساس قابلیت دسترسی به حالت­های جدید سنجیده می­شود. با استفاده از تعداد مراحل لازم برای رسیدن به حالت­های جدید از طریق حافظه تجربه‌شده‌ی ذخیره‌شده در یک بافر حافظه، می­توان درجه تازگی را کمّی‌سازی کرد. این تازگی مبتنی بر قابلیت دسترسی، پاداش­های درونی را شکل می‌­دهد که عامل را به کاوش در حالات کمتر آشنا سوق می‌دهد. کیم⁴⁶ و همکاران [58] برای ارزیابی تازگی مرتبط با وظیفه، از چارچوب گلوگاه اطلاعات واریانس  [59]استفاده کردند. این روش به‌منظور فشرده­سازی اطلاعات غیرضروری و حفظ داده­های مرتبط با وظیفه، از شبکه­های عصبی و پارامتری­سازی مجدد بهره می­برد. هدف این رویکرد، بهبود عملکرد مدل و افزایش مقاومت آن در برابر حملات تهاجمی است. علاوه بر تشویق اکتشاف، کنجکاوی همچنین باعث بهبود کارایی نمونه­ها⁴⁷ می­شود. با بازپخش مکرر تجربیات جدید، عامل‌ها می‌توانند با سرعت بیشتری سیاست‌های بهینه را یاد بگیرند. الگوریتم‌های RL مستقل از سیاست معمولاً از یک بافر بازپخش برای ذخیره مجموعه­های گذار⁴⁸ استفاده می­کنند که در طول آموزش مدل به‌طور یکنواخت نمونه­برداری و در فرآیند یادگیری به کار گرفته می­شوند.

برای تشویق عامل به تمرکز بر تجربیات کمتر کاوش شده (جدید)، [18] یک چارچوب اولویت­دهی مبتنی بر کنجکاوی⁴⁹ پیشنهاد کرده است که مسیرهایی با حالات هدف نادر را بیش از حد نمونه­برداری می­کند. این روش بهبود کارایی یادگیری و عملکرد را هدف قرار داده است. البته باید اشاره کرد که در صورت عدم وجود پاداش بیرونی، این روش ممکن است قادر به یادگیری یک سیاست بهینه نباشد. بسیاری از نظریه­های کلاسیک RL برای توضیح رفتار انسانی در محیط­های پویا بدون پاداش­های خارجی کافی نیستند. [60] استدلال می­کند که هر دو عامل شگفتی و نوآوری نقش­های متفاوتی در تصمیم­گیری انسانی دارند، به‌طوری‌که نوآوری به اکتشاف کمک می­کند و شگفتی نرخ­های یادگیری را افزایش می­دهد. در این مقاله، یک مدل RL هیبریدی معرفی می­شود تا اثرات شگفتی، نوآوری و پاداش را بر رفتار انسانی و سیگنال­های EEG⁵⁰ تفکیک کند. مدل از یک الگوی تصمیم­گیری عمیق و دنباله­دار با پاداش­های خلوت و تغییرات ناگهانی محیط استفاده می­کند. سپس آزمایش­های رفتاری و ضبط­های EEG تحلیل می­شوند تا نشان دهند این عوامل چگونه بر اکتشاف، یادگیری و تصمیم­گیری تأثیر می­گذارند.

پژوهشگران در [61] به دنبال پاسخ به این سوال هستند که آیا انسان­ها مانند برخی الگوریتم­های یادگیری، به دلیل کنجکاوی و جستجوی نوآوری، از مسیر اصلی خود منحرف می­شوند؟ برای پاسخ به این سوال، آزمایشی طراحی شده است که در آن شرکت‌کنندگان باید در محیطی پیچیده به دنبال پاداش باشند. محققان با مقایسه رفتار انسان­ها با پیش­بینی­های مدل­های RL، به این نتیجه رسیده­اند که خوش­بینی نسبت به پاداش­های آینده، می­تواند باعث افزایش حواس‌پرتی و جستجوی بی­هدف شود. این یافته­ها نشان می­دهد که کنجکاوی، اگرچه نیروی محرکه­ای برای یادگیری و اکتشاف است، اما می­تواند منجر به اتخاذ تصمیمات غیر بهینه شود. [62] یک روش به نام کاوش هماهنگ چندعاملی ⁵¹ را توسعه داده است. این روش به عامل­های RL چندعاملی غیرمتمرکز اجازه می­دهد با به اشتراک­گذاری اطلاعات نوآوری به صورت هماهنگ کاوش کنند. این روش به چالش­های اندازه­گیری نوآوری جهانی از مشاهدات محلی و هماهنگی کاوش بین عامل­ها برای بهبود عملکرد در محیط­های با پاداش کم پاسخ می­دهد.

[52] رویکرد جدیدی در RL برای AI عمومی به نام OODA-RL⁵² معرفی کرده است که می­تواند به تغییرات جدید و غیرمنتظره در محیط­های باز پاسخ دهد. با بهره­گیری از حلقه مشاهده (جمع­آوری داده­ها از محیط)، جهت­گیری (تحلیل و بروزرسانی دانش بر اساس داده­های جدید)، تصمیم­گیری (انتخاب یک عمل)، و عمل (انجام عمل) که از تصمیم­گیری­های نظامی الهام گرفته شده، به عامل­ها اجازه می­دهد تا بدون قوانین از پیش تعیین شده به موقعیت­های جدید و حتی چالش­برانگیز پاسخ دهند و به این ترتیب، عامل­های RL بتوانند در محیط­های آشنا و جدید به صورت پویا سازگار شوند. برای کمک به ربات­ها در راستای کاوش وضعیت­های جدید به طور کارامدتر، [53] با استفاده از پاداش­های درونی مبتنی بر شناسایی نوآوری از طریق یک شبکه عصبی عمیق رمزگذار خودکار، کنترل ربات را بهبود می­بخشد. برای نیل به این هدف، RL همراه با پاداش­های درونی مبتنی بر فرکانس بازدید وضعیت­ها، کارایی را افزایش می­دهد. رمزگذار خودکار سیگنال­های حسگری را پردازش می­کند تا ناهنجاریها را شناسایی کرده و به عنوان پاداش­های درونی استفاده می­کند. در ادامه در جدول ۱ به مزایا و محدودیت­ها (چالش­ها) و معیار پاداش تحقیقات بیان شده در مدل­های مبتنی بر تازگی پرداخته است.

جدول ۱: مزایا، محدودیت­ها (چالش­ها) و معیار پاداش مدل­های مبتنی بر تازگی
مرجع	مزایا	معایب/چالش­ها/محدویت­ها	معیار پاداش
[50]	کاهش بار کاری طراح به دلیل تمرکز بر طراحی­های جالب، یادگیری تطبیقی به علت استفاده از نقشه­های خودسازمانده	محدودیت به فضاهای طراحی خاص، نیاز به اعتبارسنجی بیشتر	بر اساس سطح نوآوری تشخیص داده شده در طراحی­ها است. طراحی­هایی که کمتر معمول و نوآورتر هستند، جالب­تر محسوب می­شوند و بنابراین پاداش­های درونی بالاتری دریافت می­کنند.
[48]	تشویق به تفکر خلاقانه، یادگیری تطبیقی، فراهم کردن پلتفرمی برای یادگیری بازی‌محور مفاهیم الکترونیک و برنامه­نویسی کامپیوتری.	امکان محدود بودن تعداد کاربر به علت نمایش اولیه به پلتفرم Lego Mindstorms، وابستگی اثربخشی سیستم به میزان مشارکت و تمایل کاربر به آزمایش	معیارهای پاداش بر اساس توانایی ربات در کشف رفتارهای جدید و جالب در پاسخ به تغییرات ساختاری است.
[54]	بهبود اکتشاف در محیط­های پیچیده که روش­های سنتی مبتنی بر شمارش بی‌اثر هستند، تعمیم به تنظیمات غیرجدولی، عملکرد مناسب در بازی­های دشوار	پیچیدگی پیاده­سازی مدل­های چگالی برای شمارش­های کاذب به ویژه در فضاهای با ابعاد بالا، ناتوان در یادگیری از پیکسل­های خام بدون هزینه­های سرسام‌آور برای مدل چگالی	حداکثرسازی پاداش تجمعی عامل از طریق بهبود اکتشاف. استفاده از شمارش­های کاذب به هدایت اکتشاف به سمت حالت­های با عدم قطعیت بالاتر کمک می­کند.
[55]	رویکردی ساده برای اکتشاف مبتنی بر شمارش بدون نیاز به ترفندها یا مدل­های پیچیده، انعطاف­پذیری بالا چرا که این روش مکمل الگوریتم­های موجود RL است و می­تواند به راحتی در تنظیمات مختلف ادغام شود، نگاشت فضای حالت پیوسته با ابعاد بالا به یک فضای ویژگی با ابعاد پایین بوسیله تابع هش کدگذاری شده	وابستگی زیاد اثربخشی روش به طراحی تابع هش53،‌ هزینه بر بودن مدیریت و به روزرسانی جداول هش به ویژه در فضاهای حالت بسیار بزرگ، چالش در تعمیم به محیط­های بسیار پویا یا تغییر سریع به علت عدم سازگاری مناسب تابع هش	بر اساس پاداش­های اکتشافی ناشی از شمارش حالات است. به دنبال ارائه پاداش­های اضافی برای حالات کمتر بازدید شده است.
[57]	عملکرد بهتر از روش­های پیشرفته در معیارهای مختلف از جمله محیط­های سه‌بعدی پیچیده و وظایف تولیدی تصادفی، عملکرد موثر در محیط­های بصری غنی مانند VizDoom، DMLab و MuJoCo، حل مشکل مبل­نشین (تلویزیون نویزی)	چالش مدیریت حافظه اپیزودیک به طور مؤثر و اطمینان از اینکه بسیار بزرگ یا دست و پاگیر نشود، چالش تعیین آستانه مناسب برای اینکه چه چیزی به عنوان یک حالت نوآورانه در نظر گرفته می­شود، امکان عملکرد ضعیف در وظایف با مشاهده جزئی یا تنظیمات با نمونه­های کم	پاداش بر اساس نوآوری مشاهده، که با تلاش مورد نیاز برای رسیدن به آن از مشاهدات قبلاً مواجه شده تعیین می­شود. اگر تلاش بیشتر از آستانه معین باشد، عامل پاداش نوآوری دریافت می­کند که به پاداش واقعی وظیفه اضافه می­شود.
[18]	بهبود عملکرد در وظایف دستکاری رباتیک، یادگیری متعادل­تر و عملکرد کلی بهبود یافته­تر عامل به خاطر رسیدگی به مشکلات عدم تعادل حافظه و تعصب نمونه، قابلیت ادغام با الگوریتم­های مختلف RL مستقل از سیاست، بهبود کارایی نمونه از طریق بازپخش تجربه‌ی اولویت­دار	بار محاسباتی اضافی به دلیل تخمین چگالی و اولویت­دهی به مسیرها، وابستگی شدید اثربخشی روش به تخمین چگالی، ناتوان در یادگیری کارآمد از پیکسل­های خام	به طور ضمنی به تعادل تجربیات در بافر حافظه مرتبط هستند. چارچوب پیشنهادی معیارهای پاداش صریحی را تعریف نمی­کند، بلکه بر روی اولویت­دهی و نمونه­برداری بیش از حد از مسیرهایی که وضعیت­های هدف نادر دارند، تمرکز دارد.
[62]	به هزینه ارتباطی کمی نیاز دارد که آن را برای تنظیمات غیرمتمرکز عملی می‌سازد، می‌توان در محیط‌های مختلف چندعاملی اعمال کرد که نشان‌دهنده تنوع و قابلیت گسترش آن است.	به یک شبکه ارتباطی کاملاً متصل برای به اشتراک‌گذاری نوآوری نیاز دارد که ممکن است در همه سناریوها عملی نباشد، چالش در سیستم‌های بسیار بزرگ مقیاس به دلیل نیاز به اشتراک‌گذاری نوآوری بین عوامل متعدد	ترکیبی از پاداش مبتنی بر نوآوری: برای کاوش حالت‌ها و مشاهدات جدید داده می‌شود و پاداش‌های مبتنی بر گذشته‌نگر54: بر اساس اطلاعات متقابل وزنی که تأثیر اعمال یک عامل بر نوآوری به دست آمده توسط دیگران را اندازه‌گیری می‌کند، فراهم می‌شود.
[61]	ارائه بینش­هایی در مورد چگونگی تأثیر کنجکاوی و خوش­بینی بر کاوش و تصمیم­گیری انسانی، افشای الگوهای حواس­پرتی که نشان می­دهد چگونه حواس­پرتی مبتنی بر نوآوری بر کاوش تأثیر می­گذارد.	محدودیت­های تنظیمات تجربی، چالش برانگیز بودن اندازه­گیری و تعریف «خوش‌بینی به پاداش»	پاداش­های درونی مبتنی بر نوآوری، شگفتی و کسب اطلاعات است. پاداش­های مبتنی بر نوآوری بر کاوش حالت­های جدید و شگفت‌انگیز تمرکز دارد، در حالی که پاداش­های مبتنی بر کسب اطلاعات به جمع‌آوری اطلاعات مفید مربوط می­شود.
[60]	ارائه پاداش بهبود یافته به خاطر درک دقیق­تری از رفتار انسانی با تفکیک بین شگفتی، نوآوری و پاداش، مدل­سازی واقعی­تر رفتار تصمیم­گیری انسانی در محیط­های پویا با پاداش­های پراکنده55 و تغییرات ناگهانی، امکان ارائه بینش­های عمیق­تری از پایه­های عصبی به علت توانایی تفکیک شگفتی، نوآوری و پاداش در سیگنال­های EEG	اضافه کردن پیچیدگی به خاطر مدل هیبریدی RL و نیاز به تحلیل دقیق EEG، چالش برانگیز بودن تفسیر و تفکیک اثرات شگفتی، نوآوری و پاداش در هر دو رفتار و سیگنال­های EEG و نیاز به تکنیک­های تحلیل پیشرفته	ارزیابی توانایی پیش­بینی تصمیمات انسانی و تغییر نرخ­های یادگیری در پاسخ به این عوامل، و همچنین توانایی تفکیک این اثرات در سیگنال­های EEG
[52]	سازگاری بهبود یافته با تغییرات غیرمنتظره در محیط­های باز، امکان تنظیمات در زمان واقعی و کاهش وابستگی به قوانین از پیش تعریف شده با استفاده از یادگیری فعال	پیچیدگی در پیاده­سازی، وابستگی به داده­های با کیفیت و چالش ­برانگیز بودن اندازه­گیری موفقیت در محیط باز به دلیل تنوع و تازگی سناریوها	بر اساس موفقیت عامل در سازگاری با موقعیت­های جدید و دستیابی به اهداف وظیفه
[53]	بهبود کارایی کاوش و کاهش مشکل پاداش­های خلوت	استفاده از رمزگذار خودکار ممکن است پیچیدگی­هایی را از نظر آموزش و ادغام به همراه داشته باشد. کاهش کارایی پاداش­های درونی در صورت عدم شناسایی نوآوری به صورت بهینه	شامل پاداش­های درونی مبتنی بر فرکانس بازدید از وضعیت­های مختلف در محیط

3-2-2- مدل­های مبتی بر تغییر

کنجکاوی می­تواند با تغییر محرک برانگیخته شود. در RL، این متغیر هم­سنجش به تغییر قابل توجهی در محیط پس از انجام یک عمل خاص توسط عامل اشاره دارد. این مفهوم که با عنوان «کجکاوی مبتنی بر تغییر» شناخته می­شود، بر میزان تغییر محیط پس از انجام یک عمل توسط عامل تمرکز دارد [63]. فرض کنید محرکی مانند یک تصویر یا صدا بر حسگرهای عامل تأثیر می­گذارد. تغییر در محیط را می­توان با مقایسه­ی وضعیت (مجموعه­ای از تمام ادراکات عامل) در دو لحظه­ی مختلف اندازه­گیری کرد. به طور شهودی، هنگامی که اعمال عامل منجر به تغییرات قابل توجهی در محیط شود، کنجکاوی آن­ها افزایش می­یابد و در نتیجه مهارت­های تأثیرگذاری را برای کنترل محیط یاد می­گیرند [8]. نکته­ی مهم این است که این تغییر، در کنار تازگی، می­تواند به عنوان یک عامل ثانویه در تعیین میزان «جذابیت» یک موقعیت برای عامل در نظر گرفته شود [63]. در اینجا، تغییر محیط را می­توان بر اساس ویژگی­های مختلفی مانند: ۱) تغییر در وضعیت ۲) ارائه اطلاعات جدید (مانند کشف یک ورودی یا خروجی جدید) ۳) ایجاد پیامدهای غیرمنتظره (پاداش­های بالا یا پایین غیرمنتظره) سنجید.

در زمینه یادگیری حسی-حرکتی ربات، مدلی برای هدایت توجه ربات به تغییرات محیط ارائه شده است [64]. این روش به سیستم این امکان را می­دهد که بر روی نواحی جالب­تر در فضای یادگیری تمرکز کند؛ این نواحی معمولاً شامل مواردی هستند که در آن­ها دقت پیش­بینی می­تواند بهبود یابد. ربات به سمت مناطقی هدایت می­شود که در آن­ها پیش­بینی­ها دقیق نیستند یا تغییرات جدیدی رخ داده است، در حالی که از نواحی بدون قابلیت بهبود دوری می­کند. هدف این مدل اندازه­گیری میزان تغییرات در یک محرک نیست، بلکه بر چگونگی واکنش به این تغییرات تمرکز دارد. به همین دلیل، سیستم به بررسی سطح تحریک یا کنجکاوی ناشی از تغییرات نمی‌پردازد، بلکه مکانیزم­هایی برای هدایت مجدد توجه به تغییرات را ارائه می­دهد. تمرکز توجه ربات از طریق توزیع گوسی⁵⁶ تعیین می­شود که نمونه­برداری از داده­های آموزشی را در فضای موتور لیزر کنترل می­کند. مرکز این توزیع به‌وسیله میانگین N نمونه آخر به‌دست آمده و توجه ربات را به مناطقی که به‌طور اخیر به‌روزرسانی شده­اند، هدایت می­کند. ​این مدل به‌طور موثری می­تواند توجه ربات را به سمت تغییرات معطوف کند.​ [65] یک روش جدید پاداش درونی به نام «اکتشاف مبتنی بر تأثیر پاداش­دهی⁵⁷» را برای RL در محیط­های تولید شده به صورت رویه­ای پیشنهاد می­کند. این روش، عامل را با پاداش دادن به اعمالی که منجر به تغییرات قابل توجهی در نمایش حالت­های آموخته شده آن­ها می­شود، به اکتشاف تشویق می­کند. این تحقیق از [46] برای یادگیری یک نمایش حالت معنی­دار و یک پاداش درونی مبتنی بر تغییر استفاده می­کند. سیاست اکتشافی [65]  فاقد مؤلفه انتقال است و همچنین نیاز به یادگیری مدل­ها دارد.

برای رفع این مشکل، [66] ایده مشابهی ارائه کردند که عامل اعمالی را انجام دهد که تغییرات جالبی در محیط ایجاد می­کنند. ایده­ی این مقاله پیشنهاد یک روش جدید برای اکتشاف بدون وابستگی به وظیفه در RL است، جایی که عامل بدون هدف خاص یا اهداف خارجی در محیط­های متعدد اکتشاف می­کند و سپس سیاست­های اکتشاف آموخته شده را به محیط­های جدید و دیده نشده منتقل می­کند. برای دستیابی به این هدف، روشی به نام انتقال اکتشاف مبتنی بر تغییر معرفی⁵⁸ شده است. این روش شامل دو مرحله است: یادگیری سیاست­های اکتشاف از یک یا چند محیط بدون وظایف خاص و انتقال این سیاست­های آموخته شده به محیط­های جدید. این روش پاداش­های درونی­ای که عامل را به اکتشاف بخش­های دیده نشده محیط تشویق می­کنند با پاداش­هایی که تعامل با اشیاء جالب ذاتی را تشویق می­کنند، ترکیب می­کند. سپس، سیاست­های اکتشافی آموخته شده به محیط­های جدید منتقل می­شوند. یوآن⁵⁹ و همکاران [67] روش نوینی به نام «پاداش­دهی به اختلاف بازدید اپیزودیک⁶⁰» برای بهبود اکتشاف در RL ارائه کردند. با استفاده از یک چارچوب ساده و کارآمد از نظر محاسباتی، پاداش درونی را بر اساس اساس اختلاف در بازدید از حالت­ها بین اپیزودها محاسبه می­کند. از یک برآوردگر k-نزدیک­ترین همسایه با یک کدگذار حالت تصادفی اولیه برای برآورد این تفاوت به طور کارآمد استفاده می­کند.

[68] روشی نوین برای بهبود اکتشاف در RL با استفاده از معیار شباهت شبیه­سازی دوتایی⁶¹ معکوس پویا برای اندازه­گیری تفاوت حالت­ها ارائه می­دهد که باعث می­شود پاداش­های متراکم­تری را بدون تنظیم دستی فراهم کند. عامل، وضعیت­های دارای خطای TD⁶² بالاتر را کاوش می­کند، در نتیجه به طور قابل توجهی کارایی آموزش را بهبود می­بخشد. این روش یک پاداش اکتشافی ایجاد می­کند که عامل RL را به اکتشاف حالت­های جدید بدون وابستگی به دانش قبلی انسانی تشویق می­کند. هدف [72]، بررسی این است که کدام ویژگی­های روش­های اکتشافی در RL  برای انتقال کارآمد وظایف در مواجهه با تغییرات محیطی در محیط­های غیر ایستا مفیدتر هستند. این مقاله با دسته­بندی و ارزیابی یازده الگوریتم اکتشافی RL بر اساس ویژگی­هایی مانند تنوع صریح و تصادفی بودن، در حوزه­های گسسته و پیوسته کار می­کند. این ویژگی­ها از نظر کارایی آن­ها در سازگاری با پنج نوع مختلف از نوآوری­های محیطی آزمایش می­شوند تا مشخص شود که کدام ویژگی­ها بهترین عملکرد در انتقال را ارائه می­دهند. جدول ۲ به مزایا و محدودیت­ها (چالش­ها) و معیار پاداش تحقیقات بیان شده در مدل­های مبتنی بر تغییر پرداخته است.

جدول ۲: مزایا، محدودیت­ها (چالش­ها) و معیار پاداش مدل­های مبتنی بر تغییر
مرجع	مزایا	معایب/چالش­ها/محدویت­ها	معیار پاداش
[64]	تمرکز بر مناطق تغییر یافته برای سازگاری سریع­تر، جلوگیری از گیر افتادن در مناطقی که یادگیری در آن­ها غیرممکن است، توانایی سازگاری با تغییرات محیطی بدون نیاز به کالیبراسیون مجدد، بهبود کارایی یادگیری با تمرکز بر مناطق جالب	نیاز به تنظیم دستی پارامترها، پیچیدگی بالقوه در گسترش به فضاهای چند بعدی	سیستم برای اکتشاف مناطقی که پیشرفت یادگیری را به حداکثر می­رسانند پاداش دریافت می­کند. این شامل تمرکز بر مناطقی است که تغییر کرده­اند و نیاز به یادگیری جدید دارند.
[65]	اکتشاف کارآمدتر در محیط­های تولید شده به صورت رویه­ای، عملکرد بهتر به خصوص در محیط­هایی که احتمال بازدید مجدد از حالت­ها کم است، تشویق به انجام اقداماتی با تأثیرات قابل توجه؛ از اکتشاف مکرر همان حالت­ها اجتناب کند.	احتمال ناکارآمدی در محیط­هایی که تغییرات تاثیرگذار نادر یا دشوار به دست می­آیند، عدم تعمیم­پذیری برای همه انواع وظایف: مناسب برای وظایفی که در آن عامل نیاز به تأثیرگذاری بر محیط دارد نه وظایف نیازمند به حفظ پایداری	فاصله اقلیدسی بین نمایش حالت­های متوالی که توسط تعداد بازدیدهای حالت اپیزودیک کاهش می­یابد تا از بازدید مکرر عامل از همان حالت­ها جلوگیری شود.
[66]	­ امکان انتقال مؤثر سیاست­های اکتشاف به محیط­های جدید و افزایش قابلیت انطباق و اکتشاف مؤثر عامل، اکتشاف جامع­تر با ترکیب پاداش­های عامل محور و محیط محور، شبیه­سازی بهتر از اکتشاف انسانی با در نظر گرفتن دانش و تجربیات قبلی	ناهماهنگی اکتشاف و اهداف وظیفه، مناسب بودن برای فضاهای گسسته و چالش تعمیم به فضاهای پیوسته	شامل پاداش­های عامل-محور: برای اکتشاف مناطق جدید یا دیده نشده داده و پاداش­های محیط-محور: برای تعامل با اشیاء یا تغییراتی که ذاتاً جالب تلقی می­شوند.
[67]	ارائه پاداش­های اکتشافی بدون مشکل از بین رفتن پاداش­های درونی، بهبود قابل توجهی کارایی نمونه‌گیری الگوریتم­های RL، سادگی مدل و کارآمد و پایدار از نظر محاسباتی	عدم عملکرد مطلوب در وظایف نیازمند به اکتشاف طولانی‌مدت، تأثیر بر عملکرد اولیه به علت استفاده از یک کدگذار حالت تصادفی	تفاوت بازدید اپیزودیک، که با واگرایی رنی63 بین اپیزودها اندازه‌گیری می­شود.
[68]	مقیاس‌پذیرتر بودن در محیط­هایی با تعداد زیادی حالت منحصربه‌فرد، ارائه پاداش­های متراکم­تر و افزایش سرعت آموزش، افزایش اکتشاف	پیچیدگی پیاده­سازی تابع پتانسیل مبتنی بر معیار شبیه­سازی دوتایی از نظر محاسباتی، حساسیت به کیفیت و کمیت داده­های آموزشی موجود	بر اساس نو بودن حالت­ها، که با معیار شبیه­سازی دوتایی معکوس اندازه‌گیری می­شود.
[72]	تطبیق بهتر با موقعیت­های جدید، کاربرد گسترده­تر و قابیلت انتقال وظایف بهینه شده	محدودیت در انواع نوآوریهای آزمایش شده	توانایی عامل در سازگاری کارآمد با موقعیت­های جدی

 

3-2-3- مدل­های مبتنی بر تضاد

تضاد زمانی به وجود می­آید که یک محرک تمایل داشته باشد تا در یک موجود زنده، دو یا چند پاسخ ناسازگار را برانگیخته کند [11]. همان­طور که در حال یادگیری موضوع جدیدی هستیم، ممکن است با اطلاعاتی مواجه شویم که با درک فعلی ما در تضاد باشد. این امر وضعیتی به نام «تضاد» را ایجاد می­کند. حالتی که در آن از صحت اطلاعات مطمئن نیستیم.

یکی از اولین تحقیقات در زمینه کنجکاوی از منظر تضاد، توسط وو⁶⁴ و همکاران [69] انجام شد. آن­ها مدل محاسباتی جامعی از کنجکاوی برای یادگیری در محیط­های مجازی ارائه کردند که در آن تضاد به عنوان محرک کنجکاوی شناخته می­شود. ​تضاد زمانی ایجاد می­شود که درک یادگیرنده (دانش ذخیره شده) با دانش تخصصی موجود در دنیای مجازی در تضاد باشد؛ این امر باعث تحریک کنجکاوی و ترغیب یادگیرندگان به کاوش بیشتر می­شود.​ برای اندازه­گیری تعارض، رابطه بین مفاهیم در دانش کاربر و دانش جهانی مقایسه می­شود. اگر رابطه میان مفهوم Ci و Cj در دانش کاربر با رابطه مشابه در دانش جهانی متفاوت باشد، درک کاربر در تضاد با درک متخصص خواهد بود. در مرحله اول، سطح تعارض در یک شی مجازی بر اساس تعداد روابط متضاد تعیین می‌شود و در مرحله دوم، سطح کنجکاوی به‌صورت مثبت با این تعارض همبستگی دارد. این همبستگی توسط وزن در رویکرد مبتنی بر نقشه شناختی فازی مشخص می­شود. در پژوهش [70]، با هدف ارتقاء سیستم­های توصیه­گر، رویکردی نوین مبتنی بر ترکیب ترجیحات کاربر و کنجکاوی اجتماعی ارائه می­شود. برخلاف روش­های سنتی که صرفاً بر پایه ترجیحات کاربر عمل می­کنند، مدل پیشنهادی با در نظر گرفتن عوامل روانشناختی همچون شگفتی، عدم قطعیت و تضاد، به دنبال تحریک کنجکاوی کاربر و ارائه توصیه­های جذاب­تر است. مدل پیشنهادی با تلفیق فیلترسازی مشارکتی برای استخراج ترجیحات کاربر و منطق فازی برای محاسبه عوامل روانشناختی، رتبه‌بندی شخصی‌سازی شده­ای از آیتم­ها ارائه می­دهد. در این مدل، عوامل روا­شناختی با استفاده از یک مکانیزم وزن‌دهی ترکیبی با ترجیحات کاربر ترکیب می­شوند تا تعادلی بین شخصی­سازی و کشف آیتم­های جدید برقرار شود.

[80] نشان می­دهد که نظریه­های مختلف کنجکاوی، با وجود تفاوت­های ظاهری، به یک هدف مشترک یعنی حداکثر کردن دانش اشاره دارند و به این نتیجه می­رسند که کنجکاوی به عنوان یک نیروی محرکه، ما را به سمت اطلاعات جدید و مفید سوق می­دهد. با این حال، این نظریه­ها به تنهایی نم­یتوانند تمام جنبه­های کنجکاوی را توضیح دهند. برای درک کامل کنجکاوی، باید به تعامل بین عوامل مختلفی مانند تضاد، عدم قطعیت، تازگی، و انتظار پاداش توجه کنیم. در نتیجه چارچوبی منسجم برای ادغام آن­ها ارائه می­دهد. با توصیف فرآیند برانگیختگی تعارض توضیح می­دهد که در آن تحریک خارجی مجموع­های از پاسخ­های رفتاری ناسازگار مانند پاسخ­های حرکتی، پاسخ­های ادراکی، پاسخ­های معرفتی و پیشبینی­ها را آغاز می­کند. نظریه اطلاعات، همان­طور که در اینجا استفاده می­شود، برای موقعیت­هایی اعمال می­شود که پاسخ­های فعال شده متقابلاً ناسازگار هستند و در نتیجه متناقض هستند. فرض بر این است که حالت­های تعارض از نظر بیولوژیکی مهم هستند و ارگانیسم را به دنبال اطلاعات می­اندازد. جدول ۳، به طور خلاصه مزایا، محدودیت­ها و اهداف پاداش را در پژوهش­های مختلف در حوزه مدل­های مبتنی بر تغییر ارائه می­دهد.

جدول ۳: مزایا، محدودیت­ها (چالش­ها) و معیار پاداش مدل­های مبتنی بر تضاد
مرجع	مزایا	معایب/چالش­ها/محدویت­ها	معیار پاداش
[69]	توانایی شناسایی اشیاء با قابلیت یادگیری جالب متناسب با سطح دانش فعلی کاربر، کمک به کاربران برای اکتشاف بیشتر در محیط یادگیری مجازی	نیاز به مطالعات میدانی بیشتر برای تأیید اثربخشی مدل، عدم وجود روش یادگیری وزن برای سازگاری خودکار مدل، محدودیت در مقیاس­پذیری و قابلیت تعمیم به سایر حوزه­های یادگیری	معیار پاداش مستقیما ذکر نشده است، اما شدت کنجکاوی از طریق فرایند استنتاج عددیِ نقشه شناختی فازی65 محاسبه می­شود.
[70]	دقت توصیه بهبود یافته، توصیه طیف وسیع­تری از آیتم­ها از جمله آیتم­های انتهایی، پیشنهاد مجموعه متنوع‌تری از آیتم­ها و جلوگیری از تکراری بودن توصیه­ها	تخمین نادرست کنجکاوی تحت تأثیر کمیابی داده­ها، چالش تخمین دقیق کنجکاوی با کاربران جدید با داده کم در دسترس، افزایش پیچیدگی محاسباتی برای ادغام چندین عامل کنجکاوی و محاسبه آن­ها با استفاده از منطق فازی	ترکیبی از ترجیحات کاربر و کنجکاوی کاربر. آیتم­ها با ارزیابی هر دو امتیاز پیش‌بینی شده (ترجیحات کاربر) و امتیازات کنجکاوی مشتق شده از عواملی مانند شگفتی، عدم قطعیت و تضاد رتبه‌بندی می­شوند.
[80]	ارائه­ی چارچوبی منسجم برای کنجکاوی با بهره­گیری از چندین نظریه­ اصلی،	فقدان بررسی عملکرد چارچوب پیشنهادی در محیط­های مختلف به ورت کاربردی	ترکیبی از نظریه­های مختلف در راستای کسب دانش بیشتر (کسب دانش بیشنر منجر به پاداش بیشتر)

 

3-2-4- مدل­های مبتنی بر پیچیدگی

در مدل­های یادگیری ماشین مرتبط با کنجکاوی، پیچیدگی معمولاً به دو حوزه زیر مربوط می­شود: ۱) پیش­بینی دقیق حالات آینده: این توانایی به چگونگی پیش­بینی رخدادهای آینده بر اساس تجربیات گذشته سیستم اشاره دارد. ۲) فشرده‌سازی کارآمد اطلاعات: این بخش بر قابلیت سیستم در نمایش اطلاعات پیچیده به شکلی ساده­تر و قابل مدیریت­تر تأکید می­کند. این دو حوزه به عنوان شاخص­های «جذابیت» یا «پیچیدگی» یک موقعیت تلقی می­شوند و می­توانند کنجکاوی سیستم را برای کاوش بیشتر تحریک کنند. در محیط­های مبتنی بر الگوریتم که وظایف از طریق پارامترها قابل تنظیم هستند، اجرای مستقیم مهارت­های متنوع به دلیل محدودیت­های پاداش­های خارجی غیرعملی است [8]. با این حال، می­توان با دو رویکرد، کنجکاوی را در چنین محیط­هایی حفظ کرد: تمرکز بر پیچیدگی بهینه: به‌جای اجرای مستقیم مهارت­ها، عامل­ها می­توانند پیچیدگی اهداف را شناسایی کرده و به‌دنبال وظایفی با سطح بهینه پیچیدگی باشند. حفظ کنجکاوی با چالش: چالش­ها می­توانند کنجکاوی را تحریک و حفظ کنند. ​با جستجوی وظایف با پیچیدگی بهینه، عامل­ها می­توانند سطح بالایی از کنجکاوی را حفظ کرده و انگیزه یادگیری خود را افزایش دهند.​

اشمیدهوبر⁶⁶  [21]سیستم کنترل مدل­سازی جدیدی معرفی کرد که از «کنجکاوی تطبیقی» برای بهبود پیش­بینی­های مدل جهان خود استفاده می­کند. این سیستم به طور فعال به دنبال شرایطی است که انتظار دارد درباره محیط بیشتر یاد بگیرد. و از طریق یک رویکرد RL الگوریتم یادگیری Q⁶⁷، قابلیت اطمینان پیش­بینی خود را افزایش می­دهد. سیستم از این بهبود پیش­بینی برای تعیین پیچیدگی داده­های ورودی استفاده می­کند. این پیچیدگی می­تواند از اطلاعات آشنا (و به راحتی قابل یادگیری) تا داده­های نویزدار و غیرقابل پیش­بینی که یادگیری آن­ها دشوار است، متغیر باشد. این رویکرد هنگام انتخاب موارد کاوش، هر دو مفهوم «مناطق با قابلیت بهبود» و «مناطق نزدیک به تسلط» را در نظر می­گیرد. [71]  نیز مکانیزمی را برای «کنجکاوی تطبیقی هوشمند» معرفی می­کند که ربات را به سمت موقعیت­هایی سوق می­دهد که در آن­ها پیشرفت یادگیری­اش به حداکثر می­رسد. این مکانیزم باعث می­شود ربات روی موقعیت­هایی تمرکز کند که نه چندان قابل پیش­بینی و نه کاملا غیرقابل پیش­بینی باشند. نشان داده می­شود که ربات ابتدا زمان خود را صرف موقعیت­های یادگیری آسان می­کند و سپس به تدریج توجه خود را به سمت موقعیت­های دشوارتر معطوف می­کند و از موقعیت­هایی که در آن­ها چیزی برای یادگیری وجود ندارد، اجتناب می­کند  ایده [74] بررسی این است که چگونه رقابت چند عاملی، به طور خاص در بازی قایم‌باشک⁶⁸ و اهداف ساده RL می­توانند منجر به ظهور رفتارهای پیچیده و مرتبط با انسان مانند استفاده از ابزار و سازگاری استراتژیک شوند. مطالعه نشان می­دهد که از طریق بازی، عامل­ها می­توانند استراتژی­های پیچیده و استفاده از ابزار را توسعه دهند که توسط یک برنامه درسی خودسرپرست (چارچوب یادگیری است که در آن عامل­ها مهارت­های خود را از طریق پویایی تعاملات خود در یک محیط توسعه می­دهند، به ویژه با تأکید بر ظهور استراتژی­ها در طول زمان) هدایت می­شود  [75] چارچوب نوین RL را ارائه می­کند که از اهداف ذاتی با انگیزه متخاصم برای آموزش عامل­ها در محیط­هایی با پاداش­های بیرونی پراکنده استفاده می­کند. این چارچوب شامل یک معلم هدف­گذار و یک سیاست دانش­آموز مبتنی بر هدف است. معلم به تدریج اهداف چالش‌برانگیزتری را برای دانش‌آموز تعیین کرده و او را تشویق به یادگیری مهارت‌های عمومی برای عمل در محیط‌های جدید می‌کند. این رویکرد یک برنامه درسی طبیعی از اهداف خودپیشنهادی ایجاد می­کند که توانایی عامل را برای حل وظایف پیچیده در محیط­های تولیدی رویه­ای بهبود می­بخشد. در نتیجه، با شناسایی پیچیدگی اهداف و تعیین سطح بهینه آن، می‌توان عامل‌ها را به صورت مداوم برای یادگیری با کنجکاوی بالا ترغیب کرد.

ایجاد روشی برای تکامل محیط­های آموزشی برای عامل­های RL در [76] مورد بررسی قرار گرفته است. روش پیشنهادی، که «پیچیدگی ترکیبی با ویرایش سطوح⁶⁹» نام دارد، اهداف مبتنی بر پشیمانی را با فرآیندهای تکاملی ترکیب می­کند تا محیط­هایی تولید کند که ساده شروع می­شوند اما به تدریج پیچیده­تر می­شوند. این روش از رویکرد مبتنی بر پشیمانی استفاده می­کند تا اطمینان حاصل کند که عامل همیشه در لبه توانایی­هایش آزموده می­شود. سطوح توسط یک عامل معلم طراحی می­شوند و توسط یک عامل دانش­آموز حل می­شوند، و با بهبود عامل دانش­آموز، پیچیدگی سطوح افزایش می­یابد. تفاوت مهمی که [77] با کارهای پیشین در این بخش دارد، این است که فاکتور جدیدی به نام بازخورد انسانی را اضافه کرده است. این چارچوب RL سلسله‌مراتبی بازخورد انسانی و مکانیزم محدودیت فاصله پویا را ادغام کرده است. هدف این چارچوب این است که آموزش عامل­ها را با راهنمایی انتخاب زیرهدف­ها با بازخورد انسانی و تنظیم پویا دشواری زیرهدف­ها برای مطابقت با پیشرفت یادگیری عامل، بهبود بخشد. 

ایده اصلی [82]، توسعه روشی برای دستکاری رباتیک است که به ربات­ها اجازه می­دهد به طور خودمختار مجموعه­ای از مهارت­های قابل استفاده مجدد را کشف و یاد بگیرند. این مهارت­ها به ربات کمک می­کند تا به روش­های متنوع و پیچیده با اشیاء تعامل داشته باشد و وظایف مختلف دستکاری را انجام دهد. برای ایجاد مجموعه­ای از وظایف پیچیده به صورت خودکار استفاده از بازی نامتقارن خودآموز⁷⁰ را پیشنهاد می­دهد. همچنین در اینجا، پیچیدگی به عنوان نوعی کنجکاوی در نظر گرفته می­شود، جایی که سیستم به طور خودکار وظایف پیچیده­تری را ایجاد می­کند. این پیچیدگی فرآیند یادگیری را تحریک می­کند، زیرا ربات به طور مداوم سعی در حل وظایف دشوارتر دارد و در نتیجه مهارت­ها و قابلیت­های متنوعی در دستکاری کسب می­کند. بررسی مزایا، چالش­ها و معیارهای ارزیابی پاداش در پژوهش­های مختلف پیرامون مدل­های مبتنی بر پیچیدگی در جدول ۴ نشان داده شده است.

جدول ۴: مزایا، محدودیت­ها (چالش­ها) و معیار پاداش مدل­های مبتنی بر پیچیدگی
مرجع	مزایا	معایب/چالش­ها/محدویت­ها	معیار پاداش
[21]	یادگیری سریعتر در مقایسه با روش­های جستجوی تصادفی، تمرکز کارآمد بر مناطق محیطی که بیشترین پتانسیل یادگیری را دارند، کاهش زمان هدر رفته بر روی مناطق به خوبی مدل شده یا کم بهبود.	دشواری در مدیریت محیط­های بسیار غیرقابل پیش­بینی یا تصادفی، تمرکز بالقوه بر بخش­های ذاتاً غیرقابل پیش­بینی محیط، پیچیدگی در پیاده­سازی و تنظیم مکانیزم کنجکاوی تطبیقی.	سیستم برای اقداماتی که بهبود قابل توجهی در دقت پیش­بینی­های مدل جهان خود ایجاد می­کنند، تقویت می­شود (بر اساس تغییرات در قابلیت اطمینان پیش­بینی­های مدل).
[71]	تنظیم پیچیدگی فعالیت­های یادگیری بدون نیاز به دخالت انسان، ربات با شروع از موقعیت­های ساده و حرکت به سمت موقعیت­های پیچیده تر، به تدریج توانایی­های خود را توسعه می­دهد (توسعه تدریجی)	به طور خاص به نحوه پیاده­سازی این مکانیزم در ربات­های واقعی نمی­پردازد.	عدم توضیح کامل معیارهای پاداش، اما اشاره می­کند که ربات موقعیت­ها را بر اساس پتانسیل پیشرفت یادگیری آن­ها با اعداد حقیقی (مثبت یا منفی) برچسب گذاری می­کند. موقعیت­هایی با پتانسیل یادگیری بالاتر، پاداش­های درونی مثبت بیشتری برای ربات به همراه خواهند داشت.
[74]	عملکرد بهتر نسبت به روش­های انگیزش درونی با افزایش پیچیدگی، کاهش نیاز به مشخص کردن وظایف صریح به وسیله ایجاد برنامه درسی خودسرپرست	پیچیدگی نمونه بالا به علت نیاز به تجربه زیاد، محدود بودن فضای استراتژی در محیط فعلی به طور ذاتی	بر اساس قابلیت دید و نتایج رقابت در بازی قایم‌ باشک می­باشد. عامل­ها برای پنهان شدن موفق یا پیدا کردن مخالفان خود پاداش می­گیرند.Top of Form
[75]	امکان یادگیری مؤثر در محیط­هایی با پاداش­های خارجی کم یا هیچ، قابلیت سازگاری با معماری­ها و تنظیمات مختلف RL، عملکرد بهتر از روش­های انگیزش درونی پیشرفته در محیط­های پیچیده و تولیدی رویه­ای	محدودیت کاربرد در محیط­های مشاهده پذیرئی؛ چرا که پیاده­سازی فعلی بر اساس محیط­های کاملاً قابل مشاهده، امکان محدود شدن اثربخشی توسط نوع هدف و فضای مشاهده، فاقد اشکال انتزاعی­تر اهداف در دامنه­های غنی­تر	شامل تشویق معلم به پیشنهاد اهدافی چالش­برانگیز ولی غیرممکن نیستند، می­باشد.
[76]	تضمین­های نظری، منابع محاسباتی کاهش‌یافته، قابلیت تعمیم قوی به محیط­های متنوع و چالش‌برانگیز	احتمال کند کردن یادگیری به علت عدم هم­راستایی اهداف خاص وظیفه عامل، توانایی عامل در عبور از حالت­های ناامن یا غیر عملی به علت تکامل محیط­های بسیار پیچیده	بر پایه اهداف پشیمانی minimax است. عملکرد عامل بر اساس توانایی­اش در کمینه­سازی پشیمانی در سطوح مختلف ارزیابی می­شود و عامل را تشویق می­کند تا وظایف پیچیده و چالش­برانگیز را حل کند.
[77]	تنظیم پویا، تثبیت آموزش به وسیله جدا کردن اکتشاف و بهره­برداری از تجربیات، بهبود کارایی آموزش با استفاده از مقدار کمی بازخورد انسانی و تطبیق دشواری زیرهدف	وابستگی به بازخورد انسانی، پیچیدگی پیاده­سازی، مشکلات مقیاس­پذیری	شامل کمینه‌سازی پشیمانی و حداکثرسازی تکمیل زیرهدف­ها
[82]	امکان کشف مهارت به صورت خودمختار و بدون دخالت انسان، قابلیت استفاده مجدد مهارت­های یادگرفته شده	چالش در محیط­های پیچیده با ابعاد بالا، ایجاد اشکال در وظایفی که نیاز به کنترل دقیق یا تطبیق پویا خارج از مجموعه مهارت­های تعریف شده دارند.	بر اساس موفقیت در انجام وظایفی که توسط بازی نامتقارن خودآموز ایجاد شده­اند، تعریف می­شوند.

 

3-2-5-  مدل های مبتنی بر عدم قطعیت

عدم اطمینان به‌عنوان یک متغیر هم­سنجش، نقش مهمی در تحریک کنجکاوی و پیشبرد یادگیری دارد. در یادگیری ماشین و شبکه­های عصبی، عدم اطمینان به سطح پیش‌بینی­ناپذیری یا ابهام موجود در داده­های ورودی یا پیش­بینی­های مدل اشاره دارد. مواجهه با اطلاعات نامشخص، انگیزه‌ای درونی برای کاهش عدم اطمینان ایجاد می­کند که منجر به اکتشاف و یادگیری می­شود. کنجکاوی مبتنی بر عدم قطعیت، عامل­ها را به کاوش در حالت­ها یا اقدامات ناشناخته ترغیب می­کند تا با کسب اطلاعات جدید، میزان عدم اطمینان را کاهش دهند. در این زمینه، عدم اطمینان را می­توان از طریق آنتروپی در نظریه اطلاعات اندازه‌گیری کرد. آنتروپی بیانگر میزان عدم قطعیت در یک محرک است و زمانی به بالاترین حد می­رسد که محرک با پاسخ دریافتی به‌طور قطعی شناسایی نشود [11,34].

ماکدو⁷¹ و کاردوسو⁷² [78] برای بهبود اکتشاف عامل در محیط­های ناشناخته، در مدل کنجکاوی خود معیار عدم قطعیت را علاوه بر تازگی معرفی کردند. آن­ها استدلال کردند که تمایل به شناخت یک شیء می­تواند هم از تازگی و هم از عدم قطعیت ناشی شود؛ به این معنا که اشیاء دارای بخش­های ناشناخته انگیزه­ی بیشتری برای کاوش ایجاد می­کنند. در این مدل، بخش­های شناخته‌شده‌ی هر شیء با استفاده از فاصله‌ی همینگ برای تازگی اندازه‌گیری می­شوند، در حالی که عدم قطعیت از طریق محاسبه‌ی آنتروپی بخش­های ناشناخته، شامل توصیف­های قیاسی و توابع شیء، تعیین می­شود. [79] استراتژی اکتشاف VIME⁷³ را به‌عنوان روشی در RL پیشنهاد کرد که با حداکثرسازی اطلاعات متغیر، کنجکاوی عامل را با کاهش عدم قطعیت نسبت به دینامیک محیط تحریک می­کند و این کاهش را به‌عنوان پاداش درونی به کار می­گیرد. این روش عامل­ها را به کاوش در حالت­هایی ترغیب می­کند که بیشترین کاهش عدم قطعیت را دارند و برای دامنه­های پیوسته با فضای حالت و عمل بزرگ مقیاس‌پذیر است. VIME عملکرد بهتری از روش­های اکتشاف هیوریستیک نشان داده است، اما ناپایداری عملکرد در حضور عناصر تصادفی و محدودیت به مسائل حرکت رباتیک، از جمله محدودیت­های این روش است. برست⁷⁴ و همکاران [81] روش « RLبا حداقل‌سازی شگفتی⁷⁵» را برای کاهش عدم قطعیت در محیط­های پیچیده و با ابعاد بالا معرفی کردند. این روش با استفاده از رمزگذارهای خودکار متغیر⁷⁶، نمایش غیرخطی از وضعیت را یاد می­گیرد و به‌طور درونی عامل­ها را تشویق می­کند تا با حداقل‌سازی آنتروپی، در وضعیت­های ایمن و پایدار باقی بمانند. این رویکرد در محیط­های متنوعی مانند بازی­های ویدیویی و کنترل ربات­ها به کار رفته است. با این حال، چالش اصلی آن، عدم قابلیت تعمیم به وظایفی است که نیاز به اکتشاف گسترده و کنترل­های پیچیده دارند.

به منظور ایجاد تعادل موثرتری بین اکتشاف و بهره­برداری از تجربیات برای توسعه رفتارهای معنادار بدون انحراف از عناصر تصادفی محیط، [83] روش RL بدون نظارت به نام «شگفتی متقابل» را معرفی کرد. در آن، دو سیاست «اکتشاف» و «کنترل» با هم رقابت می­کنند تا به ترتیب بیشینه­سازی و کمینه­سازی آنتروپی مشاهده را انجام دهند. این رقابت به عامل کمک می­کند تا به کشف حالات جدید پرداخته و سپس بر آن­ها تسلط یابد تا به تعادل مدنظرش برسد. هدف تحقیق [84]، بیشینه­سازی همزمان بازدهی مورد انتظار و آنتروپی است که به عامل اجازه می­دهد تا وظایف را با موفقیت انجام دهد و در عین حال سطح بالایی از تصادفی بودن در اعمالش را حفظ کند که باعث اکتشاف و پایداری می­شود. با معرفی الگوریتمی به نام SAC⁷⁷ که یک روش عامل-منتقد مستقل از سیاست بر اساس چارچوب RL حداکثر آنتروپی است. [85] یک روش تنظیم خودکار برای پارامتر دما معرفی می­کند که آنتروپی را به یک مقدار هدف تنظیم می­کند و بدین ترتیب آموزش را پایدار کرده و کارایی نمونه­ها را بهبود می­بخشد. به حداکثر رساندن آنتروپی می­تواند به عامل­ها در بهبود کاوش با رفتارهای متنوع کمک کند. [87] با هدف تعادل بین اکتشاف و بهره­برداری از تجربیات، نسخه تغییر یافته SAC را ارائه داده­اند. این روش، دمای آنتروپی را بر اساس کنجکاوی عامل نسبت به حالات مختلف تنظیم می­کند. حالات ناآشنا با خطاهای پیش­بینی بالا دما، آنتروپی بیشتری دارند تا اکتشاف را تشویق کنند. در وظایف عملی مانند مسیریابی و دستکاری رباتیک، اغلب نمونه­هایی از حالت­های خروجی موفق در دسترس هستند که هدایت کاوش به سمت هدف نهایی را آسان­تر می­کند و می­توان از اطلاعات یا تجربه‌ی قبلی بهره برد. در همین راستا لی⁷⁸ و همکارن [88]، یک طبقه­بندی کننده بیزی را برای تمایز بین حالات موفق و ناموفق آموزش می­دهد. این طبقه­بندی کننده از توزیع حداکثر درست نمایی نرمال شده⁷⁹ برای اندازه­گیری عدم قطعیت استفاده می­کند. عدم قطعیت اندازه­گیری شده سپس به عنوان پاداش درونی برای تشویق اکتشاف به کار می­رود. [89] چارچوبی پیشنهاد می­دهد که در دو بخش اصلی عمل می­کند. اول، از یک طبقه­بندی کننده بیزی که شامل اندازه­گیری عدم قطعیت بر اساس احتمال حداکثر نرمالیزه شده شرطی است برای هدایت کاوش به سمت نتایج مورد نظر استفاده می­کند. دوم، از فاصله واسراشتاین⁸⁰، با یک معیار زمان‌گام برای ارائه پاداش­های درونی آگاه از فاصله زمانی و شناسایی مرزهای مناطق کاوش شده بهره می­برد. با ترکیب این عناصر، اهداف برنامه­ی درسی کالیبره شده­ای را تولید می­کند که به طور موثر بین حالت­های اولیه و نتایج مطلوب واسطه­گری می­کند. این روش باعث می­شود بهره­وری نمونه بهبود یابد و منجر به عملکرد بهتر در آزمایش­های کمتر‌شود.

هدف [90] این است که امکان اکتشاف کارآمد در محیط‌های بدون فضای هدف از پیش تعریف شده را فراهم کند و بهره­وری داده­ها و عملکرد را در وظایف مختلف دستیابی به هدف بهبود‌بخشد. برای نیل به این هدف، چارچوبی دو مرحله­ای معرفی کرده­اند. ابتدا، فضای هدف معنایی را با کمی­سازی فضای مشاهدات پیوسته با استفاده از «بردار کوانتیزه شده -رمزگذارهای خودکار متغیر» ایجاد می­کند و سپس روابط زمانی بین این مشاهدات کمّی‌شده را با استفاده از یک نمودار، بازیابی می­کند. سپس، اهداف برنامه­ریزی شده­ای که عدم قطعیت و فاصله زمانی را در نظر می­گیرند، پیشنهاد می­دهد تا عامل را به سمت مناطق ناشناخته و اهداف نهایی هدایت کند. ایده اصلی [86] ارائه روشی جدید به نام ترکیب­بندی مجدد وزندار⁸¹ است تا استحکام مدل­های یادگیری ماشین را در برابر تغییرات زیرگروهی بهبود بخشد. این روش به رفع مشکلات بیش­برازش در شبکه­های عصبی بیش­پارامتر⁸² کمک می­کند و عدالت را در میان زیرگروه­های مختلف از طریق توجه بیشتر به نمونه­های اقلیت افزایش می­دهد. در سناریوهایی که عضویت­های زیرگروه­ها ناشناخته است، این روش از برآورد مبتنی بر عدم اطمینان برای تخصیص اهمیت استفاده می­کند، که به مدل اجازه می­دهد بیشتر بر زیرگروه­های کم­نماینده تمرکز کند. جدول ۵، به بررسی مزایا، چالش­ها و معیارهای ارزیابی پاداش در تحقیقات مختلف پیرامون مدل­های مبتنی بر تغییر می­پردازد.

 

 

 

 

جدول ۵: مزایا، محدودیت­ها (چالش­ها) و معیار پاداش مدل­های مبتنی بر عدم قطعیت
مرجع	مزایا	معایب/چالش­ها/محدویت­ها	معیار پاداش
[78]	استراتژی­های اکتشافی طبیعی­تر و کارآمدتر (تقلید از رفتارهای اکتشافی شبیه به انسان)، استراتژی­های اکتشافی تطبیقی و انعطاف­پذیرتر (استفاده از انگیزه­های احساسی)	نیاز به بررسی بیشتر تأثیر توزیع موجودیت­ها در محیط بر عملکرد عامل­ها، دادن اهمیت یکسان به همه ویژگی­های اشیاء	شامل بازدید از موجودیت­های جدید، نقشه­برداری از مناطق ناشناخته و دستیابی به اهداف خاص اکتشافی است. همچنین شدت احساسات مثبت (انگیزه­ها) محاسبه می­شود تا سودمندی اقدامات مختلف را ارزیابی کند و رفتار عامل­ها را هدایت کند.
[79]	به طور طبیعی به فضای حالت و عمل پیوسته مقیاس می­شود، برخلاف بسیاری از روش­های سنتی، ارائه یک استراتژی اکتشافی کارآمدتر نسبت به روش­های هیوریستیک، عملکرد قابل توجه در بهبود عملکرد مدل­های اکتشافی مبتنی بر قواعد کلی در وظایف کنترل پیوسته مختلف، اجتناب از رفتارهای گام تصادفی83	به طور کلی غیر قابل حل بودنٍ محاسبه توزیع پسین برای مدل دینامیک و نیاز به تکنیک­های تقریبی مانند استنباط متغیر، پرهزینه بودن از نظر محاسباتی به دلیل نیاز به نگهداری و به روزرسانی یک شبکه عصبی بیزی، نیاز به تنظیم دقیق ابرپارامترها، و محدودیت به مسائل حرکت رباتیک	پاداش­های خارجی سنتی از محیط و یک پاداش درونی اضافی مبتنی بر کسب اطلاعات درباره مدل دینامیک­ها است. پاداش درونی به عنوان واگرایی KL84 بین باورهای پسین و قبلی عامل درباره دینامیک­های محیط محاسبه می­شود.
[81]	توانایی عملکرد بدون پاداش­های خارجی و اتکا به انگیزش درونی، کشف خودکار رفتارهای پیچیده و هماهنگ، تسلط بر رفتارهای نوظهور، یادگیری از پیکسل­های خام	محاسبات فشرده به دلیل نیاز به به روزرسانی مستمر مدل چگالی و سیاست، وابستگی زیاد رفتار عامل به نمایش حالت انتخاب شده، عدم تعمیم موفقیت آمیز به وظایفی که نیاز به اکتشاف کامل و کنترل­های پیچیده دارند.	بر اساس حداقل­سازی شگفتی یا آنتروپی حالات ملاقات شده توسط عامل.
[83]	تعادل بین اکتشاف و کنترل با ترکیب سیاست­های اکتشافی و کنترلی، جلوگیری از انحرافات تصادفی توسط عناصر غیرقابل پیش­بینی محیط، پشتیبانی نظری (اثبات­های رسمی) از عملکرد موثر در محیط­های تصادفی به منظور بیشینه­سازی پوشش حالات	پیچیدگی پیاده­سازی به خاطر تنظیم متقابل با دو سیاست رقابتی، امکان وابسته بودن به ویژگی­های خاص محیط برای عملکرد بهینه، ناتوانی در سازگاری سریع با تعاملات محدود محیطی	معیارهای پاداش بر اساس آنتروپی مشاهده: سیاست اکتشاف برای افزایش آنتروپی (یافتن حالات شگفت­انگیز) پاداش دریافت می­کند، در حالی که سیاست کنترل برای کاهش آنتروپی (بازگشت به حالات قابل پیش­بینی) پاداش دریافت می­کند.
[84]	نیاز به تعاملات کمتری با محیط برای یادگیری سیاست­های مؤثر، عملکرد پایدار در وظایف مختلف و seedهای تصادفی، عملکرد نهایی و کارایی نمونه بهتر در مقایسه با روش­های مستقل از سیاست و مبتنی بر سیاست	نیاز به منابع محاسباتی قابل توجه به ویژه برای وظایف پیچیده،  عملکرد ضعیف با وجود پیکسل­های خام، یادگیری با کارایی نمونه پایین	بر پایه بیشینه­سازی بازدهی مورد انتظار و آنتروپی
[85]	بهبود عملکرد در وظایف مرجعی مانند بازی­های آتاری85	پیچیدگی پیاده­سازی به علت نیاز به درک عمیق از هر دو معادله بلمن86 و انتشار عدم قطعیت، بار محاسباتی بالا به علت محاسبه و انتشار عدم قطعیت در کاربردهای بزرگ مقیاس	علاوه بر پاداش­های فوری از محیط، یک پاداش برای اکتشاف حالت­ها و اقدامات با عدم قطعیت بالا
[87]	افزایش قابل توجه کارایی نمونه با تنظیم پویای اکتشاف بر اساس کنجکاوی عامل، برقراری تعادل بهتری بین اکتشاف و بهره برداری از تجربیات با تنظیم دمای آنتروپی بر اساس آشنایی با حالت، سازگاری با محیط­های مختلف با تنظیم دمای آنتروپی بر اساس بازخورد بلادرنگ از مدل کنجکاوی عامل	چالش ادغام دمای آنتروپی آگاه به کنجکاوی و توسعه­ی یک مدل کنجکاوی مناسب، وابستگی زیاد اثربخشی رویکرد به دقت مدل کنجکاوی	بیشینه­سازی پاداش مورد انتظار در حالی که دمای آنتروپی به طور پویا بر اساس کنجکاوی عامل نسبت به حالات مختلف تنظیم می­شود.
[88]	برطرف کردن نیاز به تابع پاداش از پیش طراحی شده، بهبود کارایی از یادگیری فراسطح، تسلط بر وظایف چالش­برانگیز ناوبری و دستکاری رباتیک	تنها برای وظایفی با نمونه­های خروجی موفق قابل اعمال است و گسترش آن به فرآیند تصمیم­گیری مارکوف87 با تنها مشاهدات بصری یا تنظیمات مسئله با مشاهده‌ی جزئی همچنان یک چالش باقی مانده است.	استفاده از عدم قطعیت خروجی طبقه­بندی کننده به عنوان پاداش درونی
[89]	عملکرد خوب در محیط­هایی با ساختارهای هندسی پیچیده، بهبود بهره­وری نمونه که منجر به عملکرد بهتر در آزمایش­های کمتر می­شود.	پیچیدگی محاسباتی بالا به دلیل فرایند استنتاج متا-یادگیری، چالش مقیاس­پذیری به محیط­های بسیار بزرگ و پیچیده	ارائه پاداش‌ بر اساس آگاهی از فاصله زمانی با استفاده از فاصله واسرشتاین88 و هدایت عامل به سمت نتایج مطلوب با پیشنهاد اهداف برنامه درسی که هر دو عدم قطعیت و فاصله زمانی را در نظر می­گیرند.
[90]	عدم نیاز به دانش قبلی در مورد محیط، مشاهدات یا فضای هدف، توانایی مدیریت مشاهدات با بعد بالا و تبدیل آن­ها به فضای هدف قابل استفاده	وابستگی شدید اثربخشی به برآورد دقیق عدم قطعیت، ظرفیت محدود نمایندگی و تحت تاثیر قرار گرفتن توانایی مدل در مدیریت وظایف بسیار پیچیده	دریافت پاداش برای پیشرفت به سمت اهداف برنامه‌ریزی شده میانی که به عدم قطعیت و فاصله زمانی آگاه هستند.
[86]	تعمیم دقیقتری نسبت به روش­های وزندهی اهمیت سنتی، جلوگیری از بیش­برازش در شبکه­های عصبی بیش­پارامتر	پیچیدگی محاسباتی برای داده­های بزرگ یا زیرگروه­های پیچیده، عدم امکان شناسایی دقیق زیرگروهها	بر اساس اطمینان از عملکرد استوار و عادلانه مدل در میان همه زیرگروه­ها

 

3-2-6- مدل­های مبتنی برشگفتی و تناقض

در ادبیات کنجکاوی محاسباتی، شگفتی به دو صورت تفسیر می‌شود. نخست، به‌عنوان نتیجه­ای غیرمنتظره که از اختلاف بین پیش­بینی عامل و واقعیت مشاهده‌شده ناشی می­شود [91]؛ این تفاوت از طریق خطای پیش­بینی یا تفاوت بین بردارهای پیش­بینی و مشاهده اندازه‌گیری می­شود [54,92]. تفسیر دوم شگفتی را به‌عنوان درجه عدم انتظار چیزی توصیف می­کند و از افزایش اطلاعات قبل و بعد از مشاهده برای مدل­سازی آن استفاده می­شود [93]. با این حال، عامل­های مبتنی بر شگفتی ممکن است به مشاهدات نویزی یا غیرقابل‌پیش­بینی جذب شوند که به «حواس­پرتی⁸⁹» یا «شگفتی کاذب⁹⁰» منجر می‌شود (مانند تماشای صفحه تلویزیونی با نویز سفید). در برخی محیط­ها، رویدادهای غیرمنتظره و برجسته⁹¹ مانند روشن و خاموش شدن چراغ­ها یا شروع و پایان موسیقی، کنجکاوی مبتنی بر تناقض را تحریک می­کنند. می­توان با ارائه پاداش مبتنی بر تناقض، عامل­ها را به یادگیری از این رویدادها ترغیب کرد. در RL، شگفتی و تناقض را می­توان در قالب انحراف از باور داخلی عامل ادغام کرد و از خطاهای پیش­بینی برای تشویق به کاوش در حالت­های کمتر کاوش‌شده و به‌روزرسانی دانش عامل بهره برد [51].

در ادامه، به بررسی پژوهش­های صورت گرفته در این حوزه پرداخته می­شود منتها باید اشاره کرد که در بعضی تحقیقات فقط از شگفتی، برخی فقط تناقض و در سایر تحقیقات از هر دو متغیر استفاده شده است. اشمیدهوبر⁹²، به‌عنوان یکی از پیشگامان، کنجکاوی مصنوعی را در سیستم­های کنترل ساخت مدل‌ معرفی کرد [94]. هدف این سیستم، یادگیری نگاشت ورودی-خروجی در محیطی نویزی است، که در آن کنجکاوی به‌منظور تقویت تمایل درونی سیستم به بهبود دانش خود از جهان تزریق می­شود. این هدف با افزودن واحد تقویتی به کنترل‌کننده حاصل می­شود که اعمال منجر به خطاهای پیش­بینی بالا را پاداش می­دهد. این خطای پیش­بینی، که عدم تطابق میان باور و واقعیت را اندازه­گیری می­کند، مطابق با اولین تفسیر از شگفتی است. مکانیزم پاداش­دهی به کنجکاوی بالا، سیستم را تشویق می­کند تا موقعیت­های ناشناخته و دارای شگفتی را کاوش کرده و از یکنواختی اجتناب کند، در نتیجه سیستم به سمت یادگیری از موقعیت­های مغایر و چالش‌برانگیز هدایت می­شود. [96] چگونگی کمک یادگیری با انگیزه درونی به عامل­های مصنوعی برای توسعه و گسترش سلسله مراتب مهارت­های قابل استفاده مجدد را بررسی می­کند. این رویکرد با هدف توانمندسازی خودمختاری عامل­ها طراحی شده است، به‌گونه­ای که مهارت­هایی را نه‌تنها برای حل مسائل خاص بلکه برای خود یادگیری، مشابه انسان­ها و حیوانات، کسب کنند. این روش با ارائه چارچوبی محاسباتی در RL، یادگیری با انگیزه درونی را ممکن می­سازد و از الگوریتم­های RL سلسله‌مراتبی برای ساخت و گسترش مجموعه­ای از مهارت­های قابل استفاده مجدد بهره می­گیرد. در این فرایند، پاداش­های درونی ناشی از کنجکاوی و علاقه به رویدادهای جدید و غیرمنتظره، یادگیری را هدایت می­کنند.

برای توسعه مفهوم کنجکاوی مبتنی بر تناقض، [97] الگوریتمی در RL با چارچوب گزینه­ها ارائه کرده است که به بررسی چگونگی استفاده از انگیزه درونی برای ترغیب عامل­ها به کاوش گسترده و یادگیری عمومی می­پردازد. در این الگوریتم، احتمال عدم انتظار یک رویداد برجسته به‌عنوان پاداش درونی به کار می­رود. عامل با برخورد مکرر با یک رویداد غیرمنتظره، یاد می­گیرد آن را پیش­بینی کند و به مرور با بهبود سیاست گزینه، پاداش درونی کاهش می­یابد؛ سپس عامل نسبت به آن رویداد «خسته⁹³» شده و به کاوش جنبه­های جدید محیط می­پردازد. این الگوریتم، با استفاده از پاداش­های ذاتی مبتنی بر تناقض، یادگیری مؤثر و عملکرد مطلوبی را در عامل­ها ایجاد می­کند. اما فرض بنیادی این روش، قابل مشاهده و قطعی بودن رویداد برجسته است که ممکن است در محیط­های پیچیده یا وظایفی که شناسایی رویدادهای برجسته در آن­ها دشوار است، محدودیت ایجاد کند. ایده اصلی [98]، روش Plan2Explore است که با بهره­گیری از یادگیری خودسرپرست و مدل­های جهانی، چالش­های اکتشاف و انطباق در RL را مدیریت می­کند. این روش به عامل امکان می­دهد محیط را از طریق برنامه‌ریزی برای نوآوری‌های آینده به‌طور کارآمد کاوش کند و با تعامل حداقلی به سرعت با وظایف جدید سازگار شود. این روش با شبیه­سازی وضعیت­های آینده و ایجاد مسیرهایی برای حداکثرسازی پاداش­های درونی، به حداکثر اطلاعات دست می­یابد. نشان داده شده است که حداکثرسازی واریانس میانگین­های مجموعه، تقریباً به حداکثر کردن به دست آوردن اطلاعات منجر می­شود. برای دستیابی به عملکرد بهینه و سازگاری سریع، مدل جهانی باید با اکتشاف کافی آموزش ببیند تا کارایی نمونه­ها را نیز افزایش دهد.

برای بهبود کارایی نمونه در وظایف کنترل پیوسته، [99] چارچوبی نوین به نام «مدل دینامیک پیشرو کنجکاوی تقابلی⁹⁴» از یادگیری متضاد با یک مدل دینامیک پیش‌رو برای یادگیری خود-نظارت‌شده‌ی بازنمایی استفاده می­کند. این مقاله با ادغام چندین مؤلفه کار می­کند: رمزگذار تصویر، رمزگذار تکانه⁹⁵، مدل دینامیک پیشرو FDM⁹⁶ و ماژول کنجکاوی. FDM پیش­بینی وضعیت­های آینده از وضعیت­های فعلی را انجام می­دهد و یادگیری تقابلی به آموزش رمزگذار تصویر برای استخراج ویژگی‌های فضایی و زمانی کمک می­کند. در طول آموزش، پاداش­های درونی بر اساس خطاهای پیش­بینی FDM برای تشویق به کاوش ارائه می­شود. این چارچوب به‌طور کامل با الگوریتم  RLآموزش می­بیند و بهبودهایی در کارآیی نمونه­برداری و تعمیم نشان می­دهد. [102] روش جدیدی به نام RL چندعامله با کاوش کنجکاوی محور اپیزودیک معرفی کرده است. هدف این تحقیق، برطرف کردن چالش­های کاوش کارآمد و آموزش سیاست­ها در RL چندعامله عمیق است. برای این منظور، از خطاهای پیش‌بینی مقادیر Q-value فردی به عنوان پاداش­های درونی برای کاوش هماهنگ استفاده می­کند و از حافظه اپیزودیک برای بهره­برداری از تجربیات اطلاعاتی استفاده می­کند. پاداش درونی به دست آمده از دینامیک تابع Q-value یک عامل، کاوش هماهنگ‌شده به سمت حالات جدید یا امیدوارکننده را تشویق می­کند.

روشی برای اکتشاف خود-نظارتی در RL که از یک پاداش درونی مبتنی بر کنجکاوی استفاده می­کند توسط [103] ارائه شده است. این پژوهش یک مدل دینامیک نهفته را معرفی می­کند که حالت مشاهده نشده محیط را ثبت کرده و مشاهدات را در یک فضای ویژگی فشرده بازسازی می­کند. شگفتی بیزی که نشان دهنده کسب اطلاعات نسبت به متغیر حالت نهفته است، به عنوان پاداش درونی استفاده می­شود و عامل را تشویق می­کند تا محیط خود را به طور کامل­تری کاوش کند، بدون اینکه به پاداش­های طراحی شده خارجی وابسته باشد. مدل از طریق وظایف شبیه­سازی رباتیک با اقدامات پیوسته و بازی­های ویدئویی با اقدامات گسسته ارزیابی شده و کارایی آن در اکتشاف و مقاومت در برابر اقدامات تصادفی نشان داده می­شود. هدف [104] این است که مشابه کنجکاوی انسان، عامل­های مصنوعی را به طور طبیعی و مؤثرتری به کاوش در محیط­های خود بکشاند. این روش با توسعه یک مدل دینامیک پنهان که فهم عامل از دینامیک سیستم را به تصویر می­کشد، عمل می­کند. بهبود کاوش در RL با استفاده از پاداش­های درونی مبتنی بر شگفتی بیزی در فضای پنهان انجام شده است. این پاداش به عنوان تفاوت بین باورهای پسین و پیشین در این فضای پنهان محاسبه می­شود. [105] مدل جدیدی برای پاداش­های درونی در RL معرفی کرده است که روش­های اکتشاف مبتنی بر شگفتی موجود را بهبود می­بخشد. به جای پاداش دادن به عامل­ها بر اساس میزان شگفتی، به نویی شگفتی پاداش می­دهد و بدین ترتیب کارایی اکتشاف را افزایش داده و حواس­پرتی­ها از مشاهدات پر سر و صدا یا غیرقابل پیش­بینی را کاهش می­دهد. این مسئله توسط یک سیستم حافظه شگفتی برای ذخیره و بازسازی شگفتی­ها استفاده می­کند. این سیستم با استفاده از یک رمزگذار خودکار، نوآوری شگفتی­ها را بر اساس خطاهای بازسازی ارزیابی می­کند. پاداش درونی متناسب با نوآوری شگفتی است و عامل را تشویق می­کند تا جنبه­های کمتر قابل پیش­بینی یا جدید محیط را کشف کند. در ادامه، برای آنالیز بهتر، مزایا، چالش­ها و معیارهای ارزیابی پاداش در تحقیقات ذکر شده در بالا در جدول ۶ مورد بررسی قرار گرفته است.

جدول ۶: مزایا، محدودیت­ها (چالش­ها) و معیار پاداش مدل­های مبتنی بر شگفتی و تناقض
مرجع	مزایا	معایب/چالش­ها/محدویت­ها	معیار پاداش
[94]	تطبیق با محیط­های مختلف با تغییر رفتار خود بر اساس سطح اعتماد، جلوگیری از بیش­برازش به داده­های اولیه و شاید جانبدارانه	پیچیده بودن و بار محاسباتی بالای ادغام مکانیزم­های اعتماد تطبیقی و کنجکاوی، وابستگی اثربخشی سیستم به اندازه­گیری دقیق اعتماد	مرحله اکتشاف: اختصاص پاداش برای کشف حالت­های جدید و اطلاعاتی که عدم قطعیت را کاهش می­دهند. مرحله بهره­برداری از تجربیات: بر اساس دستیابی به اهداف از پیش تعیین شده یا به حداکثر رساندن پاداش­های شناخته شده
[96]	توسعه مهارت­های خودمختار، انعطاف­پذیری	پیچیدگی ساختار سلسله‌مراتبی و مکانیزم­های انگیزش درونی، نیاز به به منابع محاسباتی قابل توجه،‌ چالش گسترش به محیط­های بسیار بزرگ و پیچیده	دریافت پاداش برای انجام فعالیت­هایی که ذاتاً جالب یا جدید هستند. این شامل کشف مهارت­های جدید، کاوش محیط­های ناشناخته و مواجهه با رویدادهای غیرمنتظره است.
[97]	الهام از علوم اعصاب با بهره­مندی از بینش­های مربوط به نقش دوپامین97 در تازگی و کاوش، میانگین­گیری از رویدادهای برجسته غیرمنتظره برای بهبود کارایی یادگیری	عدم پوشش دهی تمامی اشکال کاوش و دستکاری جالب با تمرکز اولیه بر رویدادهای غیرمنتظره به عنوان پاداش‌های درونی، نیاز به مشاهده‌پذیر و قطعی بودن رویداد برجسته	علاوه بر پاداش‌های بیرونی معمول، پاداش‌های درونی توسط منتقد عامل تولید می­شوند. در این پیاده­سازی، پاداش درونی عامل به روشی مشابه پاسخ تازگی نورون­های دوپامین تولید می­شود. پاداش درونی برای هر رویداد برجسته متناسب با خطای پیش­بینی رویداد برجسته طبق مدل گزینه یاد گرفته شده برای آن رویداد است.
[98]	انطباق سریع به وظایف جدید با تعامل حداقلی، کاهش نیاز به جمع آوری داده­های گرانقیمت، نیاز به اکتشاف کافی برای مدل جهان، یادگیری با بازدهی نمونه کم	چالش برانگیز بودن آموزش یک مدل جهانی دقیق از ورودی­های با ابعاد بالا، نیاز به تحقیقات بیشتری برای اطمینان از عمومیت خوب آن به طیف وسیعی از وظایف و محیط­ها	شامل حداکثر کردن پاداش­های درونی بر اساس نوآوری آینده مورد انتظار: تمرکز بر وضعیت­هایی که پیش­بینی می­شود در آینده نوآورانه باشند و نه وضعیت­هایی که در گذشته نوآورانه بوده­اند.
[99]	بهبود تعمیم با استخراج اطلاعات فضایی و زمانی، قابلیت اکتشاف در محیط­های تصادفی	نیاز به منابع محاسباتی زیاد برای آموزش با داده­های با ابعاد بالا و مدل­های پیچیده، وابستگی اثربخشی روش به دقت مدل دینامیک پیشرفته	شامل پاداش­های درونی و بیرونی: پاداش­های درونی بر اساس خطاهای پیش‌بینی مدل دینامیک پیشرفته و پاداش­های خارجی بر اساس بازخورد محیط
[102]	بهبود کارایی یادگیری با استفاده از حافظه اپیزودیک، مقیاس‌پذیر و مناسب برای محیط­های چندعامله بزرگ با استفاده از تکنیک­های فاکتوریزاسیون ارزش	فاقد تکنیک­های کاوش تطبیقی برای اطمینان از پایداری در محیط­های مختلف، مشکلات حافظه اپیزودیک در تنظیمات تصادفی	شامل پاداش­های بیرونی از محیط و پاداش­های درونی ناشی از خطاهای پیش­بینی مقادیر Q فردی
[105]	جلوگیری از حواس­پرتی­ها از مشاهدات پر سر و صدا یا غیرقابل پیش‌­بینی با تمرکز بر نوآوری تعجب­ها، عملکرد بهبود یافته در محیط­های با پاداش­های کم و وظایف چالش­برانگیز مانند بازی­های آتاری	بار محاسباتی به خاطر حافظه اضافی و محاسبات مورد نیاز برای سیستم رمزگذار خودکار و حافظه تعجب، چالش در مقیاس­بندی آن به محیط­های پیچیده­تر	شامل نوآوری تعجب است که توسط خطای بازسازی از رمزگذار خودکار در سیستم حافظه تعجب ارزیابی می­شود.
[103]	مقاومت در برابر تصادفی بودن، ارزان بودن محاسباتی نسبت به سایر روش­های پیشرفته	پیچیدگی مدل­سازی حالت نهفته و نیاز به تنظیم دقیق، محدودیت به برخی محیط­ها	بر اساس تعجب بیزی است که میزان کسب اطلاعات نسبت به متغیر حالت نهفته را اندازه­گیری می­کند.
[104]	فراهم کردن کاوش عمیق­تر به خصوص در وظایف با ابعاد پایین و بالا	چالش در محیط­هایی با سطوح بالای تصادفی ‌بودن، تفاوت جدی عملکرد در حوزه­ها و انواع وظایف مختلف	بر پایه تعجب بیزی پنهان98 است که تفاوت بین باورهای پسین و پیشین عامل در فضای پنهان را نشان می­دهد.

 

3-2-7- مدل­های مبتنی بر پوشش فضا

همان­طور که در بخش ۳-۱ بیان شد، ما متغیر جدیدی به نام پوشش فضا برای متغیرهای هم­سنجش معرفی کرده­ایم. پوشش فضایی نشان می­دهد که چه بخشی از یک فضای مسئله توسط یک عامل کاوش شده است. این متغیر جدید با سایر متغیر­ها ارتباط نزدیکی دارد:

·       تازگی: پوشش فضا با تازگی مرتبط است، زیرا اکتشاف مناطق جدید به طور ذاتی شامل مواجهه با محرک­های جدید است.

·       تغییر: حرکت و اکتشاف مکرر منجر به درجه بالایی از تغییر در محرک­های درک شده توسط عامل می­شود.

·       شگفتی: کشف ویژگی­ها یا عناصر غیرمنتظره در مناطق جدید می­تواند به شگفتی تجربه کمک کند.

·       پیچیدگی: پیچیدگی محیط می­تواند بر رفتار پوشش فضایی عامل تأثیر بگذارد، زیرا محیط­های پیچیده­تر ممکن است فرصت­های اکتشافی غنی­تری را ارائه دهند.

·       عدم قطعیت: پوشش فضایی بالاتر می­تواند منجر به افزایش عدم قطعیت به دلیل قرار گرفتن در معرض مناطق ناشناخته یا کمتر قابل پیش­بینی شود.

·       تعارض: تصمیم به اکتشاف مناطق جدید ممکن است شامل تعارض بین تمایل به اکتشاف و انگیزه­های رقابتی دیگر مانند نیاز به ایمنی یا کارایی باشد.

این متغیر همانند دیگر متغیرهای هم­سنجش، پوشش فضایی به عنوان جنبه­ای از کنجکاوی را کمی­سازی می­کند. به طور خاص، این متغیر گستردگی اکتشاف را اندازه­گیری می­کند و نشان می­دهد که عامل چه مقدار از فضای مسئله را بازدید یا با آن تعامل داشته است.

·       اندازه‌گیری: درجه پوشش فضایی را می­توان با موارد زیر اندازه‌گیری کرد:

o       درصد فضای کل کاوش شده: نسبت فضای کاوش شده به کل فضای موجود در محیط.

o       تنوع مناطق بازدید شده: تنوع در انواع مناطق یا بخش­های درون فضای مسئله که عامل کاوش کرده است.

o       فرکانس بازدید از مناطق جدید: تعداد دفعاتی که عامل به مناطق جدید و قبلاً بازدید نشده می­رود.

روش­های این دسته به دنبال حداکثرسازی پوشش فضایی (بازدید از حالت­های جدید یا جفت­های (حالت،عمل) هستند که از نوعی انگیزش درونی برای کنترل رفتار اکتشافی عامل استفاده می­کنند. پوشش فضا  اساساً به معنای بازدید از حالت­های بیشتر کاوش نشده در مدت زمان کوتاه­تر و در نتیجه یادگیری بیشتر در مورد محیط است [106].

ماچادو⁹⁹ و همکاران [107] از مفهوم توابع ارزش پروتو (PVF)¹⁰⁰ برای کشف گزینه­هایی استفاده می­کنند که عامل را به سمت اکتشاف کارآمد فضای حالت هدایت کند. برای تقریب این توابع ارزش از خواص توپولوژیکی فضای حالت استفاده می­شود. با معرفی مفهوم اهداف ویژه¹⁰¹ که توابع پاداش درونی مشتق شده از PVFها هستند عامل را به کاوش کارآمد در فضای حالت با پیروی از جهت­های اصلی نمایش یادگیری شده هدایت می­کند. به طور خاص، با استفاده از ماتریس انتقال MDP، یک مدل انتشار¹⁰² تولید می­شود که شکل قطری آن متعاقباً منجر به تولید PVFها می­شود. این مدل، جریان اطلاعات انتشار در محیط را فراهم می­کند تا به PVFها اجازه دهد اطلاعات مفیدی در مورد هندسه محیط، از جمله نقاط تنگنا¹⁰³، ارائه دهد. کار بعدی ماچادو و همکاران [108] نسخه بهبود یافته­ای از پژوهش قبلیشان [107] بود که آن را به محیط­های تصادفی با حالت­های غیر جدولی گسترش می­دهد. [110] روش پوشش گزینه­ها¹⁰⁴را معرفی کردند که در آن گزینه­ها با هدف کمینه کردن زمان پوشش تولید می­شوند. روش پیشنهادی آن­ها بدون استفاده از اطلاعات به دست آمده از پاداش­های بیرونی، عامل را تشویق می­کند تا مناطق کمتر کاوش شده فضای حالت را با تولید گزینه­ها برای آن قسمت­ها کاوش کند. ارزیابی تجربی آن­ها در دامنه­های پاداش پراکنده گسسته، زمان یادگیری را در مقایسه با برخی از کارهای پیشین کاهش می‌دهد.

روش گزینه­های پوشش عمیق معرفی شده در [112]، گزینه­های پوشش را به فضاهای حالت بزرگ یا پیوسته گسترش می­دهد، در حالی که زمان پوشش مورد انتظار عامل در فضای حالت را به حداقل می­رساند. نویسندگان با موفقیت رفتار گزینه­های پوشش عمیق را در وظایف چالش‌برانگیز پاداش پراکنده نشان داده­اند. امین¹⁰⁵ و همکاران [113] رویکردی متمایز برای اکتشاف با انگیزش درونی به منظور تاکید بر پوشش فضا در نظر گرفته­اند. آن­ها با الهام از تئوری زنجیرهایی با چرخش آزاد در فیزیک پلیمر، روشی را برای اکتشاف توسعه داده­اند. ین تئوری به توضیح رفتار مدل‌های ساده شده پلیمری کمک می‌کند، جایی که زنجیره‌ها از بخش‌های مرتبط به‌لحاظ جهت‌گیری تشکیل شده‌اند. این رویکرد برای وظایفی با فضای حالت و عمل پیوسته و همچنین پاداش­های پراکنده طراحی شده است. استراتژی اکتشافی آن­ها، اعمالی را با جهت‌گیری­های همبسته در فضای عمل انتخاب می‌کند، که منجر به مسیرهای ماندگاری در فضای حالت می­شود. آن­ها نشان می­دهند که روش پیشنهادی­شان در مقایسه با نمونه­های مشابه، عملکرد باثبات­تری دارد و حساسیت کمتری نسبت به افزایش پراکندگی پاداش­های بیرونی نشان می­دهد. [114]  برای مقابله با مشکلات مربوط به اعمال با فرکانس بالا، ایده «پایداری عمل¹⁰⁶» را ارائه می­کند تا عامل مناطق وسیع­تری از فضای حالت را کاوش کرده و برآورد اثرات اعمال را بهبود بخشد. در نتیجه، درک خود را از نتایج حاصل از اعمالشان افزایش دهند. آن­ها یک عملگر بلمن با پایداری جدید توسعه می­دهند که امکان استفاده کارآمد از تجربیات با هر دو پایداری کم و زیاد را برای به­روزرسانی مقادیر اعمال فراهم می­کند. این مقاله شامل ارزیابی تجربی در سناریوهای مختلف، از جمله زمینه­های جدولی و محیط­های پیچیده مانند بازی­های آتاری است.

ایده اصلی [109] معرفی روشی جدید در RL چندعاملی برای بهبود کاوش در محیط­هایی با پاداش خلوت است. به جای تمرکز بر یک سیاست مشترک، این روش از یک هدف کاوش مبتنی بر آگاهی از اعضا استفاده می­کند که در آن هر عضو به حداکثر رساندن کاوش در مناطقی که سایر اعضا کاوش نکرده­اند، می­پردازد. همچنین از یک محدودیت سیاست افزایش­یافته برای کاوش استفاده می­کند که باعث می­شود سیاست­ها از یکدیگر متمایز شوند. این تکنیک بر روی سه محیط پیچیده آزمایش شده است و عملکرد بهتری در شرایط پاداش خلوت از خود نشان داده است. آمورتیلا¹⁰⁷ و همکاران [111] بر معرفی «اهداف کاوش» به عنوان چارچوبی برای بهبود کاوش در RL تمرکز دارند. برای کارآمدسازی محاسباتی کاوش در محیط­های با ابعاد بالا هدفی به نام L1-Coverage تعریف می­کنند و نشان می­دهند که چگونه این هدف می­تواند از طریق کاهش وظایف کاوش به بهینه­سازی خط مشی استاندارد به طور کارآمدی کار کند. این هدف با روش­های رایج RL، مانند گرادیان خط مشی یا یادگیری Q، یکپارچه می­شود تا به صورت سیستماتیک و کارآمد فضای حالت را پوشش دهد. جدول ۷ مزایا، چالش­ها و معیارهای ارزیابی پاداش در تحقیقات مذکور را مورد بررسی قرار داده است.

جدول ۷: مزایا، محدودیت­ها (چالش­ها) و معیار پاداش مدل­های مبتنی بر پوشش فضا
مرجع	مزایا	معایب/چالش­ها/محدویت­ها	معیار پاداش
[113]	سازگاری با فضاهای پیوسته، کاهش حساسیت به پراکندگی پاداش، بهبود کاوش	پیچیدگی در ابعاد بالا، وابستگی به تنظیم پارامترها	تمرکز بر استراتژی­های کاوش که پوشش فضای حالت را به حداکثر می­رسانند. عملکرد بر اساس میزان مؤثر بودن کاوش در مناطق جدید و جلوگیری از گرفتار شدن ارزیابی می­شود.
[111]	کارآمد برای فضاهای با ابعاد بالا، یکپارچگی با روشهای رایج RL مانند یادگیری Q	وابستگی به ساختار MDP و محدود شدن کاربردپذیری کلی، پیچیدگی پیاده­سازی	کاوش در فضای حالت به منظور جمع­آوری اطلاعات به جای تمرکز صرف بر پاداش­های بیرونی
[114]	همگرایی سریع­تر با به­روزرسانی همزمان تخمین­های ارزش برای تمامی پایداری­های عمل، تخمین ارزش بهتر (عملگر بلمن)	سوگیری در تخمین بیش از حد، پیچیدگی پیاده­سازی عملگر بلمن در محیط­های پیچیده	بر پایه پایداری عمل و توانایی استفاده از انتقالات در مقیاس­های زمانی مختلف برای به­روزرسانی تخمین­های ارزش است.
[110]	کاوش بهبود یافته در محیط­هایی با پاداش خلوت، پایه نظری قوی، تضمین یافتن گزینه­های بهینه	پیچیدگی در فضاهای حالت بزرگ، وابستگی به گراف فضای حالت.	پاداش درونی بر اساس کاهش زمان پوشش مورد انتظار است.
[112]	کاهش موثر زمان پوشش مورد انتظار، امکان استفاده در هر دو تنظیمات پیش آموزشی و آنلاین سنتی	پرهزینه بودن تخمین توابع ویژه لاپلاسین108 از نظر محاسباتی، نیاز به یک گراف فضای حالت با تعریف خوب که ممکن است در برخی حوزه­ها به راحتی در دسترس نباشد.	معیارهای پاداش شامل کشف و بازدید از نواحی کمتر کاوش شده فضای حالت است که به طور موثر گام­های لازم برای پوشش کل فضای حالت را کاهش می­دهد. پاداش درونی بر اساس به حداقل رساندن زمان پوشش مورد انتظار است.
[107]	مستقل از وظیفه، امکان تعمیم به هر دو روش جدولی و تقریب تابع	چالش در محیط­هایی با داده پراکنده چرا که نیاز به یک مرحله یادگیری نمایش اولیه دارد، قابلیت اجرا تنها برای دامنه­های گسسته	معیارهای پاداش شامل پاداش­های درونی (اهداف ویژه) مشتق شده از PVFها یادگیری شده است که عامل را به کاوش در فضای حالت با پیروی از جهت­های اصلی تشویق می­کند.
[108]	مدیریت انتقال­های تصادفی، عدم اتکا به ویزگی­های از پیش تعریف شده، قابل استفاده در هر دو محیط جدولی و محیط­های پیچیده مانند بازی­های آتاری ۲۶۰۰	نیاز به داده زیاد برای یادگیری نمایش­ها از پیکسل­های خام، عدم پرداختن مقاله به چگونگی انتقال گزینه­های یادگیری شده در محیط­های مختلف	شامل پاداش­های درونی مشتق شده از نمایش جانشین109 است.
[109]	بهبود کاوش در محیط­های با پاداش کم، تنوع بیشتر در رفتار سیاست­ها که باعث کاهش تکرار و بهبود نتایج یادگیری می­شود.	تعاملات ترتیبی بین هر سیاست و محیط ممکن است منجر به ناکارآمدی در استفاده از منابع محاسباتی شود، نگهداری تعداد زیادی از سیاست­ها برای محیط­های با ابعاد بالا ممکن است از نظر محاسباتی هزینه­بر باشد.	تمرکز بر حداکثر پوشش کاوش توسط هر عضو

 

4-       بنچمارک­ها و پایگاه­های داده، محدویت­ها، کاربردها و جهت­گیری آینده

این بخش به بررسی بنچمارک­ها و پایگاه­های داده، محدودیت­ها، کاربرد­ها و جهت­گیری­های آینده سیستم­های یادگیری مبتنی بر کنجکاوی را از منظر کاربردی مورد بررسی قرار می­دهد.

 

4-1- بنچمارک­ها و پایگاه­های داده

برای ارزیابی و مقایسه عملکرد مدل­های محاسباتی کنجکاوی، استفاده از بنچمارک­های معتبر بسیار مهم است. این بنچمارک­ها، مجموعه داده­ها و معیارهای ارزیابی مشخصی را ارائه می­دهند که محققان می­توانند از آن­ها برای مقایسه مدل­های خود با سایر مدل­ها استفاده کنند. برخی از منابع و پایگاه‌­های داده­ای که در این زمینه مفید هستند، در جدول ۸ معرفی شده­اند.

 

جدول ۸: برخی از مجموعه داده­ها و بنچمارک­های معتبر و پرکاربرد
نام	توضیحات	آدرس
Gymnasium	نسخه­ای بهبودیافته از OpenAI Gym است که محیط­های استاندارد، متنوع و سازگار برای RL ارائه می­دهد.	https://github.com/Farama-Foundation/Gymnasium
110MuJoCo	شبیه­ساز فیزیکی است که به‌طور گسترده در رباتیک و تست الگوریتم­های کنترل استفاده می­شود و از مدل­های دینامیکی پیچیده پشتیبانی می­کند.	https://www.mujoco.org
DeepMind Lab	پلتفرم تحقیقاتی سه‌بعدی است که برای آزمایش مدل­ها و شبیه­سازی رفتارهای عامل­ها در محیط­های پیچیده طراحی شده است.	https://github.com/ deepmind/lab
RoboSuite	مجموعه­ای از محیط­های شبیه­سازی رباتیک است که تمرکز ویژه‌­ای بر وظایف پیچیده دستکاری و کنترل در ربات­ها دارد.	https://robosuite.ai
Meta-World	مجموعه­ای از محیط­های شبیه­سازی رباتیک و وظایف متنوع است که برای یادگیری چندوظیفه­ای و متا استفاده می­شود و برای تست توانایی الگوریتم­ها در تعمیم به وظایف جدید طراحی شده است.	https://meta-world.github.io
111ALE	مجموعه­ای از بازی­های کلاسیک است که به‌عنوان یک بنچمارک استاندارد با ساختار ساده و محیط­های چالش‌برانگیز از محبوبیت بالایی برخوردار است.	https://github.com/Farama-Foundation/Arcade- Learning-Environment
RLlib	یک کتابخانه مقیاس­پذیر است که روی پلتفرم Ray ساخته شده و امکان اجرای الگوریتم­های یادگیری توزیع‌شده و مقیاس‌پذیر را فراهم می­کند.	https://github.com/ray-project/ray/tree/master/rllib
ViZDoom	یک پلتفرم یادگیری است که بر اساس بازی Doom ساخته شده و به عامل­ها اجازه می­دهد تا در یک محیط سه‌بعدی چالش‌برانگیز آموزش ببینند. این بنچمارک به دلیل قابلیت آزمایش تعاملات پیچیده و واقع­گرایانه عامل با محیط و دشمنان، برای تست یادگیری و کنترل در محیط­های پویا بسیار استفاده می­شود.	https://github.com/Farama-Foundation/ViZDoom
Jaco Robotic Arm	این مجموعه، یک شبیه­ساز برای بازوی رباتیک Jaco است که به‌طور خاص برای آزمایش الگوریتم‌های یادگیری در کنترل دقیق و انجام وظایف پیچیده‌ی دستکاری طراحی شده است.	https://github.com/ panagiotamoraiti /Jaco_Robotic_Arm
MiniGrid	مجموعه­ای از محیط­های ساده و انعطاف­پذیر که برای تست الگوریتم­های مختلف، به‌ویژه در زمینه­های کاوش و تعمیم در محیط­های ساده و دو بعدی، طراحی شده است.	https://minigrid.farama.org
112CARLA	یک شبیه­ساز منبع‌باز برای تحقیق در حوزه­ی خودران­ها است که در محیط­های واقع­گرایانه شهری استفاده می­شود.	https://carla.org

 

در ادامه، بررسی­های محدودیت­ها، کاربرد­ها و جهت­گیری­های آینده سیستم­های یادگیری مبتنی بر کنجکاوی در یک نگاه در شکل ۲ نشان داده شده است.

4-2- محدودیت­ها

مفهوم کنجکاوی محاسباتی، به ویژه در زمینه یادگیری مبتنی بر کنجکاوی، توجه قابل توجهی در حوزه AI جلب کرده است. در حالی که یادگیری مبتنی بر کنجکاوی پتانسیل بهبود اکتشاف و کارایی یادگیری در سیستم­های AI را نشان داده است، اما با مجموعه­ای از محدودیت­هایی همراه است که برای کاربرد گسترده­تر و اثربخشی باید برطرف شوند. در ادامه به برخی از این محدودیت­ها اشاره می­شود:

·       کمی­سازی: یکی از محدودیت­های اصلی مدل­های یادگیری مبتنی بر کنجکاوی، وابستگی آن­ها به اندازه­گیری و کمی­سازی دقیق تازگی است. تازگی، به­ عنوان یک مؤلفه کلیدی در یادگیری مبتنی بر کنجکاوی، اغلب با استفاده از معیارهایی مانند خطای پیش­بینی یا افزایش اطلاعات کمی­سازی می­شود. با این حال، این معیارها می­توانند نادقیق و وابسته به زمینه باشند که منجر به استراتژی­های اکتشاف نامطلوب می­شود. برای مثال، الگوریتم­ها ممکن است اکتشاف را در مناطقی از فضای حالت که جدید اما بی­ربط با وظیفه هستند، بیش از حد تأکید کنند که منجر به یادگیری ناکارآمد می­شود.

·       هزینه­های محاسباتی: محدودیت دیگر، هزینه محاسباتی مرتبط با پیاده­سازی الگوریتم­های یادگیری مبتنی بر کنجکاوی است. این مدل­ها اغلب نیازمند محاسبات پیچیده برای تخمین تازگی و پاداش­های مبتنی بر کنجکاوی هستند که می­تواند از نظر محاسباتی گران باشد، به ویژه در فضاهای حالت با ابعاد بالا یا پیوسته. این سربار محاسباتی می­تواند کاربرد بلادرنگ یادگیری مبتنی بر کنجکاوی را در محیط­های پویا که تصمیم­گیری سریع ضروری است، مانع شود.

·       سوگیری¹¹³ اکتشاف: علاوه بر این، مدل­های یادگیری مبتنی بر کنجکاوی می­توانند منجر به چیزی شوند که به عنوان «سوگیری اکتشاف» شناخته می­شود، جایی که تمرکز عامل بر اکتشاف مبتنی بر تازگی منجر به غفلت از یادگیری مرتبط با وظیفه می­شود. این سوگیری می­تواند از عامل در بهره­برداری موثر از دانش قبلی، که برای حل موثر وظایف ضروری است، جلوگیری کند. برای مثال، در RL، عامل ممکن است به طور مکرر حالت­های جدید را کاوش کند بدون اینکه به اندازه کافی از حالت­های شناخته‌شده­ای که پاداش­های بالاتری دارند بهره­برداری کنند، و در نتیجه در بهینه­سازی عملکرد شکست می­خورند.

شکل ۲: محدودیت­ها، کاربرد­ها و جهت­گیری­های آینده سیستم­های یادگیری مبتنی بر کنجکاوی در یک نگاه

·       تعمیم­پذیری: انتقال­پذیری و تعمیم­پذیری استراتژی­های یادگیری مبتنی بر کنجکاوی نیز چالش­های قابل توجهی را ایجاد می­کند. مدل­های مبتنی بر کنجکاوی که در یک حوزه موثر هستند، لزوماً در حوزه دیگری به دلیل تفاوت در ساختار وظایف و ماهیت فضاهای حالت-عمل عملکرد خوبی ندارند. این محدودیت نیاز به مدل­های سازگار دارد که بتوانند استراتژی­های اکتشاف خود را بر اساس نیازهای خاص وظیفه و محیط به صورت پویا تنظیم کنند.

·       ادغام در سیستم­های هوش مصنوعی: ادغام یادگیری مبتنی بر کنجکاوی در سیستم­های AI موجود نیازمند توجه دقیق به نحوه تراز اهداف مبتنی بر کنجکاوی با ساختارهای پاداش خارجی است. در مواردی که این اهداف با هم در تضاد هستند، یادگیری مبتنی بر کنجکاوی می­تواند به طور ناخواسته منجر به رفتارهای زیر بهینه یا تضاد در اولویت­بندی اکتشاف نسبت به بهره­برداری شود. این مسئله به ویژه در محیط­هایی که پاداش­های خارجی کم یا ضعیف تعریف شده­اند، آشکار است و تعادل بین اکتشاف و عملکرد وظیفه را پیچیده­تر می­کند.

 

4-3- کاربردها

در سال­های اخیر، همکاری علوم مهندسی و AI منجر به توسعه مدل­های پیچیده و قابل تطبیق شده است. این پیوند به‌ویژه در زمینه­هایی نظیر طراحی کنترل­های تطبیقی، مدیریت داده­ها و بهینه­سازی ساختار مدل­ها مشاهده شود، که در آن اصول مهندسی به‌طور مستقیم بر بهبود ساختار و دقت مدل­های AI تأثیرگذار بوده‌­ند. به عنوان نمونه، روش­های مهندسی در مدیریت پایدار داده­ها و طراحی شبکه­های عصبی کاربرد گسترده­ای دارند و کمک می­کنند تا این مدل­ها در محیط­های مختلف عملکرد پایدارتری داشته باشند. می­توان به کاربرد یادگیری ماشینی در حوزه طراحی ساختاری ساختمان و ارزیابی عملکرد اشاره کرد که برای ارتقاء قابلیت­های طراحی سازه‌های مهندسی استفاده می­شوند [138]. این مدل­ها با پردازش داده­های حجیم و پیچیده، قادر به کشف الگوهای نهفته و شناسایی ناهنجاری­ها در ساختارها هستند که این موضوع امکان پیش­بینی بهتر و بهینه­سازی طراحی را فراهم می­کند. در حوزه­هایی مانند مهندسی شیمی و مهندسی فرآیند، مدل­های AI برای شبیه­سازی و بهینه­سازی فرآیندهای شیمیایی و صنعتی به کار گرفته می­شوند [137]. با استفاده از مدل­های یادگیری ماشین، سیستم­های هوشمند می­توانند پارامترهای فرآیند را بهینه کنند و خروجی­های مطلوب را با کمترین هزینه و مصرف انرژی فراهم کنند. به این ترتیب، ترکیب اصول مهندسی و AI نه تنها منجر به بهبود فرآیندهای موجود می­شود، بلکه به کاهش مصرف منابع، بهینه­سازی تولید و در نتیجه به صرفه­جویی اقتصادی نیز کمک می­کند. در طراحی و پیاده­سازی مدل­های AI برای کاربردهای مهندسی، برخی از الگوریتم­ها و مدل­ها بیشتر از سایرین کاربرد دارند. به‌عنوان مثال، الگوریتم­های RL برای بهینه­سازی و کنترل سیستم­های پیچیده مورد استفاده قرار می­گیرند. این الگوریتم­ها به عامل­ها یا سیستم­ها کمک می­کنند تا به‌طور مستقل و با یادگیری از تعاملات خود با محیط، عملکرد خود را در شرایط مختلف بهینه کنند.این اتفاق مخصوصا در مدل­های محاسباتی کنجکاوی رخ می­دهد. مدل­های کنجکاوی محاسباتی، به ویژه در شکل یادگیری مبتنی بر کنجکاوی، تأثیر قابل توجهی بر توسعه سیستم­های AI گذاشته­اند و امکان اکتشاف موثرتر و یادگیری سازگارتر را فراهم کرده­اند. این مدل­ها در حوزه­های مختلفی اعمال شده­اند و توانایی AI در یادگیری از محیط­هایی با پاداش­های خلوت یا بدون پاداش صریح را افزایش داده­اند. در ادامه به برخی از این کاربردها اشاره شده است.

·       یادگیری تقویتی: RL یک تکنیک یادگیری ماشینی است که در آن یک عامل با تعامل با محیط یاد می­گیرد که تصمیم‌گیری کند. همان­طور که در شکل ۳ (سمت چپ) نشان داده شده است، در هر مرحله زمانی، عامل حالت فعلی محیط را مشاهده می­کند، یک عمل را انتخاب می­کند و بر اساس نتیجه پاداش دریافت می­کند. هدف عامل یادگیری یک سیاستی است که پاداش تجمعی را در طول زمان به حداکثر برساند. در یک فرآیند MDP، حالت آینده عامل فقط به حالت فعلی و عمل انتخاب شده بستگی دارد و این باعث می­شود که فرآیند تصمیم‌گیری ساده­تر شود. شکل ۳ (سمت راست) نشان می­دهد که در RL، عامل می­تواند دو نوع پاداش دریافت کند: بیرونی و درونی. پاداش­های بیرونی توسط محیط خارجی ارائه می­شوند، در حالی که پاداش­های درونی توسط کنجکاوی یا علاقه عامل به کاوش محیط تولید می­شوند. هدف عامل، یادگیری سیاستی است که مجموع این پاداش­ها را در طول زمان به حداکثر برساند. پیچیدگی مسائل RL می‌تواند بر اساس ماهیت فضاهای حالت و عمل متفاوت باشد، و مشاهدات بصری با ابعاد بالا مشکل را چالش‌برانگیزتر می­کنند. تحقیقات اخیر نشان داده است که حداکثرسازی پاداش یک اصل اساسی برای توسعه عامل­های هوشمند با قابلیت­های گسترده مانند ادراک، درک زبان و تقلید است [51]. در RL، از مدل­های مبتنی بر کنجکاوی برای رسیدگی به چالش سیگنال­های پاداش خلوت استفاده شده است. با بهره­گیری از انگیزش درونی، این مدل­ها عامل­ها را تشویق می­کنند تا حالت­های جدید یا نامشخص را کاوش کنند و در نتیجه توانایی آن­ها در کشف استراتژی­های بهینه را بهبود می­بخشند [55،67،68،77،90،95،100،109].

·       رباتیک: در رباتیک، از یادگیری مبتنی بر کنجکاوی برای تقویت اکتشاف خودکار و اکتساب مهارت استفاده شده است. ربات­های مجهز به مکانیسم­های یادگیری مبتنی بر کنجکاوی می­توانند با تمرکز بر محرک­های جدید و یادگیری از تعاملات با محیط، محیط اطراف خود را به طور موثرتر کاوش کنند [120-115، 101، 56]. این رویکرد به ویژه در وظایف دستکاری رباتیک مفید بوده است، جایی که اکتشاف مبتنی بر کنجکاوی به ربات­ها امکان می­دهد تا بدون دخالت انسان، مهارت­های حرکتی جدید را کشف و اصلاح کنند [12]. چنین قابلیت­هایی برای توسعه ربات­های خودکاری که می­توانند با محیط­های متنوع و پویا سازگار شوند، حیاتی هستند.

·       پردازش زبان طبیعی: یادگیری مبتنی بر کنجکاوی همچنین در پردازش زبان طبیعی کاربردهایی پیدا کرده است، جایی که به آموزش مدل­ها برای درک بهتر و تولید زبان کمک می­کند. برای مثال، می­توان از مدل­های مبتنی بر کنجکاوی برای کاوش داده­های زبانی گسترده و تمرکز بر ساختارهای زبانی کم‌نماینده یا پیچیده استفاده کرد و در نتیجه توانایی مدل در تولید متن منسجم­تر و مناسب­تر با زمینه را افزایش داد [121]. این کاربرد در بهبود ترجمه ماشینی، خلاصه­سازی متن و سیستم­های گفتگوی AI بسیار مفید است [122,123].

 

شکل ۳: تعاملات عامل-محیط در RL [51]

·       بازی: در حوزه AI بازی، از یادگیری مبتنی بر کنجکاوی برای توسعه عامل­هایی استفاده شده است که قادر به تسلط بر بازی­های پیچیده بدون راهنمایی صریح انسانی هستند. با استفاده از کنجکاوی به‌عنوان یک پاداش ذاتی، عامل­ها برای کاوش استراتژی­ها و حالت­های بازی متنوع انگیزه می­یابند که منجر به کشف راه‌حل­های نوآورانه می­شود. به طور قابل توجه، استفاده از یادگیری مبتنی بر کنجکاوی به سیستم­های AI اجازه داده است تا به عملکرد فوق‌انسانی در بازی­هایی مانند Go و بازی­های ویدیویی مختلف دست یابند، جایی که محیط گسترده است و اکتشاف حیاتی است [46،47،73،92،105،114،124].

·       مراقبت­های بهداشتی: کاربرد یادگیری مبتنی بر کنجکاوی به حوزه مراقبت­های بهداشتی نیز گسترش یافته است، جایی که مدل­های AI از کنجکاوی برای شناسایی الگوها و ناهنجاری­ها در داده­های پزشکی استفاده می­کنند. این رویکرد می‌تواند تشخیص زودهنگام و برنامه­ریزی درمان را با تشویق به کاوش موارد نادر یا غیرمعمول که ممکن است توسط مدل­های سنتی نادیده گرفته شوند، تسهیل کند. با تمرکز بر داده­های جدید بیماران، سیستم­های AI مبتنی بر کنجکاوی می­توانند بینش­های ارزشمندی در مورد پیشرفت بیماری و اثربخشی درمان ارائه دهند و در نتیجه نتایج بیماران را بهبود بخشند [129,128].

·       خودروهای خودران: در حوزه خودروهای خودران، یادگیری مبتنی بر کنجکاوی به ناوبری و تصمیم­گیری کمک می­کند و اکتشاف سناریوهای رانندگی متنوع را تقویت می­کند. مدل­های مبتنی بر کنجکاوی به خودروها امکان می­دهند تا از رویدادهای غیرمنتظره بیاموزند و با شرایط ترافیکی متغیر سازگار شوند و توانایی آن­ها را برای عملکرد ایمن و کارآمد در محیط­های دنیای واقعی افزایش دهند [130,136]. این کاربرد برای توسعه سیستم­های رانندگی خودران قوی که قادر به مدیریت پیچیدگی­های جاده­های مدرن هستند، حیاتی است.

به طور کلی، کاربرد مدل­های کنجکاوی محاسباتی در AI پتانسیل قابل توجهی در بهبود کارایی یادگیری و سازگاری در حوزه­های مختلف نشان داده است. با تشویق اکتشاف و کشف، یادگیری مبتنی بر کنجکاوی توسعه سیستم­های هوشمند قادر به یادگیری از نظارت کم و عملکرد در محیط­های پیچیده و پویا را تقویت می­کند.

 

4-4- جهت­گیری­های آینده

حوزه یادگیری مبتنی بر کنجکاوی در AI به سرعت در حال تکامل است و فرصت­های متعددی برای پیشبرد مرزهای دانش ارائه می­دهد. با افزایش تقاضا برای سیستم­های خودمختار و هوشمندتر، یادگیری مبتنی بر کنجکاوی مسیرهای امیدوارکنندهای را برای توسعه AI که قادر به یادگیری و سازگاری در محیط­های پیچیده است، ارائه می­دهد. این بخش چندین جهت­گیری آینده برای یادگیری مبتنی بر کنجکاوی در AI را بررسی می­کند و حوزه­های بالقوه تحقیق و کاربرد را برای بهبود بیشتر اثربخشی و قابلیت کاربرد آن برجسته می­کند.

·       بهبود تعمیم­پذیری و انتقال یادگیری: یکی از چالش­های مهم در یادگیری مبتنی بر کنجکاوی، بهبود قابلیت­های تعمیم­پذیری مدل­های مبتنی بر کنجکاوی است. تحقیقات آینده باید بر توسعه الگوریتم­هایی تمرکز کنند که بتوانند به طور موثر دانش را بین وظایف و حوزه­های مختلف انتقال دهند و در نتیجه نیاز به آموزش خاص برای هر وظیفه را کاهش دهند. این کار را می­توان با بررسی رویکردهای متا-یادگیری انجام داد که به مدل­ها امکان می­دهد رفتارهای مبتنی بر کنجکاوی را در محیط­های مختلف تعمیم دهند و منجر به سیستم­های AI قوی­تر و متنوع­تر شوند. بهبود تعمیم­پذیری برای استقرار یادگیری مبتنی بر کنجکاوی در کاربردهای دنیای واقعی که محیط­ها در آن پویا و غیرقابل پیش­بینی هستند، حیاتی خواهد بود.

·       ادغام کنجکاوی انسان­مانند: ادغام جنبه­های کنجکاوی انسان­مانند در سیستم­های AI جهت­گیری امیدوارکننده دیگری برای یادگیری مبتنی بر کنجکاوی است. کنجکاوی انسان نه تنها توسط تازگی بلکه توسط اهداف ذاتی و برنامه­ریزی بلندمدت نیز هدایت می­شود. تحقیقات آینده می­توانند بررسی کنند که چگونه می­توان این عناصر را در مدل­های یادگیری مبتنی بر کنجکاوی ادغام کرد تا به سیستم­های AI اجازه دهد اهداف ذاتی را دنبال کنند و در رفتار اکتشافی بلندمدت شرکت کنند. این می­تواند شامل توسعه چارچوب­های سلسله مراتبی مبتنی بر کنجکاوی باشد که به عامل­های AI امکان می­دهد تعادل بین اکتشاف و بهره­برداری را به طور موثرتر برقرار کنند، مشابه نحوه برخورد انسان­ها با وظایف پیچیده حل مسئله.

·       ترکیب کنجکاوی با انگیزه­های دیگر: در حالی که کنجکاوی محرک قدرتمندی برای اکتشاف است، ترکیب آن با عوامل انگیزشی دیگر مانند تعامل اجتماعی یا یادگیری مشارکتی می­تواند منجر به سیستم­های AI موثرتر شود. تحقیقات آینده می­توانند بررسی کنند که چگونه مدل­های مبتنی بر کنجکاوی را می­توان با الگوریتم­های یادگیری اجتماعی ادغام کرد تا رفتار همکاری بین چندین عامل را تسهیل کند. این رویکرد می­تواند در محیط­هایی که همکاری و ارتباط برای تکمیل وظیفه ضروری است، مانند سیستم­های چندعاملی و رباتیک، به ویژه مفید باشد.

·       رسیدگی به نگرانی­های اخلاقی و ایمنی: با خودمختارتر شدن سیستم­های یادگیری مبتنی بر کنجکاوی و توانایی آن­ها در کاوش محیط­های ناشناخته، رسیدگی به نگرانی­های اخلاقی و ایمنی اهمیت فزایندهای پیدا می­کند. تحقیقات آینده باید بر توسعه تکنیک­های اکتشاف ایمن تمرکز کنند که تضمین می­کنند سیستم­های AI در محدوده­های اخلاقی از پیش تعریف شده عمل می­کنند و از رفتارهای مضر اجتناب می­کنند. این می­تواند شامل طراحی چارچوب­های نظارتی و دستورالعمل­هایی باشد که استقرار سیستم­های یادگیری مبتنی بر کنجکاوی را در کاربردهای حیاتی مانند مراقبت­های بهداشتی و خودروهای خودران تنظیم می­کند. اطمینان از پایبندی سیستم­های مبتنی بر کنجکاوی به اصول اخلاقی برای جلب اعتماد و پذیرش عمومی ضروری است.

·       بهره­برداری از پیشرفت­های علوم اعصاب: پیشرفت­های علوم اعصاب بینش­های ارزشمندی در مورد مکانیسم­های زیربنایی کنجکاوی و اکتشاف انسانی ارائه می­دهند. تحقیقات آینده می­توانند از این بینش­ها برای اطلاعرسانی توسعه مدلهای یادگیری مبتنی بر کنجکاوی پیچیدهتر استفاده کنند. با درک نحوه پردازش تازگی و کنجکاوی توسط مغز، محققان می­توانند سیستم­های AI را طراحی کنند که این فرآیندها را تقلید کرده و منجر به استراتژی­های اکتشاف طبیعی­تر و کارآمدتر شوند. همکاری بین محققان AI و دانشمندان اعصاب می­تواند ایجاد مدل­های الهام گرفته از زیست­شناسی را تسهیل کند که قابلیت­های یادگیری سیستم­های AI مبتنی بر کنجکاوی را افزایش می­دهد.

·       گسترش کاربردها به حوزه­های جدید: در حالی که یادگیری مبتنی بر کنجکاوی در زمینه­هایی مانند رباتیک و RL نویدبخش بوده است، کاربرد آن در حوزه­های جدید همچنان یک حوزه هیجان­انگیز برای اکتشافات آینده است. کاربردهای بالقوه شامل آموزش شخصی­سازی شده است که در آن مدل­های مبتنی بر کنجکاوی می­توانند تجربیات یادگیری را بر اساس ترجیحات فردی تنظیم کنند، و صنایع خلاق، جایی که سیستم­های AI می­توانند ایده­ها و راه­حل­های جدید تولید کنند. گسترش دامنه یادگیری مبتنی بر کنجکاوی به این حوزه­ها و حوزه­های دیگر نیازمند رویکردهای نوآورانه­ای است که از نقاط قوت منحصر به فرد اکتشاف مبتنی بر کنجکاوی بهره­برداری کنند.

·       توسعه مدل­های کنجکاوی چندعاملی: بررسی می­کند چگونه چندین عامل کنجکاو می­توانند با یکدیگر تعامل داشته و یادگیری و اکتشاف را به صورت مشترک پیش ببرند. این رویکرد، در پی بهره­برداری از تعاملات اجتماعی و همکاری بین عامل­ها است تا بهره­وری یادگیری و توانایی اکتشاف را بهبود بخشد. برخی چالش­های پیش رو در این حوزه عبارتند از: هماهنگی بین عامل­ها، تعاملات اجتماعی و تقسیم وظایف.

 5- نتیجه‌گیری

ما در این مقاله به بررسی جامع و دقیق نقش کنجکاوی در AI و اهمیت آن به عنوان محرک اصلی برای یادگیری فعال و اکتشاف پرداخته­ایم. در ادامه مفهوم کنجکاوی را از دیدگاه روانشناسی و رابطه آن با انگیزش درونی را مورد بررسی قرار دادیم. همچنین متغیرهای هم­سنجش همچون تازگی، تضاد، عدم قطعیت و پیچیدگی را به‌عنوان محرک‌های اصلی کنجکاوی در سیستم­های AI معرفی و بررسی کرده­ایم. از طرفی، معرفی متغیر هم­سنجش جدیدی به نام «پوشش فضا» به منظور بهبود مدل­سازی کنجکاوی محاسباتی، نشان داد که می­توان به شکلی کارآمدتر به گسترش قابلیت­های اکتشافی سیستم­های AI پرداخت. با تحلیل و دسته­بندی مدل­های محاسباتی موجود که بر اساس این متغیرها طراحی شده­اند، به درک بهتری از مزایا و چالش­های این رویکردها دست یافته­ایم. این تحلیل­ها همچنین ما را به بررسی معیارهای پاداش و تأثیر آن­ها بر بهبود فرآیند یادگیری و اکتشاف در سیستم­های AI رهنمون کرد. با استفاده از این پژوهش­ها، می­توان راهکارهای مؤثرتری برای توسعه سیستم­های هوشمند ارائه داد که قادر به تعامل طبیعی­تر با انسان­ها و محیط­های واقعی باشند. این سیستم­ها می­توانند به شکل­گیری رفتارهای خلاقانه و نوآورانه کمک کنند و در حل مسائل پیچیده و ناشناخته مؤثر واقع شوند. پیشنهادات این مقاله برای پژوهش­های آینده، شامل ارتقای مدل­های محاسباتی کنجکاوی و گسترش کاربردهای آن در زمینه­های مختلف علمی و صنعتی می­باشد. با توجه به روند رو به رشد فناوری­های AI و نیاز به سیستم­هایی که به‌طور خودکار و مستقل به اکتشاف و یادگیری بپردازند، تقویت مکانیزم­های کنجکاوی محاسباتی می­تواند به شکل قابل‌توجهی به پیشرفت در این حوزه کمک کند. این پژوهش راه را برای توسعه ابزارها و الگوریتم­های پیشرفته­تر در جهت افزایش بهره­وری و کارایی سیستم­های AI هموار می­سازد.

 

منابع

[1]    R. Archana, P. Jeevaraj. "Deep learning models for digital image processing: a review," in Artificial Intelligence Review, vol. 57, no. 1, pp. 11, 2024.

[2]   Mehrish, A., et al. "A review of deep learning techniques for speech processing," in Information Fusion, vol. 99, pp. 101869, 2023.

[3]     M. Soori, B. Arezoo, R. Dastres. "Artificial intelligence, machine learning and deep learning in advanced robotics, a review," in Cognitive Robotics, vol. 3, pp. 54–70, 2023.

[4]    Badue, C., et al. "Self-driving cars: A survey," in Expert systems with applications, vol. 165, pp. 113816, 2021.

[5]    Yin, H., et al. "On-device recommender systems: A comprehensive survey," in arXiv preprint arXiv:2401.11441, 2024.

[6]   Stray, J., et al. "Building human values into recommender systems: An interdisciplinary synthesis," in ACM Transactions on Recommender Systems, vol. 2, no. 3, pp. 1–57, 2024.

[7]    T. Kashdan, M. Steger. "Curiosity and pathways to well-being and meaning in life: Traits, states, and everyday behaviors," in Motivation and Emotion, vol. 31, pp. 159–173, 2007.

[8]    Sun, C., Qian, H., & Miao, C. (2022). From psychological curiosity to artificial curiosity: Curiosity-driven learning in artificial intelligence tasks. arXiv preprint arXiv:2201.08300.

[9]   George Loewenstein. 1994. The psychology of curiosity: A review and reinterpretation. Psychological bulletin 116, 1 (1994), 75.

[10]     J. Schmidhuber. "Developmental robotics, optimal artificial curiosity, creativity, music, and the fine arts," in Connection Science, vol. 18, no. 2, pp. 173–187, 2006.

[11]     Wu, Q., & Miao, C. (2013). Curiosity: From psychology to computation. ACM Computing Surveys (CSUR), 46(2), 1-26.

[12]    P. Oudeyer, F. Kaplan. "What is intrinsic motivation? A typology of computational approaches," in Frontiers in neurorobotics, vol. 1, pp. 108, 2007.

[13]     D.E. Berlyne. 1960. Conflict, arousal, and curiosity. McGraw-Hill New York.


[14]    R. Saunders, J. Gero, "The digital clockwork muse: A computational model of aesthetic evolution," in Proceedings of the AISB, 2001, pp. 12–21.

[15]     S. Reichhuber, S. Tomforde. "Active Reinforcement Learning–A Roadmap Towards Curious Classifier Systems for Self-Adaptation," in arXiv preprint arXiv:2201.03947, 2022.

[16]     Z. Fu, X. Niu. "Modeling Users’ Curiosity in Recommender Systems," in ACM Transactions on Knowledge Discovery from Data, vol. 18, no. 1, pp. 1–23, 2023.

[17]     Schaul, T., et al, "Curiosity-driven optimization," in 2011 IEEE Congress of Evolutionary Computation (CEC), 2011, pp. 1343–1349.

[18]    R. Zhao, V. Tresp. "Curiosity-driven experience prioritization via density estimation," in arXiv preprint arXiv:1902.08039, 2019.

[19]    T. Blau, L. Ott, F. Ramos. "Bayesian curiosity for efficient exploration in reinforcement learning," in arXiv preprint arXiv:1911.08701, 2019.

[20]      D. Rezende, S. Mohamed, "Variational inference with normalizing flows," in International conference on machine learning, 2015, pp. 1530–1538.

[21]    J. Schmidhuber, "Curious model-building control systems," in Proc. international joint conference on neural networks, 1991, pp. 1458–1463.

[22]      P. Oudeyer, F. Kaplan, "How can we define intrinsic motivation?," in the 8th international conference on epigenetic robotics: Modeling cognitive development in robotic systems, 2008.

[23]     Dobrynin, D., et al. "Physical and biological mechanisms of direct plasma interaction with living tissue," in New Journal of Physics, vol. 11, no. 11, pp. 115020, 2009.

[24]    Jepma, M., et al. "Neural mechanisms underlying the induction and relief of perceptual curiosity," in Frontiers in behavioral neuroscience, vol. 6, pp. 5, 2012.

[25]     Todd B Kashdan and Paul J Silvia. 2009. Curiosity and interest: The benefits of thriving on novelty and challenge. 
Oxford handbook of positive psychology 2 (2009), 367–374. 


[26]     Modirshanechi, A., et al. "Curiosity-driven exploration: foundations in neuroscience and computational modeling," in Trends in Neurosciences, 2023.

[27]    G Stanley Hall and Theodate L Smith. 1903. Curiosity and interest. The Pedagogical Seminary 10, 3 (1903), 315–358.

[28]      Daniel E Berlyne. 1950. Novelty and curiosity as determinants of exploratory behaviour. British Journal of Psychology 41, 1 (1950), 68.

[29]      Abraham Harold Maslow. 1943. A theory of human motivation. Psychological review 50, 4 (1943), 370.

[30]      Konrad Z Lorenz. 1981. Exploratory behavior or curiosity. In the Foundations of Ethology. Springer, 325–335.

[31]      Donald O Hebb. 1946. On the nature of fear. Psychological review 53, 5 (1946), 259.

[32]       Jean Piaget. 2003. The psychology of intelligence. Routledge.

[33]     Robert W White. 1959. Motivation reconsidered: The concept of competence. Psychological review 66, 5 (1959), 297.

[34]       Edward L Deci and Richard M Ryan. 2010. Intrinsic motivation. The corsini encyclopedia of psychology (2010), 1–2.

[35]     William N Dember and Robert W Earl. 1957. Analysis of exploratory, manipulatory, and curiosity behaviors. Psychological review 64, 2 (1957), 91.

[36]       C.D. Spielberger and L.M. Starr. 1994. Curiosity and exploratory behavior. NJ: Lawrence Erlbaum Associates, 221–243.

[37]       F.F. Schmitt and R. Lahroodi. 2008. The epistemic value of curiosity. Educational Theory 58, 2 (2008), 125–148.


[38]     Deci, E. L., & Ryan, R. M. (2000). Self-Determination Theory: Theoretical issues and practical applications. Rochester: University of Rochester Press.

[39]      Jirout, J. J., & Klahr, D. (2012). Children's scientific curiosity: In search of an operational definition of an elusive concept. Developmental Review, 32(2), 125-160.

[40]      Gottfried, A. E. (1990). Academic intrinsic motivation in young elementary school children. Journal of Educational Psychology, 82(3), 525-538.

[41]      Gruber, M. J., Gelman, B. D., & Ranganath, C. (2014). States of curiosity modulate hippocampus-dependent learning via the dopaminergic circuit. Neuron, 84(2), 486-496.

[42]       Cantor, G. N., Cantor, J. H., & Ditrichs, R. (1963). Observing behavior in preschool children as a function of stimulus complexity. Child Development, 683-689.

[43]         Daniel E Berlyne. 1978. Curiosity and learning. Motivation and emotion 2, 2 (1978), 97–175.

[44]        A. Ten, P. Oudeyer, C. Moulin-Frier. "Curiosity-driven exploration," in The Drive for Knowledge: The Science of Human Information Seeking, pp. 53, 2022.

[45]         Paul J Silvia. 2005. Cognitive appraisals and interest in visual art: Exploring an appraisal theory of aesthetic emotions. Empirical studies of the arts 23, 2 (2005), 119–133.

[46]        Pathak, D., Agrawal, P., Efros, A. A., & Darrell, T. (2017). Curiosity-driven exploration by self-supervised prediction. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2017.

[47]        Burda, Y., Edwards, H., Storkey, A., & Klimov, O. (2018). Exploration by random network distillation. arXiv preprint arXiv:1810.12894.

[48]        O. Nahirnyi. "Reinforcement Learning Agents in Procedurally-generated Environments with Sparse Rewards,", 2022.

[49]       Macedo, L., & Cardoso, A. (1999, January). Towards artificial forms of surprise and curiosity. In Proceedings of the European Conference on Cognitive Science, S. Bagnara, Ed (pp. 139-144).

[50]        Saunders, R., & Gero, J. S. (2001). A curious design agent. In CAADRIA (Vol. 1, pp. 345-350).

[51]         C. Sun. "Curiosity-driven learning in artificial intelligence and its applications," 2023.

[52]        Yadav, P., et al. "OODA-RL: A reinforcement learning framework for artificial general intelligence to solve open world novelty," in Authorea Preprints, 2023.

[53]      M. Kubovč\ik, I. Dirgová Luptáková, J. Posp\'\ichal. "Signal Novelty Detection as an Intrinsic Reward for Robotics," in Sensors, vol. 23, no. 8, pp. 3985, 2023.

[54]      Bellemare, M., et al. "Unifying count-based exploration and intrinsic motivation," in Advances in neural information processing systems, vol. 29, 2016.

[55]          Tang, H., et al. "# exploration: A study of count-based exploration for deep reinforcement learning," in Advances in neural information processing systems, vol. 30, 2017.

[56]      Han, C., et al. "Learning robotic manipulation skills with multiple semantic goals by conservative curiosity-motivated exploration," in Frontiers in Neurorobotics, vol. 17, pp. 1089270, 2023.

[57]    Savinov, N., et al. "Episodic curiosity through reachability," in arXiv preprint arXiv:1810.02274, 2018.

[58]          Kim, Y., et al, "Curiosity-bottleneck: Exploration by distilling task-specific novelty," in International conference on machine learning, 2019, pp. 3379–3388.

[59]    Alemi, A., et al. "Deep variational information bottleneck," in arXiv preprint arXiv:1612.00410, 2016.

[60]       Xu, H., et al. "Novelty is not surprise: Human exploratory and adaptive behavior in sequential decision-making," in PLOS Computational Biology, vol. 17, no. 6, pp. e1009070, 2021.

[61]          Modirshanechi, A., et al. "The curse of optimism: a persistent distraction by novelty," in bioRxiv, pp. 2022–07, 2022.

[62]       H. Jiang, Z. Ding, Z. Lu, "Settling Decentralized Multi-Agent Coordinated Exploration by Novelty Sharing," in Proceedings of the AAAI Conference on Artificial Intelligence, 2024, pp. 17444–17452.

[63]        Sun, C., Qian, H., & Miao, C. (2022). From psychological curiosity to artificial curiosity: Curiosity-driven learning in artificial intelligence tasks. arXiv preprint arXiv:2201.08300.

[64]      Karaoguz, C., et al, "Curiosity driven exploration of sensory-motor mappings," in Capo Caccia Cognitive Neuromorphic Engineering Workshop, 2011.

[65]      R. Raileanu, T. Rocktäschel. "Ride: Rewarding impact-driven exploration for procedurally-generated environments," in arXiv preprint arXiv:2002.12292, 2020.

[66]     Parisi, S., et al. "Interesting object, curious agent: Learning task-agnostic exploration," in Advances in Neural Information Processing Systems, vol. 34, pp. 20516–20530, 2021.

[67]     Yuan, M., et al. "Rewarding episodic visitation discrepancy for exploration in reinforcement learning," in arXiv preprint arXiv:2209.08842, 2022.

[68]    Wang, Y., et al. "Efficient potential-based exploration in reinforcement learning using inverse dynamic bisimulation metric," in Advances in Neural Information Processing Systems, vol. 36, 2024.

[69]       Q. Wu, C. Miao, Z. Shen, "A curious learning companion in virtual learning environment," in 2012 IEEE International Conference on Fuzzy Systems, 2012, pp. 1–8.

[70]     Q. Wu, S. Liu, C. Miao, "Recommend interesting items: How can social curiosity help?," in Web Intelligence, 2019, pp. 297–311.

[71]      P. Oudeyer. "Intelligent adaptive curiosity: a source of self-development," ,2004.

[72]     Balloch, J., et al, "Characteristics of Effective Exploration for Transfer in Reinforcement Learning," in Finding the Frame: An RLC Workshop for Examining Conceptual Frameworks, 2024.

[73]    Jiang, R., et al, "OB-HPPO: An Option and Intrinsic Curiosity Based Hierarchical Reinforcement Learning Approach for Real-Time Strategy Games," in International Conference on Intelligent Computing, 2024, pp. 443–454.

[74]     Baker, B., et al. "Emergent tool use from multi-agent autocurricula," in arXiv preprint arXiv:1909.07528, 2019.

[75]      Campero, A., et al. "Learning with amigo: Adversarially motivated intrinsic goals," in arXiv preprint arXiv:2006.12122, 2020.

[76]      Parker-Holder, J., et al, "Evolving curricula with regret-based environment design," in International Conference on Machine Learning, 2022, pp. 17473–17498.

[77]     Zhou, X., et al. "MENTOR: Guiding Hierarchical Reinforcement Learning with Human Feedback and Dynamic Distance Constraint," in arXiv preprint arXiv:2402.14244, 2024.

[78]     L. Macedo, A. Cardoso, "The role of surprise, curiosity and hunger on exploration of unknown environments populated with entities," in 2005 portuguese conference on artificial intelligence, 2005, pp. 47–53.

[79]       Houthooft, R., et al. "Vime: Variational information maximizing exploration," in Advances in neural information processing systems, vol. 29, 2016.

[80]      Ten, A., et al. "The curious U: Integrating theories linking knowledge and information-seeking behavior," ,2024.

[81]    Berseth, G., et al. "Smirl: Surprise minimizing reinforcement learning in unstable environments," in arXiv preprint arXiv:1912.05510, 2019.

[82]      Jansonnie, P., et al. "Unsupervised Skill Discovery for Robotic Manipulation through Automatic Task Generation," in arXiv preprint arXiv:2410.04855, 2024.

[83]     Fickinger, A., et al. "Explore and control with adversarial surprise," in arXiv preprint arXiv:2107.07394, 2021.

[84]     Haarnoja, T., et al. "Soft actor-critic algorithms and applications," in arXiv preprint arXiv:1812.05905, 2018.

[85]      O’Donoghue, B., et al, "The uncertainty bellman equation and exploration," in International conference on machine learning, 2018, pp. 3836–3845.

[86]   Han, Z., et al. "Reweighted mixup for subpopulation shift," in arXiv preprint arXiv:2304.04148, 2023.

[87]      Lin, J., et al. "Cat-sac: Soft actor-critic with curiosity-aware entropy temperature," 2020.

[88]   Li, K., et al, "Mural: Meta-learning uncertainty-aware rewards for outcome-driven reinforcement learning," in International conference on machine learning, 2021, pp. 6346–6356.

[89]    D. Cho, S. Lee, H. Kim. "Outcome-directed reinforcement learning by uncertainty & temporal distance-aware curriculum goal generation," in arXiv preprint arXiv:2301.11741, 2023.

[90]      Lee, S., et al. "CQM: curriculum reinforcement learning with a quantized world model," in Advances in Neural Information Processing Systems, vol. 36, 2024.

[91]     A. Barto, M. Mirolli, G. Baldassarre. "Novelty or surprise?," in Frontiers in psychology, vol. 4, pp. 907, 2013.

[92]     J. Schmidhuber. "Formal theory of creativity, fun, and intrinsic motivation (1990–2010)," in IEEE transactions on autonomous mental development, vol. 2, no. 3, pp. 230–247, 2010.

[93]   Storck, J., et al, "Reinforcement driven information acquisition in non-deterministic environments," in Proceedings of the international conference on artificial neural networks, Paris, 1995, pp. 159–164.

[94]     J. Schmidhuber, "Adaptive confidence and adaptive curiosity," Citeseer, Tech. Rep., 1991.

[95]     S. Bohara, M. Hanif, M. Shafique, "CuriousRL: Curiosity-Driven Reinforcement Learning for Adaptive Locomotion in Quadruped Robots," in 2024 International Joint Conference on Neural Networks (IJCNN), 2024, pp. 1–8.

[96]    Barto, A., et al, "Intrinsically motivated learning of hierarchical collections of skills," in Proceedings of the 3rd International Conference on Development and Learning, 2004, pp. 19.

[97]    N. Chentanez, A. Barto, S. Singh. "Intrinsically motivated reinforcement learning," in Advances in neural information processing systems, vol. 17, 2004.

[98]    Sekar, R., et al, "Planning to explore via self-supervised world models," in International conference on machine learning, 2020, pp. 8583–8592.

[99]     Nguyen, T., et al, "Sample-efficient reinforcement learning representation learning with curiosity contrastive forward dynamics model," in 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2021, pp. 3471–3477.

[100]      Poli, F., et al. "Curiosity and the dynamics of optimal exploration," in Trends in Cognitive Sciences, vol. 28, no. 5, pp. 441–453, 2024.

[101]     Schwarke, C., et al, "Curiosity-driven learning of joint locomotion and manipulation tasks," in Proceedings of The 7th Conference on Robot Learning, 2023, pp. 2594–2610.

[102]     Zheng, L., et al. "Episodic multi-agent reinforcement learning with curiosity-driven exploration," in Advances in Neural Information Processing Systems, vol. 34, pp. 3757–3769, 2021.

[103]    Mazzaglia, P., et al, "Self-supervised exploration via latent Bayesian surprise," in ICLR2021, the 9th International Conference on Learning Representations, 2021.

[104]    Mazzaglia, P., et al, "Curiosity-driven exploration via latent bayesian surprise," in Proceedings of the AAAI conference on artificial intelligence, 2022, pp. 7752–7760.

[105]    Le, H., et al, "Beyond Surprise: Improving Exploration Through Surprise Novelty.," in AAMAS, 2024, pp. 1084–1092.

[106]    Amin, S., et al. "A survey of exploration methods in reinforcement learning," in arXiv preprint arXiv:2109.00157, 2021.

[107]    M. Machado, M. Bellemare, M. Bowling, "A laplacian framework for option discovery in reinforcement learning," in International Conference on Machine Learning, 2017, pp. 2295–2304.

[108]    Machado, M., et al. "Eigenoption discovery through the deep successor representation," in arXiv preprint arXiv:1710.11089, 2017.

[109]     P. Xu, J. Zhang, K. Huang, "Population-based diverse exploration for sparse-reward multi-agent tasks," in Proceedings of the Thirty-Third International Joint Conference on Artificial Intelligence, 2024, pp. 283–291.

[110]   Jinnai, Y., et al, "Discovering options for exploration by minimizing cover time," in International Conference on Machine Learning, 2019, pp. 3130–3139.

[111]     P. Amortila, D. Foster, A. Krishnamurthy. "Scalable Online Exploration via Coverability," in arXiv preprint arXiv:2403.06571, 2024.

[112]    Jinnai, Y., et al, "Exploration in reinforcement learning with deep covering options," in International Conference on Learning Representations, 2020.

[113]    Amin, S., et al. "Locally persistent exploration in continuous control tasks with sparse rewards," in arXiv preprint arXiv:2012.13658, 2020.

[114]   Sabbioni, L., et al, "Simultaneously updating all persistence values in reinforcement learning," in Proceedings of the AAAI Conference on Artificial Intelligence, 2023, pp. 9668–9676.

[115]     Hartikainen, K., et al. "Dynamical distance learning for semi-supervised and unsupervised skill discovery," in arXiv preprint arXiv:1907.08225, 2019.

[116]   F. Stulp, O. Sigaud. "Robot skill learning: From reinforcement learning to evolution strategies," in Paladyn, Journal of Behavioral Robotics, vol. 4, no. 1, pp. 49–61, 2013.

[117]     S. Nguyen, P. Oudeyer. "Socially guided intrinsic motivation for robot learning of motor skills," in Autonomous Robots, vol. 36, pp. 273–294, 2014.

[118]     G. Gordon. "Infant-inspired intrinsically motivated curious robots," in Current Opinion in Behavioral Sciences, vol. 35, pp. 28–34, 2020.

[119]    Zeng, H., et al. "AHEGC: Adaptive Hindsight Experience Replay With Goal-Amended Curiosity Module for Robot Control," in IEEE Transactions on Neural Networks and Learning Systems, 2023.

[120]    Wang, T., et al. "Curiosity model policy optimization for robotic manipulator tracking control with input saturation in uncertain environment," in Frontiers in Neurorobotics, vol. 18, pp. 1376215, 2024.

[121]   Luo, Y., et al, "Curiosity-driven reinforcement learning for diverse visual paragraph generation," in Proceedings of the 27th ACM International Conference on Multimedia, 2019, pp. 2341–2350.

[122]   Colas, C., et al. "Language as a cognitive tool to imagine goals in curiosity driven exploration," in Advances in Neural Information Processing Systems, vol. 33, pp. 3761–3774, 2020.

[123]     Hong, Z., et al. "Curiosity-driven red-teaming for large language models," in arXiv preprint arXiv:2402.19464, 2024.

[124]     Roohi, S., et al, "Review of intrinsic motivation in simulation-based game testing," in Proceedings of the 2018 chi conference on human factors in computing systems, 2018, pp. 1–13.

[125]    Esteva, A., et al. "Dermatologist-level classification of skin cancer with deep neural networks," in nature, vol. 542, no. 7639, pp. 115–118, 2017.

[126]      Niu, X., et al, "Surprise me if you can: Serendipity in health information," in Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, 2018, pp. 1–12.

[127]    Z. Fu, X. Niu, M. Maher. "Deep learning models for serendipity recommendations: a survey and new perspectives," in ACM Computing Surveys, vol. 56, no. 1, pp. 1–26, 2023.

[128]    Song, S., et al. "Serious information in hedonic social applications: affordances, self-determination and health information adoption in TikTok," in Journal of Documentation, vol. 78, no. 4, pp. 890–911, 2022.

[129]       T. Hasan, R. Bunescu, "Topic-Level Bayesian Surprise and Serendipity for Recommender Systems," in Proceedings of the 17th ACM Conference on Recommender Systems, 2023, pp. 933–939.

[130]     Codevilla, F., et al, "Exploring the limitations of behavior cloning for autonomous driving," in Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 9329–9338.

[131]      M. Albilani, A. Bouzeghoub, "Dynamic Adjustment of Reward Function for Proximal Policy Optimization with Imitation Learning: Application to Automated Parking Systems," in 2022 IEEE Intelligent Vehicles Symposium (IV), 2022, pp. 1400–1408.

[132]     F. Carton, "Exploration of reinforcement learning algorithms for autonomous vehicle visual perception and control," Ph.D. dissertation, Institut Polytechnique de Paris, 2021.

[133]     M. Hutsebaut-Buysse, "Learning to navigate through abstraction and adaptation," Ph.D. dissertation, University of Antwerp, 2023.

[134]      Huang, C., et al. "Deductive reinforcement learning for visual autonomous urban driving navigation," in IEEE Transactions on Neural Networks and Learning Systems, vol. 32, no. 12, pp. 5379–5391, 2021.

[135]     Wu, Y., et al. "Deep reinforcement learning on autonomous driving policy with auxiliary critic network," in IEEE transactions on neural networks and learning systems, vol. 34, no. 7, pp. 3680–3690, 2021.

[136]    Yan, Y., et al, "An improved proximal policy optimization algorithm for autonomous driving decision-making," in Fourth International Conference on Sensors and Information Technology (ICSI 2024), 2024, pp. 837–845.

[137]      L. Bustillo, T. Laino, T. Rodrigues. "The rise of automated curiosity-driven discoveries in chemistry," in Chemical Science, vol. 14, no. 38, pp. 10378–10384, 2023.

[138]     H. Sun, H. Burton, H. Huang. "Machine learning applications for building structural design and performance assessment: State-of-the-art review," in Journal of Building Engineering, vol. 33, pp. 101816, 2021.

 

---

[1]  Artificial Intelligence

[2]  recommender systems

[3]  Reinforcement Learning

[4]  Novelty

[5]  Uncertainty

[6]  Complexity

[7]  Google Scholar

[8]  drive

[9]  Lorenz

[10]  Hebb

[11]  Piaget

[12]  Intrinsic motivation

[13]  Berlyne

[14]  epistemic

[15]  specific

[16]  diversive

[17]  Spielberger

[18]  Starr

[19]  Schmitt

[20]  Lahroodi

[21]  Self-Determination Theory

[22]  Deci

[23]  Ryan

[24]  Functional magnetic resonance imaging (fMRI)

[25]  midbrain

[26]  hippocampus

[27]  Collative Variables

[28]  Ambiguity

[29]  Surprise

[30]  Change

[31]  Incongruity

[32]  Conflict

[33]  Space Coverage

[34]  Macedo

[35]  Cardoso

[36]  Hamming distance

[37]  Add one at a time, Best first

[38]  Saunders

[39]  Gero

[40]  Self-Organizing Map

[41]  Bellemare

[42]  Pseudo-count

[43]  Tang

[44]  Hash

[45]  autoencoder

[46]  Kim

[47]  Sample efficiency

[48]  transition tuples

[49]  curiosity- driven prioritization

[50]  Electroencephalogram

[51]  Multi-Agent Coordinated Exploration (MACE)

[52]  Observation-Orientation-Decision-Action-Reinforcement Learning

[53]  Hash Function

[54]  Hindsight-based

[55]  Sparse

[56]  gaussian distribution

[57]  Rewarding Impact-Driven Explration (RIDE)

[58]  Change-Based Exploration Transfer (C-BET)

[59]  Yuan

[60]  Rewarding Episodic Visitation Discrepancy (REVD)

[61]  bisimulation

[62]  Temporal Difference

[63]  Re ́nyi

[64]  Wu

[65]  Fuzzy Cgnitive Map

[66]  Schmidhuber

[67]  Q-Learning

[68]  hide-and- seek

[69]  Adversarially Compounding Complexity by Editing Levels (ACCEL)

[70]  Asymmetric Self-Play

[71]  Macedo

[72]  Cardoso

[73]  Variational Information Maximizing Exploration (VIME)

[74]  Berseth

[75]  SMIRL: Surprise MInimizing Reinfrcement Learning in unstable envirnments

[76]  Variational AutoEncoders (VAE)

[77]  Soft Actor-Critic

[78]  Li

[79]  Normalized Maximum Likelihood

[80]  Wasserstein

[81]  Reweighted Mixup

[82]  over-parameterized

[83]  Random walk

[84]  Kullback–Leibler divergence

[85]  Atari

[86]  Bellman

[87]  Markov Decision Process

[88]  Wasserstein

[89]  distraction

[90]  fake surprise

[91]  salient

[92]  Schmidhuber

[93]  Bored

[94]  Curiosity Contrastive Forward Dynamics Model

[95]  Momentum

[96]  forward dynamics model

[97]  Dopamine

[98]  Latent Bayesian Surprise

[99]  Machado

[100]  proto-value functions

[101]  Eigenpurposes

[102]  Diffusion model

[103]  Bottlenecks

[104]  Covering options

[105]  Amin

[106]  action persistence

[107]  Amortila

[108]  Laplacian

[109]  successor representation

[110]  Multi-Joint dynamics with Contact

[111]  ATARI 2600 Games (Arcade Learning Environment

[112]  Car Learning to Act

[113]  Bias

---