维基百科

神经结构搜索

神经结构搜索 (Neural Architecture Search, NAS) 是一种自动化设计人工神经网络（Artificial Neural Networks, ANN）这种在机器学习领域被广泛运用的模型的技术 [1]。 目前，通过神经结构搜索所设计的模型的性能，已经可以达到甚至超过由人工设计的模型 [2] [3]。 神经结构搜索的方法可以按照搜索空间、搜索策略和性能估计策略三个方面进行分类[1]：

  • 搜索空间（Search Space） 定义了可以设计和优化的人工神经网络种类；
  • 搜索策略（Search Strategy） 定义了探索搜索空间的方法；
  • 性能估计策略（Performance Estimation Strategy） 通过一个潜在神经网络的结构来评估其性能（不一定构建并训练这个网络）。

神经结构搜索与超参数优化（Hyperparameter optimization ）有着密切的联系。它也是自动机器学习（Automated machine learning）的一个子领域。

搜索空间 编辑

宏搜索空间 编辑

微搜索空间 编辑

其他搜索空间 编辑

搜索策略 编辑

强化学习 编辑

进化算法 编辑

多目标搜索 编辑

可微分的搜索（基于梯度的搜索） 编辑

性能估计策略 编辑

权重共享 编辑

基于预测器 编辑

参考资料 编辑

  1. ^ 1.0 1.1 Elsken, Thomas; Metzen, Jan Hendrik; Hutter, Frank. Neural Architecture Search: A Survey. Journal of Machine Learning Research. August 8, 2019, 20 (55): 1–21 [2020-03-17]. Bibcode:2018arXiv180805377E. arXiv:1808.05377  . （原始内容存档于2021-01-27）. 
  2. ^ Zoph, Barret; Le, Quoc V. Neural Architecture Search with Reinforcement Learning. 2016-11-04. arXiv:1611.01578   [cs.LG]. 
  3. ^ Zoph, Barret; Vasudevan, Vijay; Shlens, Jonathon; Le, Quoc V. Learning Transferable Architectures for Scalable Image Recognition. 2017-07-21. arXiv:1707.07012   [cs.CV]. 
取自“https://zh.100ke.info/w/index.php?title=神经结构搜索&oldid=76800491”