DARTS:differentiable architecture search

代码

1. 研究问题
现有的最佳架构搜索算法（NAS）一般使用强化学习或者进化算法在离散且不可微的空间上进行黑盒搜索，尽管性能卓越，但非常低效。

注：NAS 算法的基本思想很简单，即让网络能够在一组操作（例如，具有不同过滤器大小的卷积）中进行选择，使我们能够找到更适合当前问题的最佳架构。

2. 研究方法
本文提出了一种基于两级优化的可微网络架构搜索算法DARTS（Differentiable ARchiTecture Search），该方法不是在一组离散的候选架构上进行搜索，而是将搜索空间放宽为连续的，以便可以通过梯度下降对架构进行有效且高效的搜索，适用于卷积和循环网络。
具体方法讲解参考
The Blog of Xiao Wang神经网络架构搜索——可微分搜索（DARTS），写的很牛。【神经网络搜索】DARTS: Differentiable Architecture Searc

DARTS:differentiable architecture search最先出现在Python成神之路。