对机器学习做单元测试

到了吗?网络实际上并没有堆积起来。在编写这段代码时，我复制并粘贴了slim.conv2d(…)行，并且只修改了内核大小，而没有修改实际的输入。

我很不好意思地说，这件事在一周前就发生在我身上了……但这是很重要的一课!由于一些原因，这些bug很难捕获。

• 这段代码不会崩溃，不会产生错误，甚至不会变慢。
• 这个网络仍在运行，损失仍将下降。
• 几个小时后，这些值就会收敛，但结果却非常糟糕，让你摸不着头脑，不知道需要修复什么。

当你唯一的反馈是最终的验证错误时，你惟一需要搜索的地方就是你的整个网络体系结构。不用说，你需要一个更好的系统。

那么，在我们进行完整的多日训练之前，我们如何真正抓住这个机会呢?关于这个最容易注意到的是层的值实际上不会到达函数外的任何其他张量。假设我们有某种类型的损失和一个优化器，这些张量永远不会得到优化，所以它们总是有它们的默认值。

我们可以通过简单的训练步骤和前后对比来检测它。



 

看到了吗?这个非常微妙。您可以看到，在tensorflow batch_norm中，is_training的默认值是False，所以添加这行代码并不能使你在训练期间的输入正常化!值得庆幸的是，我们编写的最后一个单元测试将立即发现这个问题!(我知道，因为这是三天前发生在我身上的事。)

再看一个例子。这实际上来自我一天看到的一篇文章

（编辑：南通站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!