盘算机视觉与模式识别论文摘要:非平滑凸函数优化算法、CNN技巧

时间:2021-06-03 06:14 作者:澳门新葡萄官网下载
本文摘要:论文一:论文标题: Optimal Algorithms for Non-Smooth Distributed Optimization in Networks,非平滑凸函数的漫衍式优化算法论文摘要:本研究思量在使用盘算单元网络的情况下,举行非平滑凸函数漫衍式优化。我们设定两种规则假设(regularity assumptions)。1)全局目的函数的利普希茨一连。2)局部单个函数的利普希茨一连。

澳门新葡萄官网下载

论文一:论文标题: Optimal Algorithms for Non-Smooth Distributed Optimization in Networks,非平滑凸函数的漫衍式优化算法论文摘要:本研究思量在使用盘算单元网络的情况下,举行非平滑凸函数漫衍式优化。我们设定两种规则假设(regularity assumptions)。1)全局目的函数的利普希茨一连。2)局部单个函数的利普希茨一连。

在局部假设下,我们获得了最优一阶疏散式算法(decentralized algorithm)——多步原始对偶(multi-step primal-dual,MSPD)及其对应的最优收敛速率。这个效果的一个值得注意的方面是,对于非平滑函数,只管误差的主要项在 O(1/ sqrt(t)) 中,但通讯网络(communication network)的结构仅仅影响 O(1/t) 中的二阶项,这里的t 代表时间。也就是说,纵然是在非强凸目的函数中,由于通讯资源限制,而导致的误差会迅速变小。在全局正则性假设(global regularity assumptions)下,我们提出了一种基于目的函数局部平滑的漫衍式随机平滑算法(distributed smooth, DRS)。

澳门新葡萄官网下载

虽然简朴,可是有效。我们证明晰漫衍式随机平滑算法在d1/4乘因子规模内,其中d是基本维度(underlying dimension)。论文团队,由Kevin Scaman(华为诺亚方舟实验室)、Francis Bach(PSL 研究大学)、Sébastien Bubeck(微软研究院)、Yin Tat Lee(微软研究院)、Laurent Massoulié(法国巴黎高等师范学校)组成。论文二:论文标题: Bag of Tricks for Image Classification with Convolutional Neural Networks,用卷积神经网络举行图像分类的一些技巧论文摘要:近期,图像分类研究的大多数希望都可以归功在训练历程中的优化结果,例如数据增强和调整优化方法。

澳门新葡萄官网下载

然而,在这些论文文献中,大多数方法要么被简朴地用以实现细枝末节的革新,要么在源代码中才气看到。在本篇论文中,通过消融研究,我们将测试一系列的优化与实验性评估方法(empirically evaluate)对最后的模型准确率的影响。

这些方法通过控制变量实验评估它们我们将展示通过组合差别的微调方法,我们可以显著地改善多种卷积神经网络模型。好比,我们将数据集 ImageNet上训练的残差网络 ResNet-50 的 top-1 验证准确率从 75.3% 提升到 79.29%。本论文还证明晰图像分类准确率的提高可以在目的检测和语义支解等其他应用领域中提升迁移学习性能。

(完)亲爱的数据出品:谭婧美编:陈泓宇。


本文关键词:澳门新葡萄官网下载,盘算机,视觉,与,模式,识别,论文,摘要,非,平滑

本文来源:澳门新葡萄官网下载-www.huayuluye.com