薛伟
- 作品数：2 被引量：0H指数：0
- 供职机构：南京理工大学计算机科学与技术学院更多>>
- 发文基金：国家自然科学基金江苏省普通高校研究生科研创新计划项目更多>>
- 相关领域：自动化与计算机技术理学更多>>
- 改进的OWL-QN方法解稀疏logistic回归问题
- 2016年
- 稀疏logistic回归,是机器学习中一类重要的问题,它在控制论、管理科学和互联网等领域有着广泛的应用.本文提出了一种改进的基于分象限学习的拟Newton算法来求解稀疏logistic回归问题.新算法采用著名的Barzilai-Borwein步长策略自适应地近似代替目标函数的Hesse阵,并利用目标函数的整体梯度信息来构造拟Newton向量.在适当的条件下,证明了新算法的全局收敛性.数值实验表明新算法是可行的,并且是有效的.
- 薛伟张文生
- 关键词：无约束优化L1正则化非单调线搜索
- 基于随机谱梯度的在线学习
- 2016年
- 考虑一类学习问题,问题的目标函数可表示为大量组函数的平均,并且假设每一个组件函数都是光滑的。在众多机器学习方法中,在线学习操作流程简洁、收敛速度快,而且可以实现模型的自动更新,为大数据的学习提供了有利的工具。针对这类问题,提出了一种基于随机谱梯度下降(Stochastic Spectral Gradient Descent,S2 GD)的在线学习方法。该方法利用Rayleigh商收集目标函数的二阶信息来构造Hessian阵逆的近似。S2 GD方法可以看作是谱梯度方法从确定性优化到随机优化的延伸。算法每次迭代所产生的搜索方向具有下降性,且现有结论表明算法收敛。在LIBSVM数据库上的初步实验表明S2 GD方法是可行的、有效的。
- 薛伟张文生任俊宏
- 关键词：凸优化随机梯度
