电脑桌面
添加小米粒文库到电脑桌面
安装后可以在桌面快捷访问

饱和样条和特征选择 艺术设计专业

饱和样条和特征选择  艺术设计专业_第1页
饱和样条和特征选择  艺术设计专业_第2页
饱和样条和特征选择  艺术设计专业_第3页
1. 简介 样条——具有连续性约束的分段多项式——广泛用于拟合数据[1,§5.1]。分段多项式的一个问题是它们的行为超出了它们的边界结点,并且(典型地)在该范围之外没有限制地增长[1,§5.2]。这种不稳定性使得推断是危险的; 从业人员必须注意避免查询训练数据范围附近或之外的样条模型。平滑样条算法[2] - [4]通过拟合自然样条来改善这个问题,该自然样条在边界结点之后降低到较低阶的多项式。最常用的各种光滑样条是三次光滑样条(在边界结外部减少到线性的三度样条)以及线性平滑样条,这些样条一直保持不变。我们提出的饱和样条与线性平滑样条密切相关。平滑样条使用或二次方复杂度概念,因此可以用预先确定的密集结点集合拟合模型[1,§5.4]。另一方面,自适应回归样条[5]使用型惩罚,这可以导致自适应选择结点的稀疏集合。然而,自适应回归样条不会在最大结点范围之外降低到较低程度,因此可能会出现不稳定性。我们提出拟合自适应回归样条曲线,其中对某个区间之外的样条曲线的程度有明确的约束。我们称这些样条为饱和样条。虽然我们采用的方法可以扩展到拟合具有任意导数约束的样条曲线,但在本文中,我们将重点放在拟合数据范围之外平坦(恒定)的线性样条; 我们在§8 中提到对更高阶样条的扩展。我们证明饱和样条继承了自适应回归样条的结点选择属性,同时其行为与数据边界附近的自然样条相似。在饱和样条坐标函数拟合广义相加模型[6]的背景下,我们还展示了我们方法的一个非常重要的好处:饱和约束自然导致变量选择。我们不仅通过结点选择来控制每个坐标函数的复杂性,而且在饱和条件下,变量上没有结点表示变量不在模型中。对于自适应样条,这是不正确的,因为线性项是未被去除的,因此每个变量总是在模型中。缺乏特征选择会伤害可解释性,并且在某些情况下会导致泛化。我们提出的饱和约束排除了线性函数,并且与自适应样条型惩罚配合,鼓励坐标函数相同为零。因此,广义相加模型适合于饱和样条组件函数通常仅依赖于少数输入特征。 像平滑样条曲线和自适应回归样条一样,饱和样条曲线是解决某些自然函数回归问题的方法。我们将饱和样条拟合问题作为一个凸空问题上的凸优化问题来解决,粗略地说就是拟合函数的二阶导数。据我们所知,这种方法是新颖的。然后我们将经典的条件梯度方法[7]和[8]应用于这个问题。在我们算法的每次迭代中都会产生一个原子量度;此外,我们可以统一限制样条函数中结点个数对应的原子个数。(当我们操纵原...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

碎片内容

确认删除?
VIP
微信客服
  • 扫码咨询
会员Q群
  • 会员专属群点击这里加入QQ群
客服邮箱
回到顶部