稀疏统计学习及其应用

第1章引言1
第2章lasso线性模型6
2.1引言6
2.2lasso估计7
2.3交叉验证和推断10
2.4lasso解的计算12
2.4.1基于单变量的软阈值法12
2.4.2基于多变量的循环坐标下降法13
2.4.3软阈值与正交基15
2.5自由度15
2.6lasso解16
2.7理论概述17
2.8非负garrote17
2.9lq惩罚和贝叶斯估计19
2.10一些观点20
习题21
第3章广义线性模型24
3.1引言24
3.2逻辑斯蒂回归模型26
3.2.1示例：文本分类27
3.2.2算法29
3.3多分类逻辑斯蒂回归30
3.3.1示例：手写数字31
3.3.2算法32
3.3.3组lasso多分类33
3.4对数线性模型及泊松广义线性模型33
3.5Cox比例风险模型35
3.5.1交叉验证37
3.5.2预验证38
3.6支持向量机39
3.7计算细节及glmnet43
参考文献注释44
习题45
第4章广义lasso惩罚47
4.1引言47
4.2弹性网惩罚47
4.3组lasso50
4.3.1组lasso计算53
4.3.2稀疏组lasso54
4.3.3重叠组lasso56
4.4稀疏加法模型和组lasso59
4.4.1加法模型和back.tting59
4.4.2稀疏加法模型和back.tting60
4.4.3优化方法与组lasso61
4.4.4稀疏加法模型的多重惩罚64
4.5融合lasso65
4.5.1拟合融合lasso66
4.5.2趋势滤波69
4.5.3近保序回归70
4.6非凸惩罚72
参考文献注释74
习题75
第5章优化方法80
5.1引言80
5.2凸优化条件80
5.2.1优化可微问题80
5.2.2非可微函数和次梯度83
5.3梯度下降84
5.3.1无约束的梯度下降84
5.3.2投影梯度法86
5.3.3近点梯度法87
5.3.4加速梯度方法90
5.4坐标下降92
5.4.1可分性和坐标下降93
5.4.2线性回归和lasso94
5.4.3逻辑斯蒂回归和广义线性模型97
5.5仿真研究99
5.6z小角回归100
5.7交替方向乘子法103
5.8优化-最小化算法104
5.9双凸问题和交替最小化105
5.10筛选规则108
参考文献注释111
附录Alasso的对偶112
附录BDPP规则的推导113
习题114
第6章统计推断118
6.1贝叶斯lasso118
6.2自助法121
6.3lasso法的后选择推断125
6.3.1协方差检验125
6.3.2选择后推断的更广方案128
6.3.3检验何种假设133
6.3.4回到向前逐步回归134
6.4通过去偏lasso推断134
6.5后选择推断的其他建议136
参考文献注释137
习题138
第7章矩阵的分解、近似及填充141
7.1引言141
7.2奇异值分解142
7.3缺失数据和矩阵填充143
7.3.1Net.x电影挑战赛144
7.3.2基于原子范数的矩阵填充146
7.3.3矩阵填充的理论结果149
7.3.4间隔分解及相关方法153
7.4减秩回归154
7.5通用矩阵回归框架156
7.6惩罚矩阵分解157
7.7矩阵分解的相加形式160
参考文献注释164
习题165
第8章稀疏多元方法169
8.1引言169
8.2稀疏组成分分析169
8.2.1背景169
8.2.2稀疏主成分171
8.2.3秩大于1的解174
8.2.4基于Fantope投影的稀疏PCA176
8.2.5稀疏自编码和深度学习176
8.2.6稀疏PCA的一些理论178
8.3稀疏典型相关分析179
8.4稀疏线性判别分析182
8.4.1标准理论和贝叶斯规则182
8.4.2最近收缩中心183
8.4.3Fisher线性判别分析184
8.4.4评分188
8.5稀疏聚类190
8.5.1聚类的一些背景知识191
8.5.2稀疏层次聚类191
8.5.3稀疏K均值聚类192
8.5.4凸聚类193
参考文献注释195
习题196
第9章图和模型选择202
9.1引言202
9.2图模型基础202
9.2.1分解和马尔可夫特性202
9.2.2几个例子204
9.3基于惩罚似然的图选择206
9.3.1高斯模型的全局似然性207
9.3.2图lasso算法208
9.3.3利用块对角化结构210
9.3.4图lasso的理论保证211
9.3.5离散模型的全局似然性212
9.4基于条件推断的图选择213
9.4.1高斯分布下基于近邻的似然概率214
9.4.2离散模型下基于近邻的似然概率214
9.4.3混合模型下的伪似然概率217
9.5带隐变量的图模型218
参考文献注释219
习题221
第10章信号近似与压缩感知225
10.1引言225
10.2信号与稀疏表示225
10.2.1正交基225
10.2.2用正交基逼近228
10.2.3用过完备基来重构229
10.3随机投影与近似231
10.3.1Johnson-Lindenstrauss近似231
10.3.2压缩感知232
10.4乌0恢复与乌1恢复之间的等价性234
10.4.1受限零空间性质235
10.4.2受限零空间的充分条件235
10.4.3证明237
参考文献注释238
习题239
第11章lasso的理论结果242
11.1引言242
11.1.1损失函数类型242
11.1.2稀疏模型类型243
11.2lasso乌2误差的界限244
11.2.1经典情形中的强凸性244
11.2.2回归受限特征值245
11.2.3基本一致性结果246
11.3预测误差的界250
11.4线性回归中的支持恢复252
11.4.1lasso的变量选择一致性252
11.4.2定理11.3的证明256
11.5超越基础lasso259
参考文献注释260
习题261
参考文献264

特里瓦·哈斯蒂，美国统计学家和计算机科学家，斯坦福大学统计学教授，英国统计学会、靠前数理统计协会和美国统计学会会士。Hastie参与开发了R中的大部分统计建模软件和环境，发明了主曲线和主曲面。
罗伯特·蒂伯沙拉尼，斯坦福大学统计学教授，靠前数理统计协会、美国统计学会和加拿大皇家学会会士，1996年COPSS总统奖得主，提出lasso方法。Hastie和Tibshirani都是统计学习领域的泰山北斗，两人合著了The Elements of Statistical Learning，还合作讲授斯坦福大学的公开课“统计学习”。
马丁·韦恩怀特，毕业于MIT，加州大学伯克利分校教授，以对统计与计算交叉学的理论和方法研究而闻名于学界，主要关注高维统计、机器学习、图模型和信息理论。2014年COPSS总统奖得主。
刘波，博士，重庆工商大学计算机科学与信息工程学院教师，主要从事机器学习理论、计算机视觉技术研究，同时爱好Hadoop和Spark平台上的大数分析，也对Linux平台的编程和Oracle数据库感兴趣。
景鹏杰，硕士，毕业于上海交通大学。硕士阶段主要从事模式识别与数据挖掘基础理论、生物医学大数据挖掘与建模等工作，在靠前期刊及会议Bioinformatics，CCPR等上面发表数篇论文。目前从事期货交易系统开发工作。