在微博上见过很多好资料，可是以前一直没有时间好好看，都只能先转发或者收藏，最后一个学期，一定要先把这些库存一点点清掉。
——————————————————————————————————————————
1.0 卷积神经网络CXXNET
@陈天奇怪 和 @antinucleon 完成的卷积神经网络代码 cxxnet（核心2k代码）和 GPU/CPU 矩阵库 mshadow（3k代码+1k注释）
评论：
@antinucleon: 天奇伟大，跟着大神受益匪浅。mshadow设计精巧，完美统一了CPU和GPU编程。依赖mshadow，cxxnet里一个Layer平均10行。在我的780 GTX上训练ImageNet可以达到211pic / sec的速度
@李沐M：建议 typedef Tensor<gpu,2> GPUMatrix 之类，直观一点。构造函数应该可以不用Shape2吧，直接丢进数字会更方便点？
@陈天奇怪：回复@李沐M: 因为所有的dimension的tensor都是同一个模板实现的，直接丢数字还真不知道怎么搞..或许cxx11的intializer list可以
@李沐M：回复@陈天奇怪: O网页链接 c++11或者boost都行。不过如果你用了c++11就意味着对gcc版本有要求了
@陈天奇怪：回复@李沐M: 其实Tensor<gpu,x>也有好处，在写代码的时候可以直接take一个模板xpu然后输入参数是Tensor<xpu,x>，然后写出来的代码cpu，gpu都可以用。
@yuzzzzzzzzz：基于这个实现的CNN和caffe比效率哪个高呢？
@陈天奇怪：回复@yuzzzzzzzzz: 在效率上应该是没有什么差别，因为最终编译出来的代码应该差不多。差别是用mshadow实现的时候写公式而不是直接写CUDA kernel。
卷积神经网络代码 cxxnet 地址
GPU/CPU矩阵库 mshadow 地址
——————————————————————————————————————————
2.0 CUDA-CONVNET2.0
谷歌Alex Krizhevsky 写了一篇在GPU集群并行Convolutional Neural Network的文章并公布了源代码
Paper：One weird trick for parallelizing convolutional neural networks地址
code地址（PS:据说google要关闭code.google.com了）
之前看过Alex的cuda-convnet1.0的代码，表示很痛苦，粗粗看了一下2.0，代码确实整洁多了。
——————————————————————————————————————————
3.0
卷积神经网络总结 代码与论文
——————————————————————————————————————————
4.0
My deep learning reading list
主要是顺着Bengio的PAMI review的文章找出来的。包括几本综述文章，将近100篇论文，各位山头们的Presentation。全部都可以在google上找到。BTW：由于我对视觉尤其是检测识别比较感兴趣，所以关于DL的应用主要都是跟Vision相关的。在其他方面比如语音或者NLP，很少或者几乎没有。个人非常看好CNN和Sparse Autoencoder，这个list也反映了我的偏好，仅供参考。
评论：
@夏粉_百度：个人建议通过读一些材料后，掌握深度学习本质后（比如能说清楚它的优缺点，在理论体系中的坐标位置），少量时间用于更新进展，更多时间应该花在思考上，比如如何改进和应用。我们提出的首个大规模稀疏特征上的深度学习算法DANOVA就是不断思考的结果，比人工特征效率提升千倍。欢迎加入resume@baidu.com
@阿邦dd：回复@图像视觉研究:直接跑他们的代码吧。。觉得dl文章那么多，也就是从imagenet那篇开始成为state-of-art的，在之前的dl方法，性能都不行
@图像视觉研究：回复@阿邦dd:确实，现在是边看文章边研究代码，收获比光看文章要大很多
地址
——————————————————————————————————————————
5.0
LDA工程实践之算法篇-2 SparesLDA
标准 LDA 算法中的Gibbs Sampling 算法实际上采样的时候速度太慢， 这就是为什么学者基于 LDA 模型的稀疏性给出了 SparseLDA 算法，在速度上可以比标准采样方法要快几十倍，所以在工业应用中当然应该要实现 Sparse 的算法。
心有多大，舞台就有多大。
