Facebook开源在Torch上进行更快速机器学习的模块

我是walle

Facebook开源在Torch上进行更快速机器学习的模块

作者 Abel Avram ，译者 臧秀涛 发布于 2015年1月21日

Facebook开源了一些用于在Torch（一个广泛支持机器学习算法的科学计算框架）上更快速地训练神经网络的模块。

不久之前，Nvidia发布了cuDNN，这是一个基于CUDA的库，用于深度神经网络。Facebook人工智能实验室（FAIR）近日发布了一些Torch上的模块，供公开使用。这些模块合称为fbcunn，而且“比默认模块快得多”。它们主要面向卷积神经网络（convolutional nets），针对GPU做了优化，构建在Nvidia的cuFFT库之上。其中包括：

• 使用FFT加速卷积的空间卷积模块
• 用于并行化多GPU上的训练数据和模型的容器
• FFT/IFFT的包装器
• 一个更快速的临时卷积层（比cuDNN快1.5到10倍）
• 用于神经语言模型和单词嵌入（word embedding）的查找表
  

Facebook基于Fast Training of Convolutional Networks through FFTs这篇论文中的想法构建了这些模块，FAIR的主任Yann LeCun是论文的合著者之一。根据发布说明，与cuDNN相比，在卷积核较小的情况下（3x3），fbcunn的速度提升可达1.84倍；而在卷积核较大的情况下（5x5），速度提升可达23.5倍。

Torch和fbcunn最早的用途之一就是更快速的图像识别，一个例子就是分类来自ImageNet的120万幅图片。

查看英文原文：Facebook Open Sources Modules for Faster Deep Learning on Torch