当你使用GPU进行深度学习时,你会一次又一次惊奇地发现,你的速度提高了多少。与CPU相比,20倍的速度提升是很常见的,但是在更大的处理问题上,你甚至可以达到50倍的速度提升。使用GPU,您可以比平常更快地尝试新的想法、算法和实验,并且几乎可以立即得到关于哪些可行哪些不可行的反馈结果。如果你是认真的,一定要有一个深度学习。那么怎么挑选合适的GPU去深度学习呢?下面一起来看看。
当一个人开始进行深度学习时,拥有一个快速的GPU是一个非常重要的,因为这种在实践经验中的快速收获是建立在专业技能的基础之上的,你会在将深度学习应用中遇到许多的新问题,如果没有这种快速的反馈,从错误中吸取教训就会花费太多的时间。有了GPU,就可以很快的学会如何将深度学习应用得更好。
使用模型并行性,能够组成更大的神经网络,它有近30亿个连接。但要利用好这些联系,只需要更大的数据集。另一方面,多GPU的一个优点是可以在每个GPU上分别运行多个算法或实验。虽然没有获得加速,但可以通过同时使用不同的算法或参数获得更多关于性能的信息。如果你的主要目标是尽快获得深度学习经验,这是非常有用的,而且对于想同时尝试多个新算法版本的研究人员也是非常有用的。
如果只是偶尔使用深度学习,或者使用非常小的数据集(小于10-15GB)和重要的密集神经网络,那么多个GPU可能不适合。
如果想自己编写类似的网络,请注意,要编写高效的多GPU网络是一项艰巨的任务,这将比在一个GPU上编写一个简单的网络要花费更多的时间。
因此,总的来说,一个GPU应该足以完成几乎所有任务,而额外的GPU只能在非常特定的情况下传递好处(许多GPU用于非常、非常大的数据集)。