在这个简单的神经网络示例中，为什么Tensorflow比convnetjs慢100倍？
我已经使用convnetjs一年了，现在我想转到更强大和更快的库。我认为Tensorflow会比JS库快几个数量级，所以我为这两个库编写了一个简单的神经网络，并做了一些测试。这是一个3-5-5-1神经网络，在一个单一的例子上训练了一定数量的具有SGD和RELU层的时期。
Tensorflow代码：
import tensorflow as tf
import numpy
import time
NUM_CORES = 1 # Choose how many cores to use.
sess = tf.Session(config=tf.ConfigProto(inter_op_parallelism_threads=NUM_CORES, intra_op_parallelism_threads=NUM_CORES))
# Parameters
learning_rate = 0.001
training_epochs = 1000
batch_size = 1
# Network Parameters
n_input = 3 # Data input
n_hidden_1 = 5 # 1st layer num features
n_hidden_2 = 5 # 2nd layer num features
n_output = 1 # Data output
# tf Graph input
x = tf.placeholder("float", [None, n_input], "a")
y = tf.placeholder("float", [None, n_output], "b")
# Create model
def multilayer_perceptron(_X, _weights, _biases):
layer_1 = tf.nn.relu(tf.add(tf.matmul(_X, _weights['h1']), _biases['b1'])) #Hidden layer with RELU activation
layer_2 = tf.nn.relu(tf.add(tf.matmul(layer_1, _weights['h2']), _biases['b2'])) #Hidden layer with RELU activation
return tf.matmul(layer_2, _weights['out']) + _biases['out']
# Store layers weight & bias
weights = {
'h1': tf.Variable(tf.random_normal([n_input, n_hidden_1])),
'h2': tf.Variable(tf.random_normal([n_hidden_1, n_hidden_2])),
'out': tf.Variable(tf.random_normal([n_hidden_2, n_output]))
}
biases = {
'b1': tf.Variable(tf.random_normal([n_hidden_1])),
'b2': tf.Variable(tf.random_normal([n_hidden_2])),
'out': tf.Variable(tf.random_normal([n_output]))
}
# Construct model
pred = multilayer_perceptron(x, weights, biases)
# Define loss and optimizer
cost = tf.reduce_sum(tf.nn.l2_loss(pred-y)) / batch_size # L2 loss
optimizer = tf.train.GradientDescentOptimizer(learning_rate=learning_rate).minimize(cost) # Adam Optimizer
# Initializing the variables
init = tf.initialize_all_variables()
# Launch the graph
sess.run(init)
# Training Data
train_X = numpy.asarray([[0.1,0.2,0.3]])
train_Y = numpy.asarray([[0.5]])
# Training cycle
start = time.clock()
for epoch in range(training_epochs):
# Fit training using batch data
sess.run(optimizer, feed_dict={x: train_X, y: train_Y})
end = time.clock()
print end - start #2.5 seconds -> 400 epochs per second
print "Optimization Finished!"JS代码：
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8" />
<title>Regression example convnetjs</title>
<script src="http://cs.stanford.edu/people/karpathy/convnetjs/build/convnet.js"></script>
<script src="http://cs.stanford.edu/people/karpathy/convnetjs/build/util.js"></script>
<script>
var layer_defs, net, trainer;
function start() {
layer_defs = [];
layer_defs.push({ type: 'input', out_sx: 1, out_sy: 1, out_depth: 3 });
layer_defs.push({ type: 'fc', num_neurons: 5, activation: 'relu' });
layer_defs.push({ type: 'fc', num_neurons: 5, activation: 'relu' });
layer_defs.push({ type: 'regression', num_neurons: 1 });
net = new convnetjs.Net();
net.makeLayers(layer_defs);
trainer = new convnetjs.SGDTrainer(net, { learning_rate: 0.001, method: 'sgd', batch_size: 1, l2_decay: 0.001, l1_decay: 0.001 });
var start = performance.now();
for(var i = 0; i < 100000; i++) {
var x = new convnetjs.Vol([0.1, 0.2, 0.3]);
trainer.train(x, [0.5]);
}
var end = performance.now();
console.log(end-start); //3 seconds -> 33333 epochs per second
var predicted_values = net.forward(x);
console.log(predicted_values.w[0]);
}
</script>
</head>
<body>
<button onclick="start()">Start</button>
</body>
</html>结果是，convnetjs在3秒内训练了100'000个时期，而Tensorflow在2.5秒内训练了1000个时期。这是意料之中的吗？
回答 4
Stack Overflow用户
发布于 2015-12-28 04:36:40
原因可能有很多：
- 数据输入如此之少，以至于大部分时间都花在了python和C++核心之间的转换上，而JS只是一种语言。
- 您在Tensorflow中只使用了一个核心，而JS可能会利用多个
- JS库能够创建高度优化的程序即时版本。
当分布式版本公开时，Tensorflow的真正好处将会到来。那么，在多个节点上运行大型网络的能力将比单个节点的速度更重要。
Stack Overflow用户
发布于 2015-12-28 17:57:17
至于现在(版本0.6)，不管你是使用CPU还是GPU来运行tensorflow，tensorflow在GPU上也会很慢。
Here are corresponding benchmarks
由于以下原因，Tensorflow可能比CPU上的torch、convnetjs等更慢：
- 你可以使用非优化的计算图。
- TF不像torch，convnetjs等那么成熟，它根本就没有那么优化。我希望yet.
- According to 传言谷歌不关心单台机器的优化。请不要忘记，
3a)我们生活在集群时代
3b) you can buy 57-core processor for 195$ (但是我还没有测试TF是否能与这个硬件一起工作
3c)这里是what google says about their quantum computer。比传统系统快一亿倍。
TensorFlow在图形处理器上比caffe、torch等慢，原因是：
- TF (对于0.6)不完全支持cuda 7.5。
- TF (对于0.6)不支持cudnn v3和cudnn v4。
这使得TF 0.6在“机器学习桌面/业余爱好者”上比它的竞争对手慢了几个数量级。
但是，存在用于解决cuda 7.5和cudnn v3的an issue。然而，它和another issue, which is much less concrete一样被关闭了。后一个问题仍然悬而未决，并不一定要支持cuda 7.5和cudnn v3/v4(是的，我是个悲观主义者)。
所以，我们只能
- 希望并等待谷歌解决这些问题(添加CUDA7.5和cudnnv3/v4支持，并保持TF更新所有way)
- Contribute.因为TF是开源的。或者等待某人贡献:)
我和这个问题的作者有同样的困惑。我希望我的回答能有所帮助。
Stack Overflow用户
发布于 2015-12-29 06:05:36
是的，对于小型模型，这是意料之中的。
Tensorflow没有针对具有单个项目批次的微型神经网络进行优化，因为使该机制更快是浪费时间。这些型号并不贵，所以没有意义。如果您将小批量大小(可能为64个)和模型大小(数百个隐藏单元)设置得更大，我预计tensorflow会比其他库快得多。
想象一下使用numpy在python中简单地实现神经网络。对于这个模型来说，一个简单的numpy实现也会很慢。
https://stackoverflow.com/questions/34479872
复制相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号