仓鼠怎么养,DeepMind私货揭露,推出分布式机器学习库,TensorFlow、Keras可用,aabb式的词语

admin 2019-03-28 阅读:240

郭一璞 发自 凹非寺

DeepMind最近为TensorFlow 2.0献祭了自己私藏的东西:

TF-Replicator,本来是内部自用的一个软件库,能够让从来没做过分布式体系的研究人员方便地在多GPU/云TPU上布置他们的TensorFlow模型,也适用于Keras。

现在,TF-Replicator的编程模型现已作为TensorFlow中tf.distribute.Strategy的一部分开源。

推特上的一位工程师惊叹:这简直是TensorFlow 2.0里躲藏的瑰宝啊!

怎样用

很想吃掉你 孟繁茁 仓鼠怎样养,DeepMind私货揭穿,推出分布式机器学习库,TensorFlow、Keras可用,aabb式的词语

运用TF-Replicator编写的代码与TensorFlow中为单个设备编写的代码相似,允杨娅姣许用户自在界说自己的模型运转循环。

用户只需要界说两个部分:

1.揭穿数据集的输入函数;

2.模型逻辑撞邪31号的过程函数。

1# Deploying a model with TpuRep王昆义licator.

2repl = tf_replicator.TpuReplicator(

3num_workers= 1, num_tpu_cores_per_worker= 8

4)

5withrepl.context():

6model = resnet_model()

7base_optimizer = tf.train.AdamOptimizer()

8opti南开大学姐妹花mizer = repl.wrap_op哈尔滨留学生萨沙女友timizer(base_optimizer)

9

10# ... code to def仓鼠怎样养,DeepMind私货揭穿,推出分布式机器学习库,TensorFlow、Keras可用,aabb式的词语ine replica input_fn and step_fn.

11

12per_rep仓鼠怎样养,DeepMind私货揭穿,推出分布式机器学习库,TensorFlow、Keras可用,aabb式的词语lica_loss = repl.run(step_fn, input_fn)

13train_op =仓鼠怎样养,DeepMind私货揭穿,推出分布式机器学习库,TensorFlow、Keras可用,aabb式的词语 tf.reduc仓鼠怎样养,DeepMind私货揭穿,推出分布式机器学习库,TensorFlow、Keras可用,aabb式的词语e_mean(per_replica_loss)

14

11931女子天团5江雪何升withtf.train.MonitoredSession() assession:

16repl.init(session)

17fori inxrange(num_train_steps):

18session.run(train_op)

19repl.shutdown(session)

拿来GAN一下试试

现在,咱们用GAN来测验一下TF-Replicator的作用仓鼠怎样养,DeepMind私货揭穿,推出分布式机器学习库,TensorFlow、Keras可用,aabb式的词语。这儿用到的是在ImageNet上练习的谱归一化GAN(SN-GAN, arXiv:1802.05957)。

比较在单一的一块GPU上练习,用TF-Replicator在多块GPU上分布式练习的作用要好得多。

比方,生成橙子的图片,这是batch size地库激吻事情 8和batch size 16的时分:

根本看不出来是橙子了。

batch size 32和batch size 64要好一些,能看出来是橙子,可是一个像长了毛,一个像被拍了一巴掌:

batch size 128有了橙子果肉,bat根浴ch size 256形状相对正常了:

示例中最高的batch size 512,橙子的形状现已和实在的橙子差不多了,果肉和果肉瓣之间的白色也能够看出来,除了皮有点厚之外这橙子质量没问题。

从分数来看,只需火热热心脏将bat01095300ch si欲成欢ze从64进步到512就能够将出实得分进步大约50%。

我是大明星姚蓉蓉

作用不错,期望DeepMind持续揭穿一些自用好货。

传送门

最终,附上官方的相关文档:

TensorFlow文档

https://www.tensorflow.org/alpha仓鼠怎样养,DeepMind私货揭穿,推出分布式机器学习库,TensorFlow、Keras可用,aabb式的词语/guide/distribute_strategy

Colab笔记本

http女绳模捆法s://c半路夫夫olab.research.google.com/github/tensorflow/docs/blob/master/site/en/r2/guide/distribute_strategy.ipynb

GitHub笔记本

https://github.com/tensorflow/docs/blob/master/site/en/r2/gu美脚社区ide/distribute_strategy.ipynb

DeepMind博客

ht盈月记事tps://deepmind.com/blog/tf-replicator-distributed-machine-learning/

论文

https://arxiv.org/abs/1902.00465

声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。