tag: 其他翻译

在艺术领域， 尤其是绘画创作上， 人们已经掌握了一种可以创造独一无二视觉体验的能力， 那就是通过将一张图片的内容和风格之间构成某种复杂的关系。 到目前为止， 该过程的算法基础是未知的， 并且不存在具有类似能力的人工系统。 然而， 受到一种名为深度神经网络的视觉模型的启发， 在视觉感知的其他关键领域， 例如物体和人脸识别， 仿生学的效果已经可以接近人类的表现。 这里我们将会介绍一个基于深度神经网络的人工系统， 它可以生成具有高感知品质的艺术图片。 该系统使用神经表示来分离和重组任意图像的内容和风格， 提供了一种创建艺术图像的神经算法。 而且, 按照要去表现最优的人工神经网络和生物视觉中找到相同. 我们的工作提供了人类是怎样创作和认知艺术图像的算法理解。 此外， 鉴于性能优化的人工神经网络与生物视觉之间惊人的相似性， 我们的工作为算法理解人类如何创造和感知艺术形象提供了一条前进的道路。 处理图像任务最有效的深度神经网络是卷积神经网络。 卷积神经网络由小型计算单元层组成， 以前馈方式分层处理视觉信息（图 1）。 每层单元可以理解为图像过滤器的集合（a collection of image filters）， 每个图像过滤器从输入图像中提取特定特征。 因此， 一个给定层的输出包括所谓的特征映射（feature maps）： 它们是对输入的图像进行不同类型的过滤得到的。 当卷积神经网络被训练用于物体识别时， 会生成一个图像的表征(representations) ， 随着处理层级的上升， 物体的信息越来越明确。 因此， 随着神经网络中的层级一级一级地被处理， 输入的图像会被转换成一种表征， 与图片的像素细节相比， 这种表征会越来越关注图片的实际内容。 通过对某一层的提取出来的 feaure map 的重塑， 我们可以直接看到该层包含的图片信息。 层级越高， 那么获取的图像中物体内容就越高质量， 并且没有确切的像素值的约束（层级越高， 像素丢失越多）。 相反， 在低层级中重塑的话， 其实像素丢失地很少。 所以我们参考的是神经网络高层的特征， 用它来作为图片内容的表征。 为了获取输入图像的风格表征， 我们用一个特征空间去捕获纹理的信息。 这个特征空间建立在每层神经网络的过滤响应之上（也就是上面提到的 feature map)。 在 feature map 的空间范围上(也就是同一层上的 feature map)， 过滤响应各有不同（feature map 关注的特征不同）， 而这个特征空间就是由这些差异构成。 通过对每一层 featute map 两两求相关性， 我们会获得一个静态的， 多尺度的图像表征， 这也就捕获到了图像的纹理信息， 但这纹理信息并非全局的。...

本文翻译自： 《Building a neural network training framework with learn API》， 如有侵权请联系删除， 仅限于学术交流， 请勿商用。 如有谬误， 请联系指出。 为了简单起见， 在之前的大多数示例中， 我们都是手动创建一个会话（session）， 并不关心保存和加载检查点， 但在实践中通常不是这样做的。 在这我推荐你使用 learn API 来进行会话管理和日志记录（session management and logging）。 我们使用 TensorFlow 提供了一个简单而实用的框架来训练神经网络。 在这一节中， 我们将解释这个框架是如何工作的。 当利用神经网络训练模型进行实验时， 通常需要分割训练集和测试集。 你需要利用训练集训练你的模型， 并在测试集中计算一些指标来评估模型的好坏。 你还需要将模型参数存储为一个检查点（checkpoint）， 因为你需要可以随时停止并重启训练过程。 TensorFlow 的 learn API 旨在简化这项工作， 使我们能够专注于开发实际模型。 使用 tf.learn API 的最简单的方式是直接使用 tf.Estimator 对象。 你需要定义一个模型函数， 该模型函数包含一个损失函数（loss function）、 一个训练操作（train op）、 一个或一组预测， 以及一组可选的用于评估的度量操作: import tensorflow as tf def model_fn(features, labels, mode, params): predictions = ....

本文翻译自： 《Numerical stability in TensorFlow》， 如有侵权请联系删除， 仅限于学术交流， 请勿商用。 如有谬误， 请联系指出。 当使用任何数值计算库（如 NumPy 或 TensorFlow）时， 值得注意的是， 编写出正确的数学计算代码对于计算出正确结果并不是必须的。 你同样需要确保整个计算过程是稳定的。 让我们从一个例子入手。 小学的时候我们就知道， 对于任意一个非 0 的数 x， 都有 x*y/y=x 。 但是让我们在实践中看看是否如此： import numpy as np x = np.float32(1) y = np.float32(1e-50) # y would be stored as zero z = x * y / y print(z) # prints nan 错误的原因是： y 是 float32 类型的数字， 所能表示的数值太小。 当 y 太大时会出现类似的问题： y = np.float32(1e39) # y would be stored as inf z = x * y / y print(z) # prints 0 float32 类型可以表示的最小正值是 1....

本文翻译自： 《Debugging TensorFlow models》， 如有侵权请联系删除， 仅限于学术交流， 请勿商用。 如有谬误， 请联系指出。 与常规 python 代码相比， TensorFlow 的符号特性使的 TensorFlow 的代码调试变得相对困难。 这里我介绍一些 TensorFlow 附带的工具， 使调试更容易。 使用 TensorFlow 时最常见的错误可能是传递形状错误的张量。 许多 TensorFlow 操作可以在不同秩(rank)和形状(shape)的张量上操作。 这在使用 API 时很方便， 但在出现问题时可能会导致额外的麻烦。 例如， 考虑下面这个 tf.matmul 操作， 它可以使两个矩阵相乘： a = tf.random_uniform([2, 3]) b = tf.random_uniform([3, 4]) c = tf.matmul(a, b) # c is a tensor of shape [2, 4] 但是下面这个函数也可以实现矩阵乘法： a = tf.random_uniform([10, 2, 3]) b = tf.random_uniform([10, 3, 4]) tf....

本文翻译自： 《Multi-GPU processing with data parallelism》， 如有侵权请联系删除， 仅限于学术交流， 请勿商用。 如有谬误， 请联系指出。 如果你使用类似 C++这样的语言在单核 CPU 上编写你的软件， 为使其能够在多个 GPU 上并行运行， 你可能需要从头开始重写你的软件。 但是在 TensorFlow 中并非如此。 由于其符号性质， tensorflow 可以隐藏所有这些复杂的过程， 使你无需在多个 CPU 和 GPU 上扩展程序。 让我们从在 CPU 上添加两个向量开始： import tensorflow as tf with tf.device(tf.DeviceSpec(device_type="CPU", device_index=0)): a = tf.random_uniform([1000, 100]) b = tf.random_uniform([1000, 100]) c = a + b tf.Session().run(c) 同样的事情在 GPU 上也可以简单地完成： with tf.device(tf.DeviceSpec(device_type="GPU", device_index=0)): a = tf.random_uniform([1000, 100]) b = tf.random_uniform([1000, 100]) c = a + b 但是， 如果我们有两个 GPU 并希望同时使用它们呢？ 为此， 我们可以把数据分成两份， 并让每个 GPU 单独处理一个部分：...

本文翻译自： 《Prototyping kernels and advanced visualization with Python ops》， 如有侵权请联系删除， 仅限于学术交流， 请勿商用。 如有谬误， 请联系指出。 TensorFlow 中的内核操作完全用 C ++编写， 以提高效率。 但是用 C++编写 TensorFlow 内核的话可能会非常痛苦。 因此， 在花费数小时实现属于自己的内核之前， 你也许需要先实现一个操作的原型， 尽管这样的效率会很低。 通过 tf.py_func() 你可以将任何一个 python 源代码转换为 TensorFlow 的操作。 举个例子而言， 这里有一个用 python 自己实现的 ReLU 非线性激活函数， 通过 tf.py_func() 转换为 TensorFlow 操作的例子： import numpy as np import tensorflow as tf import uuid def relu(inputs): # Define the op in python def _relu(x): return np.maximum(x, 0....

本文翻译自： 《Control flow operations: conditionals and loops》， 如有侵权请联系删除， 仅限于学术交流， 请勿商用。 如有谬误， 请联系指出。 当我们在构建一个复杂模型如 RNN（循环神经网络）的时候， 你可能需要通过条件和循环来控制操作流程。 在这一节， 我们介绍一些在 TensorFlow 中常用的控制流。 假设我们现在需要通过一个条件判断来决定我们是否相加还是相乘两个变量。 这个可以通过调用 tf.cond() 简单实现， 它表现出像 python 中 if...else... 相似的功能。 a = tf.constant(1) b = tf.constant(2) p = tf.constant(True) x = tf.cond(p, lambda: a + b, lambda: a * b) print(tf.Session().run(x)) 因为这个条件判断为 True， 所以这个输出应该是加法输出， 也就是输出 3。 在使用 TensorFlow 的过程中， 大部分时间你都会使用大型的张量， 并且在一个批次（a batch）中进行操作。 一个与之相关的条件操作符是 tf.where() ， 它需要提供一个条件判断， 就和 tf.cond() 一样， 但是 tf....

本文翻译自： 《Understanding order of execution and control dependencies》， 如有侵权请联系删除， 仅限于学术交流， 请勿商用。 如有谬误， 请联系指出。 正如我们刚开始提到的， TensorFlow 不会立刻运行定义了的操作， 而是在计算图中创造一个相关的节点， 这个节点可以用 Session.run() 进行执行。 这个使得 TensorFlow 可以在运行时进行优化， 以此确定最佳执行顺序， 并且在运算中剔除一些不需要使用的节点。 如果你只是在计算图中使用 tf.Tensors ， 你就不需要担心依赖问题， 但是你更可能会使用 tf.Variable() ， 这个操作使得问题变得更加困难。 我的建议是如果张量不能满足这个工作需求， 那么仅仅使用 Variables 就足够了。 这个可能不够直观， 我们不妨先观察一个例子： import tensorflow as tf a = tf.constant(1) b = tf.constant(2) a = a + b tf.Session().run(a) 正如我们期待的那样， “a”的计算结果是 3。 注意下， 我们创建了 3 个张量， 其中包含两个常数张量和一个储存加法结果的张量。 务必注意我们不能重写一个张量的值， 如果我们想要改变张量的值， 我们就必须要创建一个新的张量， 就像我们刚才做的那样。...

本文翻译自： 《Take advantage of the overloaded operators》， 如有侵权请联系删除， 仅限于学术交流， 请勿商用。 如有谬误， 请联系指出。 和 Numpy 一样， 为了使代码可读性更强， 更容易绘制一个计算图， TensorFlow 重载了很多 python 中的运算符。 **切片（slice）**操作是众多重载运算符中的一个， 它可以使得索引张量变得很容易： z = x[begin:end] # z = tf.slice(x, [begin], [end-begin]) 但是在使用的时候还是需要注意。 切片操作的效率非常低， 因此最好避免使用， 特别是在切片的数量很大的时候。 为了更好地理解这个操作符有多么地低效， 我们先观察一个例子。 我们想要人工实现一个对矩阵的行进行 reduce 操作的代码： import tensorflow as tf import time x = tf.random_uniform([500, 10]) z = tf.zeros([10]) for i in range(500): z += x[i] sess = tf.Session() start = time.time() sess....

本文翻译自： 《Feeding data to TensorFlow》， 如有侵权请联系删除， 仅限于学术交流， 请勿商用。 如有谬误， 请联系指出。 TensorFlow 被设计用于高效地处理大量数据。 所以你需要记住的是， 千万不要“饿着”你的 TF 模型， 这样才能得到最好的表现。 一般来说， 有三种方法可以给你的模型“喂”数据。 常量方式（Constants） 最简单的方式莫过于直接将数据当成常量嵌入你的计算图中， 如： import tensorflow as tf import numpy as np actual_data = np.random.normal(size=[100]) data = tf.constant(actual_data)12345 这个方式非常高效， 但并不灵活。 一个很大的问题就是为了在其他数据集上复用你的模型， 你必须要重写你的计算图， 而且你必须同时加载所有数据， 并且一直保存在内存里， 这意味着这个方式仅仅适用于小数剧集的情况。 占位符方式（Placeholders） 可以通过占位符(placeholder)的方式解决刚才常数喂养网络的问题， 如： import tensorflow as tf import numpy as np data = tf.placeholder(tf.float32) prediction = tf.square(data) + 1 actual_data = np.random.normal(size=[100]) tf.Session().run(prediction, feed_dict={data: actual_data})1234567 占位符操作符返回一个张量， 他的值在会话中通过人工指定的 feed_dict 参数得到(fetch)。...