- 综合排序
- 最热优先
- 最新优先
- 来自专栏IT大咖说
从 Google TFX 到 Kubeflow：容器化交付敏捷 AI 平台
Why TFX beyond TensorFlow？ ? 而之所以要用TFX其实就是为了把AI流水线从针对某些场景某些业务特定写的脚本变成能够共享、可移植的通用平台。 TFX TFX是集成数据、模型和服务模块的通用机器学习平台。 TFX走的也是这样的模式，Kubeflow成了Google发力的重点，同时Google在2017的SIGKDD会议上发布的一篇论文正式介绍了他们在TFX上的一些工作进展。 ? 再往上层TFX被分为四个模块，第一个模块与数据相关，第二个模块与模型训练相关，第三个模块是训练完以后和模型serving相关，第四个是上线之后对模型的管理。 TFX数据模块 ? TFX Runs on Borg TFX的底层是运行在Borg上的，Borg是Google内部容器的集群管理平台。至于为什么在Borg上运行这个问题，其实前面已经提到过部分原因。
2.4K30发布于 2018-10-23 - 来自专栏AI工程
如何使用 TFX 将官方 BERT 模型运行为基于Docker的RESTful服务
如何使用 TFX 将官方 BERT 模型运行为基于Docker的RESTful服务 TFX即TensorFlow Extended是官方提供的部署方案（https://www.tensorflow.org /tfx） 它可以很方便的把已经保存了的TensorFlow有其实TF2的模型，转变为可用的服务，并提供一定的性能保障。 以下命令中： -p 为将Docker内部的8501端口映射到主机的8500端口 -v 是把当前路径下的bert目录，映射为容器中的/models/bert陌路 -e 为设置一个环境变量，告诉TFX当前的模型名
1.8K50发布于 2020-02-16 - 来自专栏新智元
【解读谷歌TFX】基于TensorFlow可大规模扩展的机器学习平台
KDD2017上，谷歌发布了基于TensorFlow的可大规模扩展的产品级机器学习平台TFX。 TFX还包括支持功能冲突的一套数据转换。例如，TFX可以生成称为“词汇“的特征到整数的映射。当数据转换在训练和服务之间微不可分时，很容易弄乱事情。 TFX自动导出任何数据转换作为训练模型的一部分，以避免这些问题。 要执行验证，TFX依赖于提供模版化描述预期数据的模式。该模式描述功能及其预期类型，价和域。 TFX可以帮助用户自动生成其模式的第一个版本。 ? 图2: 样本验证案例 TFX给用户提供有用的异常信息警告。 我们希望用户能够同样严谨地处理数据错误和代码错误。 TFX和Google Play Google推出TFX平台的第一支团队之一是Google Play，他们将其用于推荐系统。该系统在访问商店主页时建议相关的Android应用程序播放应用用户。
1.9K40发布于 2018-03-22 手把手构建生产级深度学习流水线：TFX实战
Extended (TFX)。 TFX流水线是机器学习工作流的可移植实现，由组件实例和输入参数组成。编排器是执行TFX流水线的系统。它们本质上是用于编写、调度和监控工作流的平台。 ExampleGen组件通过将不同类型的数据转换为tf.Record或tf.Example（两者都受TFX支持）来将数据摄取到TFX流水线中。 from tfx.dsl.components.base import executor_specfrom tfx.proto import trainer_pb2from tfx.components.trainer.executor 以下是一个典型的TFX流水线：来源：某机构云平台文档运行TFX流水线最后，来到了运行流水线的部分。如前所述，流水线由编排器执行，它将处理所有的作业调度和网络连接。
40710编辑于 2025-12-19- 来自专栏Flink实战应用指南
Flink Forward 2019 系列文章--AI 相关(2)--Google for TensorFlow
TFX together with Apache Beam and Apache Flink unlocks new and exciting use cases. Many TFX components rely on the Beam SDK to define portable data processing workflows. TFX与ApacheBeam和ApacheFlink一起开启了新的、令人兴奋的用例。 Robert Crowe概述了TensorFlow Extended（TFX），它是TensorFlow的端到端机器学习平台，为所有字母表中的产品提供动力。 许多TFX组件依赖beam sdk来定义可移植的数据处理工作流。
74020发布于 2019-06-21 - 来自专栏Sentieon：文献解读
文献解读-液体活检-第十九期|《不同 DNA 测序平台的标准化比较》
研究者对cfDNA样品进行了低深度全基因组测序（LD-WGS），以进行拷贝数变异（CNV）分析和肿瘤分数（TFx）定量。然后，探讨了TFx/CNVs与疗效、治疗结局和脂碘醇沉积的相关性。 TACE治疗期间TFx的变化与患者的肿瘤负荷有关，可以准确和更早地预测治疗反应和预后，提供mRECIST以外的替代策略。 TFx作为肿瘤负荷的生物标志物，可实时监测HCC进展，并有望成为AFP和mRECIST评估系统的替代方案。特别地，TACE前后TFx的变化能有效预测患者的无进展生存期（PFS）。 总结综上所述，cfDNA的TFx评估和拷贝数分析可以作为评估HCC患者TACE治疗结果的稳健策略。
22810编辑于 2024-07-12 - 来自专栏AI科技评论
玩转TensorFlow？你需要知道这30个功能
1）TensorFlow 扩展（TFX） 大家都知道我特别喜欢用 TFX 以及它的全套工具来把机器学习模型部署到生产环境中。 https://www.tensorflow.org/tfx/data_validation/? hl=zh-cn 4）TFX -TensorFlow 变换 同样地，你可能希望用于重新训练的数据也能被自动进行预处理：对特定特性进行归一化、将字符串转换为数值等。 网址是：https://www.tensorflow.org/tfx/transform/? hl=zh-cn 5）TFX 模型分析 我最喜欢用 TensorFlow 模型分析功能去检查模型的输入数据或者模型推理过程中可能发生在某一小部分数据上的问题。
1.2K20发布于 2018-12-24 - 来自专栏GoCoding
TensorFlow Serving
官方推荐 Docker 部署，也给了训练到部署的完整教程：Servers: TFX for TensorFlow Serving[2]。 stored with the default serving key import tempfile MODEL_DIR = os.path.join(tempfile.gettempdir(), 'tfx ls -l {export_path} export_path = /tmp/tfx/1 INFO:tensorflow:Assets written to: /tmp/tfx/1/assets saved_model_cli show --dir '/tmp/tfx/1' --all 2021-04-13 15:12:29.433576: I tensorflow/stream_executor 脚注 [1]TensorFlow Serving: https://github.com/tensorflow/serving [2]Servers: TFX for TensorFlow Serving
80430发布于 2021-05-06 - 来自专栏ATYUN订阅号
如何构建产品化机器学习系统？
TensorFlow Extended (TFX)——TFX是是用于部署生产ML管道的端到端平台。TensorFlow服务和Kubernetes可以用来创建一个可扩展的模型服务系统。 TFX还有其他组件，如TFX转换和TFX数据验证。TFX使用气流作为任务的有向非循环图(DAGs)来创建工作流。TFX使用Apache Beam运行批处理和流数据处理任务。 与TFX相比，Kubeflow的优势在于，由于Kubeflow是构建在Kubernetes之上的，所以您不必担心伸缩性等问题。 结论 这些只是在构建生产ML系统时需要担心的一些事情。
2.8K30发布于 2019-05-31 - 来自专栏浊酒清味
谷歌，Facebook，Uber这些互联网大公司如何架构人工智能平台
谷歌的 TFX 谷歌还创建了自己的运行时来执行机器学习工作流。TFX基于最近发表的一篇研究论文，该论文提出了一种用于简化 TensorFlow 程序操作的架构。 TFX 包括 TensorFlow 架构的几个关键组件，例如用于基于训练数据生成模型的学习器、用于分析和验证数据和模型的模块，以及用于在生产中提供模型的基础设施。 图片来源：SIGKDD TFX 背后的想法以称为 TensorFlow Extended（也称为 TFX ）的自动化管道的形式整合到 TensorFlow 框架中。
76240编辑于 2021-12-31 - 来自专栏HyperAI超神经
全球 43 亿个 IPv4 地址正式耗尽！【智能快讯】
来源：ai.facebook.com TFX 更新，可在浏览器环境中运行 据官方报道，在最新发布的 TFX 0.15 版本中，开发者可更快速地在 Google Colab 及 Jupyter notebook 中构建、Debug 及运行 TFX pipeline。 TensorFlow Extended（TFX）是一个基于 TensorFlow 的通用机器学习平台，由 Google 创建，旨在促进谷歌内部机器学习 APP 及服务的开发。 目前 Google 已在着手开源 TFX，以加速行业 ML 系统的发展。 来源：blog.tensorflow.org —— 完 ——
65540发布于 2019-11-29 - 来自专栏重典.NET
自己开发一个 vsts agent 的 task
下载并安装最新版本 nodejs（https://nodejs.org）,如果是直接安装的 vs 这些应该直接都有了 3.建立自己的项目文件夹，如 d:\code\home 4.通过 npm 安装编译工具 tfx-cli npm i -g tfx-cli 5.在自己的项目文件夹中建立一个 vss-extension.json 文件，这个文件中说明了当前扩展包的信息，以及扩展包中包含哪些任务 { "manifestVersion "argumentFormat": "", "workingDirectory": "$(currentDirectory)" } } } 7.要编译为VSIX的话，执行 tfx
1.2K10编辑于 2022-04-11 - 来自专栏大龄程序员的人工智能之路
TensorFlow数据验证(TensorFlow Data Validation)介绍：理解、验证和监控大规模数据
TFDV是TFX平台的一部分，该技术用于每天分析和验证Google高达数PB的数据。它在早期捕获数据错误方面具有良好的表现，因此有助于TFX用户维持其机器学习管线的正常运转状况。 ? 图1：TensorFlow数据验证用于TFX中的数据分析和验证 Notebook中的TensorFlow数据验证 译注：这里的Notebook指的是Jupyter Notebook，一种基于网页的交互式计算环境 此外，该模式格式还用作TFX生态系统中其他组件的接口，例如， 它可以在TensorFlow Transform中自动解析数据。 TFX管线中TFDV的两个常见用例是连续到达数据和训练/服务偏斜检测的验证。 此外，对于TensorFlow Transform的用户，可以使用推断的模式解析预处理函数中的数据。 我们建议您阅读并试用此示例，开始使用TFX。 我们要感谢Sudip Roy，Paul Suganthan，Ming Zhong和Martin Zinkevich的核心贡献。
2.4K40发布于 2019-07-01 - 来自专栏机器之心
在机器学习上，Google已为你准备好所有开发工具
如今在模型部署时，你可以使用 TensorFlow Extended （TFX）把模型部署到所有位置：从云端到网页服务器、浏览器、嵌入式系统等等。 TensorFlow Extended （TFX）让模型的持续训练成为了可能：它可以帮助你更深入地理解模型性能，你可以用 TFX 训练多端模型，随时接入 Colab。 最近一段时间，人们对于可信机器学习重视程度越来越高，当你打造负责任的机器学习模型时，模型卡片可以提供透明度，现在 TFX 也可以自动生成模型卡片了。 TFX 上一个受欢迎的组件是 TensorFlow Serving，它可以帮助把模型部署到服务器上，然后远程调用。
75020编辑于 2022-09-26 - 来自专栏ApacheHudi
如何将Apache Hudi应用于机器学习
TFX，MLFlow和Hopsworks还支持使用Beam或Spark进行分布式处理，从而支持在使用大量数据的集群上横向扩展。 3. 一些ML生命周期框架（例如TensorFlow Extended（TFX）和MLFlow），都是基于端到端ML管道，这些管道以原始数据开始并以生产模型结束。 Hopsworks、TFX和MLFlow提供了一个元数据存储，以使ML管道能够做出有状态的决策，记录其执行步骤，存储它们产生的artifacts以及存储最终模型的来源。 TFX和MLFlow都很麻烦，开发人员使用其组件模型（每个阶段都有明确定义的输入和输出）在每个阶段都需要重写代码，这样他们可以截取组件的输入参数，并将它们记录到元数据存储中。 TFX数据验证和AWS Deequ是两种流行的数据验证框架，它们支持扩展传统的基于模式的数据验证（例如，此列包含整数）以及数据验证规则，以检查数值或分类值是否等于预期。
2.5K30发布于 2021-04-13 - 来自专栏PPV课数据科学社区
TensorFlow产品经理：机器学习如何改变未来十年的软硬件？
，Google Brain员工，TensorFlow产品经理Zak Stone在硅谷创业者社群South Park Commons上做了个讲座，谈到了TensorFlow、XLA、Cloud TPU、TFX 解决这些问题的一个可能方案是TFX，它是一个Google内部研发的平台，用来在生产中分布和供应机器学习模型： 创造和管理一个可用于可靠地生产和部署机器学习模型的平台，需要在很多部件之间进行细致编排——这些部件包括基于训练数据生成模型的学习器 TFX标准化了这些过程和部件，并把它们整合到单个平台上，从而简化了平台编译的过程，在确保平台可靠性、减少服务崩溃的基础上，将制作的时间从数月减少到了数周。 ? 未来十年，硬件会变成什么样？
78040发布于 2018-04-18 - 来自专栏量子位
TensorFlow产品经理：机器学习如何改变未来十年的软硬件？
，Google Brain员工，TensorFlow产品经理Zak Stone在硅谷创业者社群South Park Commons上做了个讲座，谈到了TensorFlow、XLA、Cloud TPU、TFX 解决这些问题的一个可能方案是TFX，它是一个Google内部研发的平台，用来在生产中分布和供应机器学习模型： 创造和管理一个可用于可靠地生产和部署机器学习模型的平台，需要在很多部件之间进行细致编排——这些部件包括基于训练数据生成模型的学习器 TFX标准化了这些过程和部件，并把它们整合到单个平台上，从而简化了平台编译的过程，在确保平台可靠性、减少服务崩溃的基础上，将制作的时间从数月减少到了数周。 ? 未来十年， 硬件会变成什么样？
84050发布于 2018-03-27 - 来自专栏腾讯大讲堂的专栏
从0到10，靠信息流搞懂ta到底喜欢什么？
投放中介(TFX)：这部分是DSP与SSP的连接中介，是完成DSP投放需求和确保投放效果的核心模块，也是狭义上的投放系统。 供应方平台(SSP)：投放通过DSP，将流量售卖给作者。 需求方平台(DSP)：对接B侧，主要是离线系统； 供应方平台(SSP)：对接C侧，是在线系统； 投放中介(TFX)：位于二者之间，其中离线和在线的子模块均有涉及。 下文，将按照需求/物品流向，即DSP -> TFX -> SSP的顺序，对各子模块的设计和实现进行具体分析。 需求方平台(DSP) ? 投放中介(TFX) ? 连接B侧和C侧的投放中介，也就是狭义上所说的投放系统， 是整个投放体系的关键部分，也是一次投放交易的决策和兑现机构。一次投放任务的下发-执行的主要流程如下： ? 上游请求量线性增加 请求扩散：同一个业务场景，有多个上游需要接入 兼容性: 由于各流量场景，通常有其独立的发展历史，导致架构 / 框架 / 协议等均不统一 通用性：不管流量侧如何变化，需要保证底层投放中介（TFX
86920发布于 2021-08-10 - 来自专栏机器之心
PyTorch、TensorFlow最新版本对比，2021年了你选谁？
此外还包括 Tensorflow Extended（TFX）的发布，它是用于部署生产 ML pipeline 的端到端平台。 TFX 可以应对经典的软件生产挑战，例如可扩展性、可维护性和模块化。此外，它还可以帮助解决机器学习的特定挑战，例如持续在线学习、数据验证，数据管理等。
1.8K60发布于 2021-06-08 - 来自专栏AI科技大本营的专栏
2.2版本发布！TensorFlow推出开发者技能证书
TFX：TensorFlow Extended TFX是一个端到端平台，用于部署生产型机器学习流水线。 ? 建立公平的指标 2020年的发展计划： 支持 Native Keras + TensorFlow 2.x TFLite inTFX 提高模型训练的速度 Google Cloud AI Platform + TFX
90720发布于 2020-03-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号