FATE Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others) Total Submission (s): 7363 Accepted Submission(s): 3398 Problem Description 近期xhd正在玩一款叫做FATE的游戏,为了得到极品装备。
FATE Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others) Total Submission (s): 6553 Accepted Submission(s): 3016 Problem Description 最近xhd正在玩一款叫做FATE的游戏,为了得到极品装备,xhd在不停的杀怪做任务
一、说明 Fate 的模型预测有 离线预测 和 在线预测 两种方式,两者的效果是一样的,主要是使用方式、适用场景、高可用、性能等方面有很大差别;本文分享使用 Fate 基于 纵向逻辑回归 算法训练出来的模型进行离线预测实践 基于上文 《隐私计算FATE-模型训练》 中训练出来的模型进行预测任务 关于 Fate 的安装部署可参考文章 《隐私计算FATE-核心概念与单机部署指南》 二、查询模型信息 执行以下命令,进入 Fate /examples/my_test/ job_id 可以在 FATE Board 中查看。 /examples/my_test/job_202205070226373055640_config directory", "directory": "/data/projects/fate/ /my_test/ 直接把 Fate 自带的纵向逻辑回归算法预测配置样例,复制到我们的 my_test 目录下。
一、说明 本文分享基于 Fate 自带的测试样例,进行 纵向逻辑回归 算法的模型训练,并且通过 FATE Board 可视化查看结果。 本文的内容为基于 《隐私计算FATE-概念与单机部署指南》中部署的环境。 二、进入容器 执行以下命令,进入 Fate 的容器中: docker exec -it $(docker ps -aqf "name=standalone_fate") bash 可以看到其中有一个 /data/projects/fate/examples/my_test/ 直接把 Fate 自带的纵向逻辑回归算法样例,复制到我们的 my_test 目录下。 /data/projects/fate/examples/my_test/ 直接把 Fate 自带的纵向逻辑回归算法样例,复制到我们的 my_test 目录下。
上周末dsactf的一道题,赛后自己自己看着作者的wp研究了一下,发现很多师傅都是用条件竞争打的,然后我在自己的机器上试了很多次都没结果,分析了一下,其实这道题用条件竞争读到flag是非预期,buuoj的平台不能一次性发送大量的包,否则会429错误。而且不难发现它这个edit.php可以使用条件竞争的地方还是要经过大量的调试的
KubeFATE 日志聚合 从 KubeFATE v1.5.1开始支持对 FATE 集群日志的收集功能。 通过使用kubefate cluster log命令,可以轻松地收集FATE集群各个组件,或指定单一组件的日志。 KubeFATE 的日志聚合功能,就是解决了 FATE 集群的日志分散不容易查看的问题。 对于 FATE 来说,通过查看日志是了解 FATE 集群运行是否健康的很好的方式。 任务错误排查 程序应用的开发不可避免的会有各式各样的错误,而在使用过程中能够及时的发现问题,定位原因是非常必要的。 -9999 fate-9999 1 Running fate v1.5.1 100s 通过日志检查指定组件是否成功运行 查看python组件的日志 kubefate
/fate-sbt.py", "conf": ". /fate-sbt.py", "conf": ". /fate-sbt.py", "conf": ". /fate-sbt.py", "conf": ". ['guest'] = 9999 fate_sbt_regression_param['host'] = 10000 fate_sbt_regression_param['namespace'] = '
本文将介绍如何使用 KubeFATE 在两个 Kubernetes 集群上部署互通的两个FATE 实例。这两个 FATE 可以完成各种联邦学习的任务。 完成后将会得到下图的结构: ? /FATE_cluster_configuration.md)。 PartyA的配置文件cluster-A.yaml # A集群 name: fate-10000 namespace: fate-10000 chartName: fate chartVersion: -10000 namespace/fate-10000 created # B集群 [deploy-B]$ kubectl create namespace fate-9999 namespace/fate -9999 created 部署FATE 使用kubefate命令行工具部署FATE: # A集群 [deploy-A]$ kubefate cluster install -f .
展望 FATE 社区今后的工作,可信联邦学习将是主要的内容之一,下面部分内容来自杨强教授关于可信联邦学习的阐述。 与可信联邦学习的拓展思路相对应,FATE平台将主要在三个方面发生改变: 第一,通过算法的改进来实现安全-性能-效率的平衡。 杨强认为,大部分的解决方案都能够无缝插入开源FATE,这样FATE的作用就类似一个“转换器”,可以帮助实现互通互联。 可信联邦学习的提出,更多是从技术角度提升联邦学习在真实业务场景中的表现。 互联互通的推进,则对FATE平台在更大范围内落地应用至关重要。 FATE 在可信联邦学习方面的发展 FATE 近期将在开源社区中,增加可信联邦学习的相关成果,开发者和用户可以持续关注。 社区开发专委会会议纪要: https://github.com/FederatedAI/FATE-Community/tree/master/meeting-minutes/FATE_Dev_Meeting
KubeFATE部署 FATE 的配置介绍 使用kubefate可以部署两种集群类型,包含 FATE(Training) 和 FATE-Serving,部署配置文件是 YAML 格式。 :FATE集群的类型,包括fate和fate-serving chartVersion:FATE集群的版本,更多版本可以在这里找到https://github.com/FederatedAI/KubeFATE FATE (Training) 的配置 部署 FATE (Training) 集群。 on spark](FATE on spark)的配置 hdfs:[FATE on spark](FATE on spark)的配置 rabbitmq:[FATE on spark](FATE on 使用cluster.yaml,默认会部署一个FATE on eggroll的FATE集群。
FATE官方网站:https://fate.fedai.org/ FATE文档:https://fate.readthedocs.io/ 安装与配置-Python3.6安装 [root@localhost .tar.gz [root@localhost ~]# ls docker_standalone_fate_1.6.0 fate.tar install_standalone_docker.sh [ [root@localhost docker_standalone_fate_1.6.0]# 进入容器内部进行单元测试验证操作 [root@localhost docker_standalone_fate :/fate# root@625c1239a7fe:/fate# root@625c1239a7fe:/fate# bash . /blob/master/fate.env
FATE整体架构 FATE是首个工业级的开源联邦学习框架,据中国信通院数据显示,55%的国内隐私计算产品是基于或参考了开源项目,其中以FATE开源项目为主。 FATE提供了联邦学习全流程的解决方案,具备开箱即用的特点。FATE整体架构和基本流程如下图1、2所示,本篇文章将主要介绍联邦学习任务调度的核心:FATE-Flow。 图1:FATE整体架构 图2:FATE流程 二. FATE-Flow架构 FATE-Flow提供了端到端的联邦学习任务流水线管理模块,架构如图3所示。 图3:FATE-Flow流程 在FATE-Flow中,由如下几个关键模块: DAG:定义了流水线,使用JSON格式的DSL来定义DAG。 源码分析 FATE-Flow后端使用的是Flask,Flask是一个轻量级的python web框架,FATE-Flow server的程序入口是在python/fate_flow/fate_flow_server.py
当然,答案是:可以的 1.2 如何连接fate server 首先各类教程里面,pipeline init就是启动了fate flow server, ! pipeline init --ip fate-9999.aliyun.xxxx.com --port 9380 ! pipeline config check upload_fate_data(guest_train_data_params,partition = 4) upload_fate_data(guest_test_data_params pipeline init --ip fate-10000.aliyun.xxxx.com --port 9380 ! pipeline config check upload_fate_data(host_train_data_params,partition = 4) upload_fate_data(host_test_data_params
FATE 已经发布了首个长期支持版本,怎样快速体验新版本的FATE来做联邦学习的实验任务呢,接下来我们带领大家一起使用 docker-compose 来快速部署 FATE v1.5.0 LTS。 sudo useradd -s /bin/bash -g docker -d /home/fate fate # 设置用户密码 sudo passwd fate 配置免密 这部分需要在部署机上操作 3: 发送到partyB ssh-copy-id -i ~/.ssh/id_rsa.pub fate@192.168.0.10 安装FATE 安装 FATE 比较简单,只需要下载相应的安装包,解压 部署 部署双方的FATE和FATE-Serving bash docker_deploy.sh all 这一步会通过scp和ssh的方式将tar包拷贝到目标主机的对应目录,然后启动FATE集群。 (本文为公众号:亨利笔记 原创文章) 这里使用了参数all直接部署了party10000和party9999的FATE与FATE-Serving,如果想要只部署一个部分,可以参考这里的详细使用(https
四、Fate FATE (Federated AI Technology Enabler)是微众银行人工智能团队自研的全球首个联邦学习工业级开源框架,它提供一种基于数据隐私保护的安全计算框架,为机器学习 github地址:https://github.com/FederatedAI/FATE 在 Fate 里面存在以下三种角色: Guest 为数据的应用方,指的是在实际的建模场景中有业务需求去应用这些数据 } docker tag ccr.ccs.tencentyun.com/federatedai/standalone_fate:${version} federatedai/standalone_fate 启动容器 执行以下命令启动: docker run -d --name standalone_fate -p 8080:8080 federatedai/standalone_fate:${version }; 六、测试 Fate 里面自带了测试任务; 首先执行以下命令,进入 Fate 的容器中: docker exec -it $(docker ps -aqf "name=standalone_fate
5月29日,由VMware中国研发中心和微众银行联合主办的FATE× KubeFATE技术实践沙龙-北京站顺利举办,来自VMware、微众银行、建信金科、光大科技、中国银联、星云Clustar、爱动科技等多位技术专家现场分享了联邦学习相关应用与实践案例 演讲视频回放 演讲嘉宾合影留念 FATE × KubeFATE技术实践沙龙-北京站 圆满结束 再次感谢大家的支持与参与! 是否觉得还没听过瘾?
相关信息:FATE开源社区3月份开发工作进展 FATE开源项目作为全球首个工业级联邦学习开源框架,从发布至今,历经多个版本迭代,每一次的优化和升级,都让FATE更加健全和成熟。 正是对技术的不懈追求和探索,让FATE成为了国内领先的联邦学习开源社区。 4月15日,由FATE开源社区发起的系列线上公开课——FATE 「LIGHT UP」计划第二期继续为大家带来精彩内容! 分享时间:2022年4月15日(周五)14:00-14:50 分享主题:FATE和KubeFATE 1.8.0新功能介绍 分享内容: 介绍FATE v1.8在功能和性能上的优化和迭代。 之一、FATE开源社区核心算法研发、微众银行人工智能算法工程师。 负责FATE关键算法的开发和优化,协助FATE多版本的发布工作,参与多期FATE圆桌会议分享,专注于联邦学习和人工智能等领域的技术发展。
本报告基于对 25种主流开源隐私计算框架 的调研(截至2022年8月),聚焦 FATE 框架的技术特性及金融行业实践,为行业提供技术选型与生态建设参考。 核心分析模型:基于 FATE 框架的分层架构(计算引擎、安全协议、算法库、调度引擎等),结合金融场景需求构建技术评估矩阵。 FATE 通过 30余个联邦算法组件 及多协议适配(同态加密、秘密共享等),支持工业级应用。 开源生态驱动互联互通:金融行业 30% 的隐私计算平台基于开源框架构建,其中 75% 采用 FATE。 金融场景实践验证价值:在联合风控、智能营销等场景中,FATE 帮助机构提升模型效果(如反欺诈模型 AUC 提升 14%),同时满足数据不出域的合规要求。 为什么选择腾讯云 腾讯云基于 FATE 开源框架与自研 Angel PowerFL 框架,构建安全联邦学习平台,提供 PaaS 与 SaaS 级服务。
一、说明 本文分享基于 Fate 使用 横向联邦 神经网络算法 对 多分类 的数据进行 模型训练,并使用该模型对数据进行 多分类预测。 关于 Fate 的核心概念、单机部署、训练以及预测请参考以下相关文章: 《隐私计算FATE-关键概念与单机部署指南》 《隐私计算FATE-模型训练》 《隐私计算FATE-离线预测》 二、准备训练数据 上传到 Fate 里的数据有两个字段名必需是规定的,分别是主键为 id 字段和分类字段为 y 字段,y 字段就是所谓的待预测的 label 标签;其他的特征字段(属性)可任意填写,例如下面例子中的 x0 本文只描述关键部分,关于详细的模型训练步骤,请查看文章《隐私计算FATE-模型训练》 2.1. guest端 10条数据,包含1个分类字段 y 和 10 个标签字段 x0 - x9 y 值有 0、1、 上传到 Fate 中,表名为 muti_breast_homo_host 命名空间为 experiment 三、执行训练任务 3.1.
FATE 项目使用 Java 和 Python 等语言开发而成,早期版本在安装、部署时需要下载依赖软件包和进行较长时间的编译。 FATE 从 1.1 版本开始,增加了全组件的容器化封装,在部署时无须下载复杂的依赖包和重新编译,使得 FATE 的部署得到了简化。 在 FATE 版本更新时,用户可以从互联网下载新版本的镜像和 Helm Charts,再将其导入 Harbor 中供内部环境使用。 完整的FATE集群包含 FATE-Board、 FATE -Flow、Rollsite、Node Manager 和 Cluster Manager 等多个容器,这些容器又分别对应不同的镜像,因此使用 ◎免除构建FATE时需要各种依赖包的烦琐流程。 ◎提供离线部署的能力,加速应用部署的速度。 ◎实现跨平台部署FATE集群。 ◎可按需灵活地实现多实例水平扩展。 ◎升级实例的版本并进行多版本的维护。