petl 是个啥? 如果你正在寻找一种简洁方便的方法来处理数据,那么 petl(Python ETL)值得你关注。 项目地址:https://github.com/petl-developers/petl 星标:1.2K 派生:188 petl 架构 安装 在使用 petl 前,我们需要先通过 pip 来安装它 主要特性 数据读写 使用 petl,你可以轻松地完成各种数据格式之间的读取和写入操作。 支持的数据格式包括 CSV、JSON、XML、Excel 等,无论你的数据处于何种状态,petl都能来帮你一把。 这听起来可能很复杂,但有了 petl,我们可以轻松实现这一功能。
虽然参数高效迁移学习(PETL)技术可以让预训练骨干网络只更新一小部分参数(比如说只更新2%的参数),但它们使用的内存却只减少了30%。 为此,本文提出了一种新的PETL技术--Ladder Side-Tuning (LST),在保证性能的情况下,它可以大幅降低训练内存需求。 具体来说,PETL方法选择预训练模型网络中的一小部分参数或者插入一些参数到预训练的网络中,只为新任务更新这些参数,同时冻结大多数原始参数。 这使得PETL方法无法应用到计算资源有限的实际应用中。 为解决上述问题,本文提出了一种内存应用效率较高的PETL方法--Ladder Side-Tuning(LST)。 2、在低内存条件下,LST方法比其他PETL方法获得更高的精度。
尽管最先进的参数高效迁移学习(PETL)方法显着减少了可训练参数和存储需求,但几乎所有方法仍然需要通过大型预训练网络反向传播梯度。 这种占用大量内存的特性极大地限制了 PETL 方法在现实场景中的适用性。为此,我们提出了一种新的内存高效 PETL 策略,称为通用并行调优(UniPT)。 对十个数据集的广泛消融验证了我们的 UniPT 不仅可以显着降低内存消耗并超越内存效率最好的竞争对手,而且在不同架构的低内存场景中比现有 PETL 方法实现更高的性能。
局限性:许多现有的PETL方法,例如(VPT, Adapter)会增加推理时间,因其提出的结构无法重新参数化。直接提示调优也很难设计,带来了计算负担,并且需要超参数调整,即如何以及在哪里放置提示。 通过PETL方法微调的模型应该表现出增强的域泛化能力,从而使它们更适用于现实场景。下表展示了GLoRA的域外泛化能力,其中单个ImageNet-1K微调的GLoRA模型经过域外数据集的测试。
States||Foraker |17402 |United States||Pico de Orizab |18491 |Mexico ||Popocatépetl
在自然语言处理领域的启发下,参数高效微调方法(PETL)在视觉任务中得到成功的应用,但现有技术主要聚焦于单任务的适配,如何更好地将参数高效微调方法应用于视觉多任务学习中仍是一个挑战。
0gGBwxoQwkwWfmhsuyT1Qn/UGhpAKAqsSU1xVbI5ZNYD3+2/0Pl+/e8pr7BM+OSU7+vHFy4j+/0P5HAqsD2FefdUK591vvKS8/Ta6RvvvPn7Gz/PeTl2QZUs7PINQST1fI