博客

技术分享

【速看】TensorFlow 2.17 发行说明

2024.11.01 20分钟阅读

TensorFlow 2.17 已经发布！此版本（和 2.16）的亮点包括 CUDA 更新、即将推出的 Numpy 2.0 等。有关完整的发布说明，请访问 TensorFlow 的 GitHub。

TensorFlow 2.17 变化

CUDA 更新

TensorFlow 二进制发行版，现在附带了用于计算能力为 8.9 的 GPU 专用 CUDA 内核。这提高了流行的 Ada 架构 GPU（如 NVIDIA RTX 40**、L4 和 L40）的性能。

为了控制 Python 轮次的多少，TensorFlow 团队决定不再为计算能力 5.0 提供 CUDA 内核。这意味着预编译的 Python 包支持的最古老的 NVIDIA GPU 架构现在是 Pascal 架构（计算能力 6.0）。为了支持 Maxwell，TensorFlow 团队建议继续使用 TensorFlow 2.16 版本，或者从源代码编译 TensorFlow。只要使用的 CUDA 版本仍然支持 Maxwell GPU，后者就有可能实现。

Numpy 2.0

即将发布的 TensorFlow 2.18 版本将包括对 Numpy 2.0 的支持。这可能会打破 TensorFlow API 使用的某些边缘情况。

放弃 TensorRT 支持

从 TensorFlow 2.18 开始，将不再支持 TensorRT。TensorFlow 2.17 将是最后一个包含它的版本。

修复错误和其他 TensorFlow 2.17 更改

1.tf.lite

对于动态范围量化用例（float32 输入/输出和 int8 权重），FullyConnected 层的量化从每个张量切换到每个通道尺度。这一变化在转换器和推理引擎中全局启用了新的量化模式。可以通过实验性功能开关禁用新行为converter._experimental_disable_per_channel_quantization_for_dense_layers = True.
C API：实验性的 TfLiteRegistrationExternal 类型已被重命名为 TfLiteOperator，相应的 API 函数也是如此。

Python TF Lite 绑定的编译器现在有一个选项 experimental_default_delegate_latest_features，用于启用所有默认委托功能。
Flatbuffer 版本更新：GetTemporaryPointer() 错误已修复。

3.tf.data

将 wait 添加到 tf.data.Dataset.load。如果为 True，对于使用 distributed_save 编写的快照，它会在写入快照时读取快照。对于使用常规 save 写入的快照，并会等待快照直到完成。为了向后兼容，默认值为 False。建议 distributed_save 的用户将其设置为 True。

4.tf.tpu.experimental.embedding.TPUEmbeddingV2

为少数核心用户添加 compute_sparse_core_stats，用这个 API 对数据进行配置，以获得 max_ids 和 max_unique_ids。配置少数核心嵌入中层 API 需要这些数字。
删除 preprocess_features 方法，因为不再需要它。

Keras 3.5 的变化

注意：从 Keras 3.0 开始，新的多后端 Keras 的发布更新将在 Keras.io 上发布。有关更多信息，请参阅 https://keras.io/keras_3/。

Keras 3.0 主要更新：

Keras 现在可以在 JAX、PyTorch、TensorFlow 甚至 NumPy 之上运行（请注意，NumPy 后端仅用于推理）。
新的低级 keras.ops API，用于构建跨框架组件。
基于 JAX 的新型大规模模型分发 keras.distribution。
用于层、模型、优化器和度量的新的无状态 API。

Keras 3.5 最新更新

添加与 Hugging Face Hub 的集成。现在，您可以直接从 keras 将模型保存到 Hugging Face Hub。使用 keras.saving.load_model() 直接从 Hugging Face Hub 加载 keras.Model.save() 和加载 .keras 模型。
确保与 NumPy 2.0 兼容。
添加 keras.optimizers.Lamb 优化器。
改进 keras.distribution API 对超大模型的支持。
添加 keras.ops.associative_scan 操作。
添加 keras.ops.searchsorted 操作。
添加 keras.utils.PyDataset.on_epoch_begin() 方法。
将 data_format 参数添加到 keras.layers.ZeroPadding1D 图层。
Bug 修复和性能改进。