框架版本：
- Tensorflow：2.9.0
- PyTorch：1.11.0
| 算子 | TensorFlow | PyTorch | MindSpore | Paddle |
|---|---|---|---|---|
| sgd | tf.keras.optimizers.SGD{:target="_blank"} | torch.optim.SGD | ||
| momentum | tf.keras.optimizers.SGD | torch.optim.SGD | ||
| adagrad | tf.keras.optimizers.Adagrad | torch.optim.Adagrad | ||
| adadelta | tf.keras.optimizers.Adadelta | torch.optim.Adadelta | ||
| rmsprop | tf.keras.optimizers.RMSprop | torch.optim.RMSprop | ||
| centered_rmsprop | tf.raw_ops.ApplyCenteredRMSProp | / | ||
| adam | tf.keras.optimizers.Adam | torch.optim.Adam | ||
| adamax | tf.keras.optimizers.Adamax | torch.optim.Adamax |