TPU尝试
XDA device
XDA 使用"惰性"机制的，类似pyspark的惰性机制，太难debug了，遂弃坑。
一个demo，是可以成功运行的，且可以打印出中间结果。https://www.kaggle.com/hzp007/vision-transformer-vit-tutorial-baseline
但在oppo_query_pair_match比赛中测试，涉及到打印中间结果，触发执行算子时，运行就变得特别慢。。。无法打印中间结果。。。惰性机制导致不好debug，暂时弃坑。
https://www.kaggle.com/hzp007/tpu-check-wa009-gpu-oppo-pair-match
PyTorchLightning
Demo：https://github.com/PyTorchLightning/pytorch-lightning
需要将预训练的模型写成固定的格式，但huggindface提供的预训练框架暂时是无法拆解的，so。。。pass
https://github.com/PyTorchLightning/pytorch-lightning/discussions/6684
结论
个人感觉，Google的东西，在pytorch上的适配终究还没没有自家TF适配的好，太可惜了。
