在花小茶馆🍵

训练是强耦合的,N卡的用cuda,华萎用的CANN,这俩都没法同步,更别说华为卡都追不上N卡的速度,白白浪费N卡时间,训练时候每一个checkpoint需要同步梯度的,这样混训loss不得飞了啊 推理能异构混用是因为它本身就是无状态的

#其他