如果因为没有刷满次数，而导致信用卡被扣580元的年费，用户可以向客服申请补刷，在约定的时间内完成补刷，年费是可以退的。而用户没有满足年费减免条件，又不愿意进行补刷，这时候580元的年费是不会退回的。

年费退回以后，会直接退回到信用卡账户中，可能会用于对冲账单，也有可能存为信用卡的溢缴款。