git切换账号后权限没变

我自己是A账号，因为没有权限，借用了B账号拉了下代码（新建了SSH key，git clone的时候命令行有提示输入B账号和密码）。
然后问题来了，我想切换回A账号，但是一直都是B的权限。我现在已经把AB账号的SSH都删了，本地的id_rsa也都删了，还是有B账号的权限。