J'avais un fichier qui se finissait par un . (sans extension, mais avec un . quand même).
Impossible de le supprimer (via le GUI, comme la console), le modifier, le renommer ou quoi que ce soit. Pour arriver à le supprimer, la seule solution qui a marché :
rmdir /s /q "\?\C:\DIRECTORY"