Has probado a eliminar el archivo jpg del disco duro ?
los que vienen por defecto con windows estan en
C:\WINDOWS\Web\Wallpaper

el fondo de escritorio estara en la carpeta (X) tu sabras; si lo eliminas y sigue apareciendo tendria que estar en la memoria ???? una vez eliminado al reiniciar no puede aparecer.