El desktop.ini se regenerará, así que no lo hagas.

El Thumbs, lo puedes borrar si no tienes el explorador configurado para mostrarte miniaturas.

Pero claro si alguna vez vuelves a configurarlo para que te muestre miniaturas, volverá a generar dicho archivo.

Felicidad