Me temo que no te va a ser posible desinstalar el IE, mas que nada porque viene "enganchado" al SO.

Aunque podrías deshabilitarlo o más bien evitar que se conecte hay varios problemas que te podrían surgir:

- Dejaría de funcionar el messenger
- No podrías realizar las actualizaciones de windows.

Y por ultimo, firefox es el navegador que yo (y muchos mas) recomendamos, pero hay mas de una pagina y/o contenido para el cual solo puedes utilizar el IE.