¿Le puedo quitar los derechos de padre al papá de mis hijos?

Mis hijos tienen 12 y 6 años pero el papá no me ayuda. Tengo interpuesta una demandada por fiscalía pero aún así no me da la cuota, me debe 2 años. En estos momentos me da la cuota pero me debe lo pasado, nunca los llama. Él va 7 meses sin verlos pero en ocasiones dice que me los va a quitar porque él tiene plata y yo no no quiero que él tenga nada que ver con mis hijos. Ayúdenme.