Es el Juez de Familia, dentro de un proceso de privación de patria potestad, quien determina en cada caso concreto, si resulta viable y benéfico o no para el niño dicha privación.
La Ley determina que se puede privar, entre otras causas, por las siguientes causas:

Maltrato habitual
Haber abandonado al hijo
Depravación
Estar privado de la libertad por un periodo superior a una año
Haber utilizar al hijo para la comisión de un delito
La privación de la patria potestad no hace que la obligación de dar alimentos termine, por lo que el padre o madre obligada(a) a cumplir con ella deberá continuar aportándola.

La custodia y cuidado personal del niño(a), en primer lugar, es responsabilidad de los padres, pero si se tienen evidencias claras que alguno de ellos no reúne las calidades para brindarle los cuidados y atención que su nieto(a) requiere, y puede demostrarse claramente, cuenta con la posibilidad de solicitar la custodia del niño(a), en aras de protegerlo(a) como es debido. El trámite lo debe iniciar en el Centro Zonal del ICBF o Comisaría de Familia correspondiente al domicilio del niño(a).

la respuesta de JTP abogados esta muy amplia.