Muy pequeño, Lippi quedó huérfano e ingresó en el convento del Carmine de Florencia. Masaccio y Masolino iniciaron la decoración de la capilla Brancacci de esa iglesia en 1424 y, posiblemente, su primer contacto con la pintura fue el de ayudante de Masaccio.

En 1456 raptó a la monja Lucrecia Buti de un convento de Prato del que había sido nombrado capellán. Fra Filippo consiguió una dispensa del papa Pío II para casarse con Lucrecia, con quien tuvo un hijo, también pintor, llamado Filippino Lippi.