Parler du passé du papa à ses enfants

Bonjour,
Je ne veux rien cacher à mes enfants sur le passé carcéral de leur père pour éviter qu'ils l'apprennent par une personne extérieure (lui par contre ne souhaite pas du tout en parler). Jusqu'à présent, j'ai seulement profité d'un jour où mon fils de 5 ans n'obéissait pas pour lui dire que son papa n'avait pas été sage, qu'il n'avait pas voulu écouter ses parents, qu'il avait fait des grosses bêtises et avait été puni. Et pour sa punition : il n'avait pas le droit de voir son papa et sa maman, il n'avait pas le droit de jouer. Jusqu'où faut-il aller dans la vérité ?
Merci de votre réponse.