Problème de garde d'enfant lors d'une séparation

Bonjour,

Je suis l'heureuse maman d'un petit garçon de 22 mois. Malheureusement, les relations que j'entretiens avec son père se dégradent terriblement. Nous nous sommes installés ensemble après la naissance de mon fils mais il a beaucoup de mal à vivre cet engagement. Souvent absent, pas toujours concerné, il avance sur des projets personnels qui l'éloignent de nous et nos relations sont de plus en plus tendues. D'ailleurs nous n'avons ni projets ni activités communes sous prétexte de notre fils est trop jeune...
J'envisage sérieusement de quitter notre domicile pour vivre avec mon fils. Mais je me demande si d'un point de vue légal je ne me place pas dans une mauvaise situation. Nous ne sommes ni mariés ni pacsés. Il a une fille d'une première union et connait mieux les "rouages judiciaires" que moi (il ne la voit qu'un we sur deux, verse une pension et acquitte beaucoup d'autres frais). Il n'a pas les moyens de me verser une pension (ce que je ne lui demanderai d'ailleurs pas), mais j'ai peur qu'il demande une garde alternée pour éviter justement d'avoir à s'acquitter d'une pension. Et je n'ai pas envie que mon fils vive en garde alternée. Son père ne lui prêtant que peu d'attention aujourd'hui (et peu d'amour), je ne voudrais pas qu'il passe la moitié de son temps chez ses grands parents parce que son père en a obtenu la garde alternée.
Si vous avez une expérience sur ce sujet, merci de m'aider à y voir plus clair.