Mon fils ne parle pas à ma conjointe

Bonjour à tous,
Voilà je suis un papa très malheureux du fait de ma situation. Je me suis séparée de mon ex il y a 3 ans. Mon fils avait 1 an à l'époque. La marraine de mon fils et moi sommes tombés fou amoureux et nous nous sommes mis ensemble. La séparation d'avec mon ex s'est mal passée. Elle n'hésite pas à m'insulter et à me rabaisser devant mon fils. Aujourd'hui, ça fait 3 ans que je vis avec ma conjointe et sa fille de 4 ans. J'ai mon fils un week-end sur deux et la moitié des vacances scolaires. En décembre dernier, nous avons eu une petite fille pour notre grand bonheur. Le souci est que mon fils ignore totalement ma conjointe malgré de nombreux efforts de notre part, rien ne change. Cela fait depuis plus d'un an et demi que ça dure. On lui a expliqué les choses seul à seul. On a essayé la méthode douce et la méthode dure, rien n'y fait. Nous sommes à bout. Ma conjointe est un peu plus stricte au niveau de l'éducation par rapport à moi mais avec sa fille tout se passe très bien et on partage plein de choses. Quand mon fils est avec nous, on ne fait aucune différence on les traite de la même façon. Quand on lui demande pourquoi il ne parle pas, il nous dit que c'est sa maman qui dit qu'il ne faut pas parler. Mais bien sûr celle-ci nie totalement. De plus, il ignore également sa soeur qui a 7 mois. A chaque fois qu'il vient, il y a une ambiance plus que tendu. Nous avons la boule au ventre, on ne sait plus quoi faire. En plus de cela, il a un langage que seul l'entourage comprend et encore... Il bégaie beaucoup et a encore pas mal d'accident "pipi". Quand j'en parle à sa mère, tout va bien, chez elle, il n'y a aucun souci. De plus, il n'est ni câlin, ni reconnaissant pour ce que l'on fait pour lui car du côté de sa mère on lui offre tout ce qu'il veux. C'est un enfant qui n'accepte pas nos règles.
Si vous pouvez nous donner des conseils ou autres pour nous aider, ils seraient les bienvenus. C'est tellement un enfer que plusieurs fois, j'ai pensé ne plus le prendre ou alors me séparer de ma conjointe mais il y a ma fille maintenant que j'aime aussi.
Merci d'avance pour vos réponses en espérant me sortir de cette situation très compliquée.