單親小孩的教育問題

我跟前夫已離婚5年了,孩子今年6歲,我與前夫目前各自都有另一半,孩子的主要照顧者是我娘家媽媽,每星期我會接小孩到我身邊,孩子的父親一個月會探視孩子一次(將孩子接出去吃飯)

昨天,前夫帶兒子出去,要下車的兒子緊抓他父親的手哭著說想和爸爸在一起,我對兒子說:好了,媽咪抱抱,兒子才伸手出來讓我從他父親的車內抱出,,,但再車上時兒子一直哭一直哭(是掉淚不出聲音的那種)

我試著跟他說話,說爸爸帶你去哪壓之類的,他只回我說他想跟我在一起,因為兒子目前讀大班,是娘家媽媽在照顧,計畫明年國小將兒子接來和我在一起,我的另一半對兒子也是疼愛有加,現在我開始擔心,我該如何教育兒子,他是否會覺得自己的家庭複雜?