離婚協議書有法律效力嗎？

我和前夫104年離婚了，因為他算是黑社會的人，沒有正常工作還有對於小孩教育讓我放不下，所以我堅持帶走小孩。當時協議離婚的書約是彼此擬定的，除了子女監護、撫養及探視權還都正常，但是有幾條對於我來說真的不太合理，（當初也是亟欲擺脫沒想太多），條約有一條是：當乙方改嫁或有與他人同居行為，子女監護權及撫養權則視同放棄；其子女戶籍需轉回甲方。

重點就是這條，目前孩子已經小五了，我也有一個交往4年的男友，因為我們現在想要和我媽媽小孩跟他一起同居，目前前夫還不知道我是要和男友同住，但搬家後可能就會發現，也知道他會咬著協議書上這點

想問一下，我就一定要依約把孩子還他？如果他要告我我的贏面大嗎？