求救！懷孕初期服用藥物

我目前懷孕3個月  

剛懷孕時不知道我有懷孕有服用精神科藥物（X級和D級）每天都有服用2顆半  服用到6週發現懷孕就沒在服用了

精神科醫師叫我拿掉  婦產科醫師叫我不要在服用就好了

這樣是否會對胎兒產生影響

很怕生出有問題的寶寶

可是又捨不得把我的寶寶拿掉

請問是否有媽咪服用精神科藥物還生出健康寶寶的

我到底該怎麼辦？