老公这样算精神外遇吗??

我和老公是在工作上认识的，因为他负责产品最后一关，我是负责出货的业务助理，所以工作上常常接触，后来结婚后马上就怀孕了，老公也很好心，希望我不要那么累，于是我就听从他的话办理离职了，专心在家待产，后来承接我的一位女助理，喜欢上我的老公，还没生妹妹时，他下班后常常跟她聊msn，我后来偷偷记录他们聊天的内容，那个女的无所不用奇极的说一些暧昧的字眼，于是我就和他大吵了起来，但我老公还不知道我有记录他们聊天的内容，后来他答应我把她封锁加删除，我才原谅他，谁知，今年八月份我老公约我去参加同事聚餐，要出门了才跟我说是那个女的生日大家要帮她庆生，那时心里很不愉快，还是给了他面子跟他去吃，谁知那个女的喝醉酒，居然要跟每个人拥抱，那时候正想说敢跟她抱，回去一定要给他厉害，后来我一直顾着，才没被她得逞，这个月因为双十节连放三天，老公约同事去花莲玩三天两夜，也是要出发了，他才告诉我那个女的也要去，去的那几天我完全没和那个女的讲到话，但她也不会来找我聊天，去海洋公园时，我说我想坐摩天轮，那女的就说很热耶，我老公就说不要坐啦，很热，我快气死了，要回台北那女的要买麻吉回去给其他同事吃，我老公居然替她抱不平，说那些人又没有对她很好，干嘛买给他们吃，听到我心里真不是滋味，心里想要买是她家的事，关你什么事，因为碍于都是老公的同事，所以不敢表现出来，昨天老公下班回来，吃饭的时候，跟我说下个月初，要和同事去吃碳烤，我问有谁，他就说一些他部门的同事，我说只有这样吗，他才说是因为那个女的做到这个月底，所以想请她吃饭，欢送她，我就说那别的同事离职也没看过你请吃饭呀，他说因为他们这几个比较好，我问谁提议的，他就支支唔唔的说大家的意思啦，还说中午都跟她在聊天，所以没吃饭也没睡觉，我都不知道我没看到的部份他们是多要好，气到我整夜都睡不着，一直想我要去吗，可是我心里实在是很不舒服耶，到底我该怎么办呢?有没有人教教我??