在某些情况下，可以追回给第三者的钱。以下是具体分析：

1. 赠与行为无效：男方为情人或者小三赠与资金的，属于擅自处分夫妻共同财产，侵犯配偶财产权，属于无效行为。

2. 违背公序良俗：赠与小三财产，是为了维持不正当关系，这种赠与行为违背公序良俗，且侵犯了另一方对共同财产的平等处分权，因此赠与行为无效。

3. 证据充分：只要证据充分，法院通常会支持受损方讨回财物的诉求，以维护夫妻共同财产的完整性和合法权益。

4. 法律途径：可以通过法律途径追回，比如向法院提起诉讼，要求确认赠与行为无效并要求返还财产。

综上所述，在某些情况下，可以追回给第三者的钱。

需要注意的是，具体情况可能会因个案的不同而有所差异，建议在处理此类问题时咨询私家侦探公司专业律师获取更多帮助。