异性之间“好”上了，但双方都有家庭时，聪明人会怎样做？