元カレと再会してしまいました・・・

結婚して15年、子どもが3人いる30代後半の主婦です。

大学生時代にとても好きだった彼（未婚）と、今年のお正月に10年ぶりに会ってしまいました。
大学を卒業後、彼は実家のある関西の方で就職、私は地元に残り就職しましました。
私は彼との遠距離恋愛がさみしく、彼への思いを残したまま別の人と結婚（夫です）してしまいました。

その後も年に二度、誕生日とお正月に連絡をとっていたのですが、たまたま彼の地元へ旅行へ行った際、都合がついて再会することができました。
気持ちは大学生のまま、ずっとわたしのことを思っていてくれた彼に会い、思いがよみがえりました。
そして、2月にまた彼に会いに行き、幸せなひと時を過ごしました。

夫は優しい性格で、子どもにとっても良い父親であり、良い夫でもあります。
ところが、ここ数年、触られたり、そばに来られただけでいやな気持になってしまいました。
それが申し訳なくて、なんとか夫のことを男として好きになろうと努力するのですが、全く好きになれません。
尊敬はしています。でも、どうしても男性としてみることができないのです。

そんな時に再会してしまった彼のことがとても気になって、彼のそばへ行きたいと思うようになってしまいました。

彼は、一緒になりたいと思ってくれてますし、私との子どもがほしいとも言っています。でも、今すぐは不可能だね…と。子どものことを大切にしてほしいからだそうです。
子どもが大きくなるまで待って、それから一緒になりたいと思っています。

ただ、その頃には年もとってくるし、待たせてしまうことが申し訳なくて…。
今は彼の仕事も忙しく、毎日のメールだけが私の支えになっています。

この先、どうしたらいいでしょうか。
辛口のご意見でもかまいません。アドバイスをお願いします。