中年男、初めての恋

初めまして。４６歳男です。
隣りの部署に気になる女性（２５～３０歳くらい）がいます。
恥ずかしながら私は昔から容姿と挙動が原因で女性から辛辣な扱いしか受けたことがなく、女性とお付き合いすることなくこの歳まできてしまいました。

彼女との出会いは６年前です。
雪の影響で私がたまたま１時間早く出勤したことがありました。
その時にちょうど退社するところだった彼女がいて、私とすれ違い様に「お疲れ様でした」と満面の笑顔で言ってくれたのです。
昔から容姿で苛められてきた私が女性から笑顔で何か言ってもらえたことなんて初めてで、この歳で恥ずかしいですが一瞬で恋に落ちました。

それ以来６年間、彼女を見るために毎日１時間早く出勤しています。
１時間早く出勤すれば、ちょうど退社する彼女を見られるからです。
彼女が既婚かどうかは分かりませんが何となく独身のような感じはします。

でも私が出勤すると同時に彼女が退社していくという形なので、彼女を見られるのはほんの１０秒くらいです。
それでもその１０秒が私にとっては幸せな時間なのです。
彼女は毎日私に笑顔で「お疲れ様でした」と言ってくれます。女性が私の目を見て話してくれた経験なんて今までありませんでした。私も笑顔でお疲れ様ですと返しています。

私も彼女をずっと目で追っているので、何度か彼女と目が合ったことがあります。
もしかして彼女も私のことを気に掛けてくれているのではないかと一人で舞い上がったこともありました。
でもここ１年、彼女が私を無視するようになりました。お疲れ様ですも言ってくれず目も合わせてくれません。
彼女に私的なことを話し掛けたことはないので何か不快なことをした覚えもありません。この歳で初めてした恋です。上手くいきたいと願っています。何が彼女を怒らせてしまったのでしょうか。教えてください。