元彼との今後について　恋愛相談

一年ほど前までお付き合いをしていた方がいます。相談内容は彼とのことです。長くなりますが客観的な意見をいただきたいです。
お互いのことを深く知らない状態で付き合い、深く関わるうちに価値観の違いが気になり始め、私から関係を解消したいと伝えました。この時なかなか受け入れてもらえず、時間をかけて何度も話し合いをし、別れました。別れた後もしばらくは彼から未練のある連絡が来ていました。

数ヶ月経ったころ、思い出が美化されてしまい楽しかったことだけが何度も思い出され、復縁したいと思うようになりました。彼に今の気持ちについて話をしたところ、私が振ってしまったことが原因で「復縁は考えられない」という返答で、大変落ち込みましたが仕方がないことだと受け入れました。

さらに数ヶ月経ち、彼と体の関係だけを持つようになってしまいました。このとき彼は「やっぱりともちゃんのことが好き、一緒にいたい」と涙ながらに話してくれましたが、一度復縁をきっぱりと断られていること・時間が経って気持ちが落ち着き冷静に付き合っていた当時の嫌だったことも見れるようになり、決断ができず曖昧な返答をしたまま関係を続けてしまいました。

そして、彼が涙ながらに話してくれた1ヶ月後に、気持ちの整理がついてきたため彼と向き合って話をする機会を設けました。
この1ヶ月の間に自分はどうしたいのか、どうすべきなのかについてよく考えた結果、付き合っていた当時は嫌なことは確かにあったし、この先生涯のパートナーにとは考えられないけれど「今一緒にいたいな」という今を楽しみたい気持ちを優先しても良いのではないか？と自分の中で整理がついたため、正直に「前に気持ちを伝えてくれたよね。よく考えたけれど、私も同じ気持ちだからもしよかったらまたやり直さない？」といった内容を伝えました。
ですが、なんと彼は今気になる人がいるようで、やり直すことは叶いませんでした。
このとき、彼から体の関係は続けたいという話がありましたが、「思いを寄せている方にも私にもそれは失礼だ」と伝え、断りました。

実は職場が一緒でほぼ毎日顔を合わせるということもありブロックして終了ともいかず、さらに嫌な部分があって別れたはずなのに私自身何度も復縁したいと思ってしまうこと、二転三転する彼の意見にも振り回され、どうしたら良いのかわかりません。客観的な意見が欲しいです。