職場でよく見たり睨んでくる人への対処法について

以前、短期の職場であった出来事について相談です。
最初は先輩に「このラインに入って」と言われ、その場所で作業していました。

しばらくすると、隣のラインの人から「こっちに入ってもらっていいですか？」と言われました。ただ、その言い方が少しきつく感じて怖かったのと、私は先輩に指示された場所にいたので、「勝手に移動していいのかな？」と戸惑いました。

そのため、少しイラッとしてしまい、それが態度や表情に出てしまったと思います。「はい」と返事をしたのですが、嫌そうな顔をしてしまったかもしれません。

すると、その人も私の様子に気づいたのか、後から「そっちのラインは人が多くて、こっちは一人だったので」と理由を説明してくれました。

でも私は気まずくなってしまい、昼休憩を挟んだあと、その人の近くで作業するのを避けて別のラインに入りました。

それ以降、その人から休憩中や仕事中によく見られるようにならりました。視線を感じてそちらを見ると私をじーっと見ていたり、目が合うと睨まれますし、近くで作業していると私が動くたびにわざと振り返って見てきます。私は目を合わせないようにしていましたが、思わず視線が被った時は睨まれます。とても気まずくなりました。

その短期の仕事は終わったのですが、半年後に別の職場で偶然再会しました。そのときもかなり少し離れた所から冷たい表情を向けてきているように感じました。また、その人と仲のいい人と私のほうを見ながら何か話しているように感じることもあり、「私のことを話しているのかな」と不安になります。

最初の時に、態度が悪くなってしまったことが良くなかったかもしれません。あちらは歩み寄ろうとしてくれたのに、私は自分の心を守るために距離をとりました。それが長きに渡って睨まれてしまう事になるとは…自分を責めるのも苦しいです。お互い意識してしまっているのだと思いますがそこまで睨む？という思いもあります。きっと嫌われていますよね。それ以降ずっとこのような状態が続いていて、朝私を見かけると必ずこっちを見るのでどうしても気にしてしまいます。用事で近くにいってもチラッとら見られますし、不機嫌な表情が視界の端に入ります。なるべくその人と合わないシフトにはしていますが、どうしても会ってしまいます。どのように対応するのがよいと思いますか？