実家暮らしはだめなのか。

24歳。地方で実家暮らし。今は、薬局の事務の仕事をしています。高卒で、地元のショッピングモールで働き始めました。
最近、色々考えてしまうことは、実家を出るか出ないかです。
もう24歳で、手取りは少ないけれど毎月決まった額を頂けてるので、一人暮らしをしたいのですが、地方の田舎なので、アパートは壁が薄くてセキュリティが不安。マンションも、1人では十分すぎるくらい広い上に手取りから考えると軽くオーバーしているので少しもったいないと思ってしまいます。せっかく一人暮らしをするのなら、比較的良いところに住みたいけれど、果たしてボロくても一人暮らしがしたいのかと言われたら、躊躇してしまいます。
普段、家にお金を入れてはいるけれど、家事は母親任せになってしまって、最近はお金を使うことにも罪悪感を感じています。
職場の人にも「帰ったらご飯があっていいね」とか遠回しに嫌味を言われます。何となく、実家暮らしで世間知らずだと思われているであろうことも言われているのが、地味にストレスです。
しかし、今の職場は居心地が良くて仕事が嫌だと思ったことはないのですが、高卒で大した学歴もないので一人暮らしをしたくて環境を変えたくても給料が安いところにしか転職できない気がして、人生積んだなと思っています。ある程度、大人なら一人暮らしをする方がいいのでしょうか？
家から職場まで片道4分ほどです。