彼の気持ちが分かりません

26歳女です。
趣味の集まりで知り合って半年くらいの男性(23歳)がいます。その集まりで知り合った数人でちょくちょく飲みに行ったりしていたうちの1人でしたが、最近ちょっとずつ2人で仲良くなり、この前2人で遊びに行ってきました(最初に誘ったのは私です)そして来週また次の約束があります。
私は気づいたら彼の事を好きになっていました。
ですが彼は私を異性として見ているのか、友達としてしか見ていないのかが分かりません。

早く会いたいねと言ってくれたり、帰るの名残惜しいから終電まで1杯だけ飲まない？と言われて飲んで帰りました。
他にも会話の中で、俺だけ特別みたいな？と言ってきたり、なんか甘えられてるみたい笑と言われたり
ですが下心は全く感じず、年下なのにすごく大人な方だなと思っています。

お互い共通の知り合いが何人かいるのですが、2人きりで会ったことは皆には黙っておこう、という事になりました。
ですがつい先日、私と彼を含めた8人くらいで集まる機会があった時、私が今まで以上に彼と親しくしてしまいました
解散したあと、仲良くしすぎたかな笑というようなニュアンスのLINEを送ったら、そんな肩肘張って隠すこともない気もする、やましい事は何もないし笑
という内容が送られてきました。
やましい事が無いとはどういう意味なのでしょうか。

そもそも彼は私と付き合いたいと思っているのか。
私は早く告白してくれと思っていますが、次会った時告白されなかったら、こっちから踏み込んで聞いてみるかもう少し待ってみるか どうすれば良いでしょうか。
4歳離れてるのもあり難しいのでしょうか。
長文失礼致しました。よろしくお願いします。