「数字が入る」ってよくわからないけど、「Ｘ」の多義的な性質が気になるなら、その用途を数字に限定すればいいだけじゃないの。そもそも記号って本来そういうもんだと思うんだけど。つまり１とか２も最初から数字と決まってたわけじゃなくて、人間が好きに選んだ図形に「数」という意味を与えて、そうして数を表すようになった文字を「数字」って呼んでるだけじゃない？だったらこの世に現れる全ての図形は数字になるポテンシャルを秘めてるといえるし、もちろん「Ｘ」だって例外じゃないでしょ。それこそ数学で変数っていえば数を表すもんだと思うから、問題はすでに解決してるんじゃないかな。もちろん「数を表す文字」という条件をクリアするだけで数字と呼んでいいかは議論の余地があると思うけど(おもに記述主義・実用主義の観点から)、いま少なくとも言えることとして、両者は「文字だから数字じゃない」っていうような排他的関係にはないと思うよ。