国家公務員でも、技術職の採用があります。

簡単に調べてみましたが、一般職で理系の採用区分は、
電気・電子・情報、機械、土木、建築、物理、化学、農学、農業農村工学、林学
の９区分かと思われます。

私は土木なので、土木のことしかわかりませんが、土木で採用された場合、主に国土交通省で働きます。（もちろん、他の省庁で働いている土木職もいます。）
土木分野である、道路、河川、港湾などの業務にあたることとなります。


そして、憧れていらっしゃる国税専門官というのは、「一般職」ではなく「国税専門官」という採用です。
採用試験の内容は、教養科目と専門科目に分かれますが、主な専門科目は
民法、商法、会計学、憲法、行政法、経済学、財政学、経営学
のようです。
文系職種ですね。

国税専門官を理系出身者が受けてはいけないという制限はありませんが、専門科目は大学で学ばない分野なので、理系大学に進んだ後、ダブルスクールをするかして、一から学ぶ必要があると思います。

きっと文系大学に進んでも、ダブルスクールすることになるとは思いますが、理系は授業が忙しいので、ダブルスクールにはあまりお勧めできる環境ではないと思います。

理系の職種で国家公務員になりたいのであれば、総合職や一般職の技術職採用を受けると良いと思います。