こんにちは！私は大学四年生で大学で建築を学んでいます。
質問者さんの希望の分野とは少し違いますが、建築も工学系なので答えさせていただきますね。
正直言うと、私も物理と数学は得意ではありませんでした。ちなみに情報系に進学した女友達もいますが、物理と数学は苦手でしたが、情報系に進みました。

正直なことを言うと受験勉強中、辛くなかったか、と言われたら辛かったです。
物理も数学も好きだったのと、志望校に行きたいという気持ちはあったのでどうにか続けることが出来ました。
大学に行って物理と数学を使った機会は、基礎教養科目で数学や物理があったり、私は建築だったので建築に関する力学の部分だけ行いました。

情報系の友達に聞いたところ、物理は基本的には使わなかったそうです。
ただ数学に関しては、ある程度数学が出来ないと授業がついて行けないかもしれない、と言っていました。
プログラミングに数学を使ったり、コンピューターグラフィックでは行列を使ったり…
私も知らなかったのですが、意外と使うみたいですね。
ただ、まだ一年あるとのことですし、充分巻き返しは出来ると思います。

国公立はあまり視野に入れていなかったので、アドバイスは出来ないのですが…科目数も増えるため私立より大変だと思います。
問題が学費などでしたら、奨学金を貰って私立という可能性も有りかもしれません。
私立でしたら、例えば慶應大学なら最初に学問を選んで入学したのち、自分の興味のある分野を選ぶことが出来ます。
そういう意味では質問者さんの横断的に学びたい、という希望を叶えられるかもしれません。

聞きたいこと全てに答えられなくて申し訳ないのですが、あと一年あります。諦めずやりたいことに向かって頑張ってみてください。