モフィさん、初めまして。
大学では建築について学んでいる、学部3年生です。

学びたいことが理系であるならば、理系に進むのがいいかと思います。
楽そうだとか勉強がしやすそうとかいう理由であまり興味もない方を選択してしまって、つまんないししんどいみたいなことになったら悲しいですしね。
私はあまり理系科目は得意ではありませんでしたが、理系の分野の方に興味があったし、それでなんとか乗り越えられました。
興味があればどちらに進んでもどうにかなると思います。

さて、理科の選択についてですが、難しいかどうかではなく、自分がどういうことを学びたいかをしっかり考えてから選択した方がいいです。
というのも、大学の中には生物では受験できないというところもあるからです。
物理が難しかろうがなんだろうが、物理と化学でしか受験できないと大学が言うのであれば物理をとるしかありません。
興味がある分野、進学したい大学・学部をある程度絞って、受験科目を調べてから理科選択はするようにしたらいいと思います。

ちなみに、物理が難しいと感じるかどうかは人によって違います。あと、自分にあった勉強方法とか単元の進め方、理解の仕方が見つかるかどうかにもよると思います。
私は基礎はそれなりにできていたけれど物理になるとさっぱりできませんでしたが、逆の人もいましたし、両方できる人ももちろんいました。
でも、基礎がしっかり理解できているならば、物理もそれほど大変で大変で仕方がないということはないのではないかなと思います。