pomme⭐︎さん、初めまして。こんにちは！
現在理工系の学科に所属している、学部3年生です。
高校の時は物理化学選択で、数3も勉強しました。私のクラスの場合は、数3は受験に必要であろうがなかろうが、強制的に勉強しなければならないようになっていましたが......

さて、数3なしで物理を受験するのは無理なのか？ということですが、普通に受験できると思います。
だいたいの大学は物理（と化学）があれば受験できるし、その中で数3が試験範囲に含まれない大学は多々あるでしょう。
私の所属している人間・環境科学科も、数3はとってなくても受験できるし、理科を物理で受験することもできます。
このように、大学の受験科目にもよりますが、数3なしで物理を受験することはできるはずです。

ということは、先生が数3をやらないなら物理を受験科目にすることはできないとおっしゃったのは、数3の内容に触れていないと物理で受験するのが不利になるという意味だったのでしょうか。
先ほど書いたように、私は特に意識せず数3を勉強していたので物理の勉強をする上で数3の知識を使ったかどうかはあまり覚えていませんが、調べてみたところ、発展的な内容でなければ数3の知識を使うこともないようです。

あまり参考になる回答ではないかもしれませんが、以上をまとめると、私は数3なしでも物理は受験できると思います。
もう一度先生とよく話し合ってみるのがいいかもしれませんね。

少しでもお役に立てれば幸いです。
頑張ってください！