プロパティを削除してもダメでした。
撮影したのはスマホではなく、一眼レフです。
他にもダメな画像もあるし、向きが変わらないものもあります。
対象の画像をPCのペイントで開いて名前変更して保存したものは、向きが変わらず登録できました。