Можно ли не использовать группы безопасности? Можно ли без групп безопасности получить доступ до инстанса ВМ?

Нет. Группы безопасности являются неотъемлемой функциональностью Openstack, который по умолчанию включает implicit deny для трафика инстанса.

В группах безопасности описываются разрешающие правила, по которым будет пропускаться трафик. Но если серьезная сетевая защита для инстанса ВМ,  то можно создать и использовать группы безопасности с максимально широкими правилами сетевого доступа.