Закройте программу, если она открыта и запустите вновь. Если в настоящий момент вы подключены к базе данных, то вы не сможете ее удалить, поэтому нужно закрыть программу, если она открыта и запустить снова.
Далее в окне "Выбор базы данных" нажмите "Удалить"
При нажатии на кнопку "Удалить", файл базы данных не удаляется с вашего компьютера. Удаляется лишь запись в списке выбора баз данных. Для удаления файла базы данных используйте стандартный проводник Windows или любой другой удобный для вас способ.