Вот и разробрался немного с MVC.
В админке файл заливаем, закачиваем, файл и объект с ним связанный удаляем.
На фронте только закачиваем с сайта.
И вот на проде возникла проблема. У меня локально не был поднят nginx. А он, зараза, при попытке отдать файл с сервера не смог в нужную папку залезть. Потому как он действует через юзера nginx, а папка юзера, запустившего django. В итоге, FILE_UPLOAD_PERMISSIONS = 0o644 помогло.
Проект позволяет такой топрорный метод.