В чем разница? Если таковая, вообще, существует.

Если посмотреть в словаре значения глаголов "окончить" и "закончить, а также причастий "оконченный" и законченный", то трудно уловить разницу. Тогда стоит присмотреться к разным приставкам.
Приставка ЗА обозначет простую завершенность действия, в то время как приставка О предполагает полное окнчание его.
Поэтому можно предположить следующее. Неоконченный роман – это такой, к которому писатель уже не сможет вернуться, а незаконченный роман, возможно, еще будет продолжен.