Что мешает, сказать просто давно  или довольно много ,или довольно близко, что мешает сказать просто без довольно?

Для ответа на вопрос обратимся к значению слова, которое не "нравится" автору.
Слово довольно в синтаксических конструкциях може выступать в роли наречия либо краткой формы имени прилагательного довольное. Но в словосочетаниях из вопроса довольно является наречием.
Данное наречие используется в значении:
столько, сколько требуется/достаточно�,в значительной мере/отчасти/ до какой-то степени ( довольно + прилагательное/др. наречие ), это как раз наш случай, другие значения и рассматривать не будем.В общем-то, выразить свою мысль можно и без этого наречия, но оно, как мы видим, все же привносит свой смысл:
довольно давно = достаточно давно,
довольно много = достаточно много,...