Может быть, запятая здесь лишняя, и фраза должна выглядеть так: «Я сказал рассеянно: ,,Ага" и побрел прочь».
Заранее благодарен за ответы.

На мой взгляд, возможен такой вариант:
Но если непременно нужно с прямой речью, то:
                                                                              

Здесь нужно обособить прямую речь. В данном случае нужны запятая и тире.
В иных подобных случаях возможны точка и тире, но не в этом примере.
Ещё мысли:
— запятая не нужна.
Также можно представить предложение в другом виде.
Я сказал рассеянное "ага" и побрел прочь.