Как будет правильно: откашляваться или откашливаться?
Какие правила русского языка необходимо применить?

Правильно пишется "откашливаться", потому что нет суффикса -ява-, только суффикс -ива-