Как пишется правильно: мельчайшЕго или мельчайшОго?
Какое правило?

Прежде всего разберемся, с какой орфограммой имеем дело.
Изменим слово, о правописании которого задан вопрос. Мельшайшим, мельчайшая, мельчайшие. Делаем вывод, что орфограмма находится в окончании. К слову ставим вопрос какого?, называет оно признак предмета, следовательно, это имя прилагательное. Значит, нас интересует правописание падежных окончаний прилагательных.
Можно запоминать всю парадигму этих изменяемых морфем:
 Но проще ориентироваться по вопросу. Перед нами снова выбор: -ого или -его.
Отметим, что ш - шипящая. После шипящих в окончаниях прилагательных о пишется только под ударением.
В нашем случае ударение падает на второй слог, верный вариант - мельчайшего.