Неужели от названия горы Мандары или от слова «манда́ра», которое с санскрита переводится как «земля», «берег», «материк»? Если да, то где логика?

Хороший вопрос, кстати, потому что - а никто не знает.
В разных диалектах и разных говорах было довольно много потенциальных слов типа "мандровать" - путешествовать (было заимствовано из карело-финских языков, насколько я помню), цыганское "мандро" - хлеб, греческое "мадра" - стадо, и даже всем известное название одного женского органа, которое я, как приличный человек, тут писать не буду. Но какое из них, когда и с какого перепугу превратилось в слово "мандраж" - толком неизвестно.
Самый близкий вариант, пожалуй, это новгородское слово "мандра", которое употреблялось в значении "человек с тяжёлым нравом", которое перекочевало в уголовный жаргон в виде слова "мандрыка" ("надоедливый, докучливый человек"), а там уже по каким-то неведомым правилам образовалось слово "мандраж" - в уголовном жаргоне такие перепетии время от времени случаются. Но это, опять-таки, во-первых, только предположение, а во-вторых, от чего произошло новгородское диалектное слово - тоже толком неизвестно.