Какое правило существует для таких случаев? Под какое слово подстраивается прилагательное?

Музей-квартира - это сложное существительное, состоящее из двух существительных - музей (сущ. м. рода) и квартира (сущ. ж. рода).
Чаще всего в сложных существительных на первом месте стоит ведущее слово. В данном случае таким ведущим словом является слово "музей". Оно выражает более широкое понятие чем слово "квартира", которое лишь определяет тип данного музея.
Следовательно род всего сложного существительного музей-квартира определяется по первому ведущему слову "Музей".
Поскольку оно является словом, относящимся к мужскому роду, то и окончание прилагательного мемориальный будет соответствовать прилагательному согласованному с существительным мужского рода - мемориальнЫЙ музей-квартира.