Как правильно говорится и пишется:
"Туфли (на) высоком каблуке"
или
"Туфли (с) высоким каблуком"?

Перед нами - словосочетание, состоящее из главной части "туфли" (что?) и зависимой, представленной несогласованным распространённым определением, отвечающим на вопрос "какие?".
Как известно, такие определения связаны с определяемым словом либо управлением, либо примыканием. В нашем случае - примыкание, т.е. связь между главной и зависимой частью только по смыслу.
Оба варианта верны и лексически, и грамматически: и предложный (с предлогом на ... каблуке/каблуках), и творительный (с предлогом с ... каблуком/каблуками).