Нужны ли здесь кавычки: звезда по имени "Солнце" или звезда по имени Солнце?

Без кавычек правильно.
Это из той же серии, что и фразы типа "страна с названием СССР", "кот по кличке Боб" или "девушка по имени Елена" - в таких случаях кавычки не ставятся.
Они бы ставились, если бы это был какой-то объект, названный в честь оригинального Солнца, а не само Солнце.