Теория множеств-что изучает, где применяется?
Основные понятия и определения теории множеств?

Изучает она, понятное дело, множества, то есть объекты, представляющие собой просто совокупность однородных элементов (однородных в том смысле, что их какие-то индивидуальные черты, пусть даже делающие их совершенно непохожими друг для друга, для данной теории несущественны; важно лишь то, что они объединяются вот в это множество). Применение своё она в основном находит для обоснования различных фундаментальных положений математики - несмотря даже на то, что сама она ещё далека от завершения, и в ней самой присутствуют различные парадоксы и не разрешённые по сей день проблемы. Ценность её в том, что она помогает связать между собой различные разделы математики и применять в них некие общие подходы.
Основных понятий там не очень много. Это прежде всего собсно множество, элемент множества и принадлежность. Как и все прочие аксиоматические вещи, эти понятия не сводятся к каким-то "более основным", а принимаются как есть, без доказательства. И, в общем-то, даже на интуитивном уровне понятно, что это такое.
Операции, которые можно делать над множествами и элементами множеств, - это включение, исключение, объединение, пересечение. Операции дополнения и симметричной разности де-факто сводятся к этим базовым.
Ещё одно важное понятие в теории множеств - отображение. Это правило, согласно которому данному элементу одного множества ставится в соответствие некоторый элемент другого множества. Если такой элемент один, отображение называется однозначным. Вообще говоря, отображение не обязано существовать для каждого элемента множества. Кроме того, разные элементы исходного множества могут отображаться на один и тот же элемент другого множества. Например, если определить множество А как множество всех целых чисел, а множество В - как множество, состоящее всего из двух элементов, 1 и 0, то операция mod 2 (остаток от деления на 2) каждому элементу множества А поставит в соответствие один и только один элемент множества В, но при этом на элемент 0 множества В отображаются все чётные числа, а на элемент 2 - все нечётные.
Если же это правило действует и в другую сторону, то есть если каждому элементу из множества А соответствует один и только один элемент множества В, а каждому элементу множества В соответствует один и только один элемент множества А, то такое отображение называется взаимно-однозначным. Для него есть специальное название - биекция. Для взаимной однозначности требование "каждому элементу" является обязательным. Потому что запросто можно взять два множества, для которых это условие в одну сторону выполняется, а в другую - нет. Например, множество целых чисел и множество букв какого-то алфавита. Ясное дело, что каждую букву можно однозначно отобразить на определённое целое число, но вот далеко не каждое число можно отобразить на букву взаимно-однозначно.
Соотношение биекции играет огромную роль в теории функций.
Ещё одно понятие, которое тоже во многом интуитивно, - мощность множества. Если попросту - то это единственный параметр, по которому можно сравнивать, какое из множеств "больше". Ведь множества довольно часто содержат бесконечное число элементов. Даже ограниченные множества - например, множество значений синуса. Они все лежат в интервале от -1 до +1, но таких значений бесконечно много.
Для множеств из конечного числа элементов всё просто: чем больше элементов - тем больше мощность. А вот как быть, когда элементов бесконечно много?
И вот тут как раз помогает соотношение биекции. Если между элементами двух множеств можно задать биекцию, то есть на каждый элемент одного множества придётся один и только один элемент другого, и наоборот, то такие множества называются равномощными. Если же в каком-то из них "останутся лишние", то мощность этого множества будет больше, чем у другого. По определению, для бесконечных множеств минимальной мощностью считается мощность множества натуральных чисел: если элементы множества можно перенумеровать, то мощность такого множества минимальна. Кстати, множество натуральных чисел равномощно множеству всех рациональных чисел. Это кажется парадоксальным - ведь даже на интервале от 0 до 1 бесконечно много рациональных чисел! - но тем не менее это так. Прикол в том, что  рациональные числа можно перенумеровать. Ведь знаменатели у них - дискретные (1, 2, 3...), так что тупо нумеруем все рациональные числа со знаменателем 2 (собсно, оно одно такое), потом все рациональные числа со знаменателем 3, ну и так далее. И каким бы замысловатым ни было рациональное число, всегда найдётся какое-то - да, охрененно больше! - целое число, с этим рациональным составляющее биекцию.
Противоположный случай - непрерывное множество. Например, множество всех действительных чисел. Его уже перенумеровать не удастся, то есть его мощность "явно больше" мощности счётного множества. Бесконечные множества с "непрерывным заполнением", как говорят, имеют мощность континуума. Одна из нерешённых до конца проблем теории множеств гласит, что  мощность счётного множества  и мощность континуума - это два единственных варианта мощности (континуум-гипотеза). То есть мощность множества - либо счётная, либо континуум. Как следствие - множество всех действительных чисел в диапазоне от 0 до 1 имеет ту же мощность ("в нём столько же элементов"), что и множество всех действительных чисел. Вообще всех.
Ну а всё остальное - в специальных и очень умных книжках...