Если взять число 1 и разделить его на 3, то получится 0.3333333..., а если это число умножить обратно на три, то получится 0.9999999..., а не единица. Почему так? Куда девается та бесконечно малая частица? Можно ли из-за этого считать математику не точной наукой?

Математика точная наука, в этом нет сомнений. Это люди, точнее их рассуждения, не точные.
Если взять число 1 и разделить его на 3, то получится не 0,3333333..., а число 1/3 (одна третья). А вот число 0,333333... это приближенное значение этого числа. Теперь попробуем умножить 1/3 на 3 и получим 1. Все верно, ничего не потеряли. Вообще такое случается, когда мы пользуемся вычислительными устройствами (калькуляторами), работающими по определенному алгоритму. Эти алгоритмы примерные, а не точные.
                                                                              

Вы совершили ошибку. Округлив результат деления 1 на 3 вы потеряли не "бесконечно малую частицу", а часть результата, округление всегда ведет к ошибкам.
Результат же вашего примера записывается или правильной дробью 1/3, или периодической десятичной 0.(3), умножение которой на 3 приводит к, естественно, правильной 1. Опять же неправильно округлив вашу десятичную 0.999999999... вы опять же накосячили, придя к неправильному выводу. Округление такой дроби, опять же, приводит к 1.
Аккуратнее надо быть. Математику не надо считать "точной наукой", она ей является. Косячат люди, не правильно ее применяющие.

Если единицу разделить на три части получится одна третья часть, если взять три третьих части получится снова единица. Бесконечная десятичная дробь, которую невозможно записать конечным числом символов это дефект записи при переводе значения в позиционную десятичную систему счисления.