если хватит мат. аппарата и производительности экселя - делай в нём, никаких проблем. я просто не в курсе, на сколько там сложные рассчёты

Тут многое зависит от сложности задачи. Если формульная нагрузка не сильно велика и важно сделать графическое представление результатов, то тут лучше не заморачиваться и воспользоваться мат. пакетами. Я в свое время успешно использовал MAPLE для расчетов связанных с аномальным эффектом Зеемана. Если же, требуется проводить расчеты, в которых активно используется численное интегрирование, то лучше воспользоваться C++/C#/Java (под два последних гораздо проще писать многопоточные приложения), выигрыш в скорости может быть более чем на порядок.