Точних відомостей щодо появи рубаба немає. Припускається, що з'явився він у VII столітті нашої ери. Вперше було згадано в давньоперських пам'ятках, а також оспівано класиками перської поезії Нізамі Гянджеві, Фізулі та Хагані Ширвані. Окремо виділяють й інші різновиди рубаба, серед яких кашгарський, афганський, дуланський й памірський. Відрізняються один від одного вони кількістю наявних струн.