Когда-то на этом месте от подворья Троице-Сергиевой лавры (участок для которого был выделен Петром I в 1714 г.) к Большой Загородной дороге проходила тропа-просека, которую в 1740-х годах замостили деревом и продлили до Невской перспективы. Проезд называли Головкинским или Головиным переулком (по имени домовладельцев канцлера Г. И. Головкина или графа Ф. А. Головина). В 1798 году в честь подворья проезд получил название Троицкого переулка, а с 1887 года стал Троицкой улицей. До середины XIX века эта часть считалась границей города, здесь находились цветущие участки с деревянными домами, затем, в период бурного развития капитализма, здесь началось активное строительство и южная граница города передвинулась за Обводный канал. В 1929 году в честь композитора Антона Григорьевича Рубинштейна, жившего в доме 38, улица получила современное название.
Гулять по этой улице многим доставит удовольствие. Здесь, на одной из самых «ресторанных» улиц Европы, расположилось большое количество достопримечательностей. Одним из интереснейших объектов жилого конструктивизма стал дом 7 («Слеза социализма»), построенный в 1932 году на углу улицы Рубинштейна и Графского переулка по проекту А. А. Оля, здесь, с 1932 по 1943 год жила Ольга Берггольц.
В доме 13, построенном в стиле эклектика располагался доходный дом и зал собраний М. Ф. Руадзе (позже известный как зал А. И. Павловой). В разное время в этом доме находились: Петербургское собрание художников (1870-е годы), Редакция Журнала Министерства народного просвещения (1850—1860-е), Столичный артистический кружок (1886—1892), Гимназия (1906—1918), Студия В. Э. Мейерхольда (1913 — 1914), с 1930-х гг. — школа, с 1981 года работал Ленинградский рок-клуб. В настоящее время в этом здании располагается детский музыкальный театр «Зазеркалье».
Дом 15—17 - доходный дом графа М. П. Толстого, построен по проекту Ф. И. Лидваля в 1910—1912 годах. Это интереснейшая архитектурная композиция из соединенных арками проходных дворов в стиле модерн.
В доме 18, в правой части, размещается Малый драматический театр; в левой части —нарядный доходный дом И. А. Жевержеева (арх. А. И. фон Гоген, 1899).
Размаху Толстовского дома вторит Жилой комплекс Петербургской купеческой управы (дом 23), построен в 1911—1912 годы по проекту архитектора А. А. Барышникова. В 1917 году в доме жил Джон Рид. Здесь прошло детство Аркадия Райкина. В 60—70-е годы XX века до эмиграции в этом доме жил писатель Сергей Довлатов. В память о писателе висит мемориальная доска и установлена скульптура Довлатова с его рабочим инструментом – знаменитой машинкой «Ундервуд».
Заканчивается улица у знаменитых «Пяти углов», которые образуются улицей Рубинштейна, Загородным проспектом, Разъезжей улицей и улицей Ломоносова. Здесь доминирует доходный дом с башенкой (дом 40), построенный в 1913 году по проекту А. Л. Лишневского. В нем проживали Лидия Чуковская и физик Матвей Бронштейн.
