Сергей Дмитриевич Шереметев родился 26 (14) ноября 1844 года в Санкт-Петербурге, в семье графа Дмитрия Николаевича Шереметева и графини Анны Сергеевны Шереметевой, внук графа Николая Петровича Шереметева и актрисы Прасковьи Ивановны Ковалевой (Жемчуговой). Получил домашнее образование, окончил Пажеский корпус, служил в Кавалергардском полку.
В 1868 году в чине ротмистра назначен адъютантом цесаревича Александра Александровича (будущий император Александр III).
Тогда же женился на Екатерине Павловне Вяземской, внучке и наследнице Петра Андреевича Вяземского, в семье родились дети.
В 1870-х годах был депутатом дворянства и почётным мировым судьёй Шлиссельбургского уезда Санкт-Петербургской губернии.
Участвовал в русско-турецкой войне 1877—1878 годов в составе о отряда, которым командовал Александр Александрович, был награждён орденом св. Владимира.
После воцарения Александра III стал его флигель-адъютантом.
В период с 1883 по 1894 годы был Управляющим Придворной певческой капеллы в Петербурге.
Именно в его период управления Капеллой она приняла современный вид, созданный по проекту архитектора Леонтия Бенуа (1886—1889 гг).
В 1880-90-е годы — попечитель Дома императрицы Александры Феодоровны для призрения бедных в Санкт-Петербурге и член Совета Лицея в память цесаревича Николая; почётный член Императорской Академии наук, действительный статский советник, егермейстер Императорского двора, член «Особого совещания по делам дворянского сословия», в своей докладной записке указывал:
«Россия развилась и создалась самостоятельно, а потому все существенное в ней является самобытным; и Церковь, при всем вселенском её значении, самобытна, и монархия её самобытна; самобытно и её дворянство: оно не чета европейскому потомству рыцарей — детищу феодализма. У нас не было феодализма, не было и замков. Наши замки — монастыри наши, светочи просвещения, двигатели колонизации, рассадники благотворительности… Законодательство наше не может не считаться с этими особенностями нашего самостоятельного развития, с этою самобытностью России.»
До Революции был почётным мировым судьёй по Звенигородскому уезду Московской губернии, председателем Императорской археографической комиссии и других комитетов, попечителем детских учреждений.
В 1906—1917 годах поддерживал правых политиков.
На 1 марта 1917 года был одним из богатейших людей России - владел состоянием почти в 40 млн рублей, ему принадлежали подмосковные усадьбы Кусково, Михайловское, Введенское, Остафьево.
После смерти отца в 1871 году стал последним дореволюционным владельцем Фонтанного дома в Петербурге. Почетный академик, историк, собиратель и исследователь древнерусских рукописей и старинных книг создал здесь Общество любителей древней письменности, которое собиралось в Галерейном флигеле дворца, здесь же размещалось древнехранилище книг и рукописей.
Умер 17 декабря 1918 года в Москве. Его последними словами стали:
«Я умираю с глубокой верой в Россию. Она возродится».
