Его называли «главным маркизом Советского Союза». Игравший аристократов, Дмитриев и в самом деле имел дворянские корни — был правнуком княгини.
Голубая кровь проявлялась в нем по-разному. Например, Барбара Брыльска работавшая с Игорем Борисовичем в антрепризе «Квартет», нервничала, когда он норовил ее губной помадой и красным карандашом подчеркнуть свои губы. А иногда Дмитриев, у которого от брака с бывшей одноклассницей и редактором «Ленфильма» был сын Алексей, отдыхал в доме актера с неким молодым человеком, которого представлял кузеном, хотя все знали, что никакая они не родня.
Проблемы возникали у артиста и из-за родного сына. Окончив филфак, где он выучил редкие языки, Алексей тайно эмигрировал в США. За что его знаменитого отца прессовал КГБ. А после того как рухнул железный занавес, в Штаты переехала и супруга Игоря Борисовича, где впоследствии умерла. Артист часто навещала семью за рубежом и тяжело переживал кончину Ларисы.
В 2006-м артист перенес первый инсульт, но огромным усилием воли смог восстановиться и вернуться в профессию. Повторный приступ в 2008-м он уже не пережил. Тогда на родину впервые после отъезда на три дня приехал его сын. Отдал все фраки и роскошные костюмы отца на «Ленфильм», раздал огромную библиотеку, продал антикварную мебель, а трехкомнатную квартиру сдал родственнице.