Как и многие потомки дворян в советское время, Олег Иванович Янковский родился далеко от столицы, в казахском Джезказгане. Там в годы войны на строительстве работал его отец Иван Павлович, бывший штабс-капитан лейб-гвардии Семеновского полка, кавалер Георгиевского креста, к тому времени уже дважды побывавший в сталинских лагерях. В 1951 году семья переехала в Саратов. После смерти отца юного Олега отправили в Минск к старшему брату Ростиславу (ныне также известному актеру), работавшему в местном драмтеатре. Там Ростислав организовал брату сценический дебют, когда заболела травести, исполнявшая в одном из спектаклей эпизодическую роль мальчика. Впрочем, Олега тогда театр мало интересовал, и он даже однажды позволил себе проспать выход на сцену...

Вскоре он вернулся в Саратов, и там произошел судьбоносный эпизод. Олег покупал на рынке картошку и увидел на столбе поблекшее объявление о наборе в театральное училище. Он припомнил свои минские опыты и подумал, что, возможно, это могло бы быть ему интересно. Понимая, что объявление уже потеряло актуальность, он все же решил зайти в училище и узнать, как будет проходить прием в следующем году. Однако уже в самом начале беседы директор училища перебил его на полуслове, спросил фамилию и объявил ошарашенному парню, что тот принят и уже в ближайшем сентябре должен приходить учиться. Лишь через несколько месяцев выяснилось, что втайне от всех успешно сдал экзамены в училище средний брат Николай и именно за него принял Олега директор. Николай, понимая, что совмещать работу с учебой было бы крайне трудно, не стал лишать брата нечаянной радости, когда тот рассказывал о своем первом визите в училище, и промолчал. Между тем директор и педагоги еще долго были уверены, что с именем поступившего Янковского просто напутали в документах.

Во время учебы он выделялся разве что внешними данными. Никто не удивился, когда у него начался роман с самой яркой студенткой училища, Людмилой Зориной, учившейся на курс старше. Но та блистала и в профессиональном плане. Они поженились. По окончании обучения ее с распростертыми объятьями приняли в труппу Саратовского драматического театра, а Янковского — только после ее настойчивых уговоров. Зорина в театре быстро стала звездой, на нее ходил смотреть весь город. Тем временем ее муж играл «кушать подано».

В 1966 году знаменитый режиссер и актер Владимир Басов готовился к съемкам четырехсерийного фильма «Щит и меч»: «Во Львове, в гостиничном кафе, я обратил внимание на юношу, он сидел за столиком. Сказал ассистенту: вот этот бы отлично подошел на Генриха. Так ведь, наверное, не актер...» Басов был уверен, что у актеров таких лиц не бывает, что перед ними какой-нибудь физик или филолог. Между тем несколько раньше его ассистентка побывала в Саратове, где встречалась с некоторыми артистами, в том числе и с Янковским, и увезла фото последнего в Москву. Пришло время, и ассистентка стала приглашать артистов на пробы. Когда приехавший Янковский открыл дверь кабинета Басова, тот узнал его и расхохотался от радости: «Генрих у нас есть!»

В том же году Янковский снялся в еще одной картине — «Служили два товарища» режиссера Евгения Карелова. После выхода этих двух фильмов он стал знаменит. Зрителей и коллег особо впечатлял его взгляд, умение долго молчать в кадре. Карелов как-то высказал недоумение по поводу того, почему в его фильме у Янковского столь немногословная роль. Один из авторов сценария, Валерий Фрид, ответил: «Пусть молчит, пусть Быков разговаривает, а у Янковского и так все ясно, без текста, и молчит он так выразительно, так много говорит его молчание». Съемки в кино стали регулярными, а со временем и столичные театры начали звать к себе наперебой. Янковский выбрал московский «Ленком», с которым связал всю свою дальнейшую театральную карьеру.

Янковский дважды снимался у Тарковского. Первый раз — в «Зеркале», которое считается автобиографией режиссера. «Лариса Тарковская, тогда его ассистентка, а потом жена, увидела меня случайно в коридоре „Мосфильма“, — рассказывал Янковский. — „Можно вас?“ Фамилию даже толком не помнила. Завела меня к Андрею. Тот посмотрел и говорит — конечно, это он (в смысле, отец)». В середине 70-х Тарковский собрался поставить «Гамлета» на театральной сцене и предложил главную роль Янковскому. Тот взялся за переговоры с руководителем «Ленкома» Марком Захаровым, разрешение на постановку было получено, начала репетиций пришлось ждать два года, но за несколько дней Тарковский вдруг объявил актеру, что Гамлета будет играть Анатолий Солоницын, а его роль — Лаэрт. Янковский был крайне огорчен и возмущен и отказался от участия в спектакле вообще. Спустя годы обиды забылись, и в картине Тарковского «Ностальгия» Янковский исполнил, возможно, свою лучшую роль в жизни. После чего Тарковский вновь звал его играть Гамлета, на сей раз в кино. Однако жить великому режиссеру уже оставалось недолго...

Важное место в фильмографии Янковского занимают четыре его совместные работы с Марком Захаровым, из которых обычно выделяют главную роль в фильме «Тот самый Мюнхгаузен». Автор сценария Григорий Горин поначалу весьма скептически относился к кандидатуре Янковского: «Он до этого играл прямых, жестких, волевых людей — волжские характеры, выдающие его происхождение. Я не верил в его барона». Однако со временем Янковский очень четко уловил характер своего героя, заставив Горина признать ошибку. Для многих именно эта его работа стала откровением, показав огромный спектр его профессиональных возможностей.

Больше всего из своих работ в кино Янковский любил, наверное, «Полеты во сне и наяву» режиссера Романа Балаяна. В начале 80-х, услышав, что его зовет в свой фильм какой-то неизвестный режиссер, Янковский поспешил отказаться от съемок. Однако узнав некоторые детали сюжета от Никиты Михалкова, для которого изначально писалась главная роль, изменил решение.

По словам Балаяна, «герой в сюжете и такой, и сякой. Вот он тебе не нравится, вот он хороший, вот он почти негодяй, вот он опять замечательный, вот он комикует, вот он плачет. В одном фильме артисту было предоставлено сыграть все». Судя по высказыванию режиссера о Янковском, он как никто другой подходил на эту роль: «По его лицу не видно, какой он человек. Никто заранее не знает, не в состоянии определить, плохой он или хороший. Его взгляд способен выразить немыслимую амплитуду: от мерзавца до святого».

Янковский вспоминал: «Как обычно профессионал смотрит на свою работу? Здесь можно было сыграть лучше, здесь я недотянул, здесь, наоборот, пережал и так далее. С „Полетами...“ было совсем иначе: впервые увидев картину целиком, я вдруг начисто забыл, что это я, что это моя работа. Я видел совершенно нового человека, которому на протяжении всей картины глубоко сострадал, а в финале просто комок подкатил к горлу».

После распада СССР Янковский, как и многие хорошие актеры, стал сниматься значительно меньше. В 1993 году он возглавил кинофестиваль «Кинотавр», что в течение нескольких лет отнимало у него массу времени и энергии. Ездил сниматься за рубеж — в Великобританию, Францию, Грецию.

В 2006 году вышел телесериал «Доктор Живаго» режиссера Александра Прошкина, в котором Янковский исполнил одну из главных ролей. Последней его работой в кино стала роль в фильме Павла Лунгина «Царь».

В конце 2008 года у Янковского было выявлено онкологическое заболевание на поздней стадии. Пока мог, он продолжал играть в театре. Последний раз он вышел на сцену в апреле 2009 года, а через месяц его не стало.

Его сын Филипп — известный актер и кинорежиссер, создатель фильмов «В движении», «Меченосец», экранизации романа Бориса Акунина «Статский советник». Олег Иванович мечтал, что когда-нибудь снимется в фильме своего сына, даже предполагал, что это будет экранизация еще одного романа Акунина, где он мог бы сыграть уже немолодого Фандорина.

Павел Лунгин рассказал: «Когда я начал снимать „Царя“, Олег был еще здоров. И роль митрополита Филиппа очень была для него важна. И не знаю сейчас, кто смог бы ее сыграть. Я видел в Каннах, как плакали не только русские, но и французы, и американцы, посмотрев картину. И я позвонил Олегу Ивановичу, поздравлял его с успехом. За три дня до его кончины. Он ведь никогда не говорил о болезни, мужественно молчал...»