Фильм разделен на восемь эпизодов, некоторые из которых слабо связаны с основным сюжетом. В центре картины находится история жизни великого монаха-иконописца XV века Андрея Рублева на фоне неспокойного периода, который переживала Россия из-за борьбы между соперничающими князьями и татарскими нашествиями.

Сюжет начинается с того, как Рублев, Даниил Черный и Кирилл покидают Троице-Сергиеву лавру, окончив ее роспись (предположительно, именно в это время Рублев создал знаменитую икону Троицы). Остановившись под крышей сарая во время дождя, они застают выступление бродячего скомороха, который в своих частушках оскорбляет местную власть. Вскоре его избивают и забирают стражники.

После Андрей попадает в языческую деревню в ночь Ивана Купалы. Вид обнаженной соблазнительницы смущает монаха, а на утро девушка тоже становится жертвой княжеской дружины. Другое зверское деяние власть несущих – ослепление мастеров-резчиков, чтобы другие князья не могли воспользоваться их талантом.

Бессмысленная жестокость окружающего мира постепенно вселяет сомнение в трепетно верующее сердце иконописца. Вынужденно совершив убийство, Рублев отказывается от своего искусства, от людского общества и даже от собственного голоса. Теперь только истинное чудо может вернуть ему веру в Бога, человека и собственные силы.

В апреле 1964 года сценарий фильма, написанный режиссером Андреем Тарковским в соавторстве с Андреем Кончаловским, был одобрен «Мосфильмом», и Тарковский приступил к работе над фильмом. В то же время сценарий был опубликован во влиятельном киножурнале «Искусство кино» и широко обсуждался историками, кинокритиками и рядовыми читателями-кинолюбителями. Тарковский и Кончаловский работали над сценарием более двух лет, изучая древнерусские летописи, а также книги по средневековой истории и искусству.

Первоначальный бюджет составлял 1,6 миллиона рублей, но его несколько раз сокращали и в итоге урезали до миллиона рублей (для сравнения, у фильма Сергея Бондарчука «Война и мир» бюджет составлял восемь с половиной миллионов рублей). Из-за бюджетных ограничений было вырезано несколько сцен, первоначально присутствовавших в сценарии, в том числе начальная сцена Куликовской битвы.

Для съемки нашумевшей сцены (впрочем, она даже не вошла в финальную версию фильма) с горящей коровой, она была покрыта плотным асбестовым слоем, который защищал ее от ожогов. А вот в сцене, где лошадь падает с лестницы, животное действительно было убито выстрелом в шею. Съемочная группа приобрела лошадь на бойне, где на следующий день ее собирались застрелить.

Роль Андрея Рублева стала первой главной ролью великого советского актера Анатолия Солоницына. По сюжету его герой дает обет молчания, который нарушает только через несколько лет. Перед съемками этой сцены Солоницын не разговаривал четыре месяца, чтобы звучать осипшим.

Несмотря на трудности, с которыми столкнулся Тарковский при демонстрации этого фильма за границей и даже в Советском Союзе, эта работа в настоящее время очень высоко ценится в мире кино. В последнем опросе критиков и режиссеров BFI Sight & Sound о лучших фильмах всех времен, выпущенном в 2012 году, фильм занял 27-е место в опросе критиков. Более поздний собственный фильм Тарковского «Зеркало» обогнал его, заняв 19-е место в том же опросе.

Первая монтажная версия фильма называлась «Страсти по Андрею», хотя в итоговой версии это название не использовалось. Эта версия длился более 3 часов 15 минут, и была завершена в июле 1966 года. Руководство Госкино потребовало сократить фильм, сославшись на его длину, мрачность, сцены насилия и обнаженной натуры. Требование министерства о сокращениях сначала привело к выпуску 190-минутной версии. Несмотря на возражения режиссера, высказанные в письме Алексею Романову, председателю «Госкино», министерство потребовало дальнейших сокращений, и Тарковский сократил его продолжительность до 186 минут. В конечном итоге монтаж занял более пяти лет, и в 1971 году картина наконец вышла в ограниченный показ.