В 1887 году, по дороге в Крым, из окна вагона Поленов увидел Оку, и раз и навсегда попал под обаяние этой дивной реки. «Красивые места на Оке под Серпуховом и дальше, – писал художник жене. – Вот где бы нам поселиться». И, несколько дней спустя, возвращается к этой теме: «Мечтал я о домике на берегу Оки, о том, как мы его устроим, как мы там заживем, сделаем большую комнату, где будет музей, галерея и библиотека. Рядом будет столярная мастерская, адмиралтейство, рыболовство и терраса, а над этим будет моя живописная мастерская и твой маленький кабинет… Чудесные мечты, может быть, и сбудутся…».
Мысль о постройке дома именно в этих, поразивших красотой местах, не покидала художника. Вернувшись в Москву, В. Д. Поленов, несмотря на глухое осеннее время, поехал на Оку, которая так понравилась ему во время летнего путешествия. В «Хронике Бёхова и Борка», написанной его рукой, 12 октября 1887 года отмечено: «Я ехал на пароходе по Оке от имения Рошфора под Алексиным и увидел места около Тарусы и Бехова».
Поездки на Оку возобновлялись. Вместе со своим учеником Константином Коровиным в мае 1889 года Поленов вновь приехал в Бёхово: в это время там продавала маленькое запущенное имение обедневшая помещица.
Расположение усадьбы обоим художникам не понравилось, да и жизнь в купленном, но все же чужом доме, навязывала свои нормы жизни, свои правила, и мечтам не отвечала. А вот «Борóк» – высокий холм над Окой, привлек их внимание чудесным видом, который открывался на Оку и противоположный берег. («Борóк» – потому, что у подножия холма поднималась редкий молодой лесок). «Это последнее время, я только и мечтаю о Бехове», «Всё мне представляется, как мы в Бехове заживём, если это только сбудется…», – повторял в письмах Василий Дмитриевич. И Наталья Васильевна строила планы: «Мое единственное желание – Бёхово, на него вся надежда, да от времени до времени за границу, в Москве уж как можно меньше времени».
Почти три года шли переговоры о покупке, и весной 1890 года Поленовы стали обладателями усадьбы и 80 десятин земли, переехали во временно поставленный одноэтажный бревенчатый, с мансардой флигель, и это было началом жизни на берегах Оки. Сразу же начались хлопоты об обмене бёховской земли на песчаный холм. Хотя это был пустырь, но земли принадлежали крестьянской общине села Бёхова. Продавать землю община права не имела, и Поленов договорился с крестьянами об обмене: за одну десятину столь приглянувшегося ему холма он отдавал двойное количество пахотной земли. Теперь оставалось приняться за устройство того «поместьица», о котором Поленов так долго мечтал. Все эти пять лет, наполненные хлопотами о приобретении Старого Бёхова и обмене земель, мысли Поленова были поглощены будущей усадьбой, ее строительством. Он уже точно знал, каким будет его дом, в котором все будет устроено согласно привычной жизни, наполненной трудом; дом, который будет очагом искусства и пристанищем для многочисленных друзей и учеников: «Я уверен, что деревенская жизнь, как мы с тобой её понимаем, принесла бы нам, ребятам и многим другим – пользу. Мне кажется, что мы теперь друг друга лучше понимаем, чем прежде, и бытьё в деревне могли бы устроить близко к нашему пониманию. Ты ведь знаешь, что я тебя люблю больше всего на свете, а я знаю, что ты меня также любишь, поэтому, если нам улыбнется судьба, мы с тобой счастливо поживём», – так написал Василий Дмитриевич жене Наталье Васильевне.
За осуществление задуманного Поленов взялся сам: архитектура была давнишней страстью художника. Незаурядные способности Поленова – архитектора отметил И. Е. Репин в своих воспоминаниях: «Ведь он архитектор, да еще какой! Еще будучи учеником Академии художеств, он некоторым архитекторам <…> сочинял и обрабатывал архитектурные программы на заданную тему, и те получали медали и звания…». Изучение архитектуры и впечатления от путешествий по странам Западной Европы придали творчеству Поленова – архитектора широту и индивидуальность. Все постройки Поленов проектировал сам. Ему очень хотелось, чтобы в его усадьбе нашли отражение черты столь полюбившейся ему западноевропейской средневековой архитектуры. Эти работы Поленова поразительно контрастируют с тем, что в это время являлось общепринятым в архитектурной усадебной практике, и предвосхищают, задолго до того, как это станет привычным, поэтику стиля модерн в архитектуре. Стиль архитектурного творчества Поленова правильнее было бы назвать «стилем различных эпох», а ещё точнее – «поленовским стилем».
16 августа 1891 года был заложен дом, а 30 сентября начали возводить стены. И уже 2 октября 1892 года семья переселилась в новый, еще не оштукатуренный, пахнущий смолой большой дом в Борке. Именно эту дату и принято считать днём создания музея. Этот дом так и стали называть – Большим, в противовес временному дому из Старого Бёхова. Ещё далеко не всё внутри дома было обустроено для жизни большой семьи, а в ноябре 1892 года Поленов написал: «Мы до сих пор живём в деревне, перебрались в новый дом и всё устраивались, теперь развешиваем картины, распределяем мебель, словом, заняты уже устройством художественной части нашего жилья». В 1897 году бревенчатое здание Большого дома было оштукатурено. Временный флигель был перенесен из Бёхова и поставлен около Большого дома. В нем расположились служебные помещения и кухня, соединенные с домом крытым коридором. Строительные работы в усадьбе начались в 1891 году, а завершились в 1904. Усадьба была окружена оградой из местного тарусского камня. За эти тринадцать лет кроме главного здания – Большого дома, – появились хозяйственные постройки: деревянная четырехскатная Погребица, Коровник, Курятник, Каретный сарай, Сенной сарай и Конюшня, деревянный одноэтажный дом для рабочих, получивший название «Дом управляющего». Недалеко от огорода, напротив Большого дома был поставлен Фахверковый сарай – кладовая и столярная мастерская, где талантливый плотник-столяр И. М. Никишин делал лодки для поленовской флотилии. В конце аллеи, ведущей к реке, по левую сторону стоял небольшой белый лодочный сарай – Адмиралтейство, куда на зимнее время убирались лодки домашней флотилии, а летом был склад вёсел, парусов, рыболовных принадлежностей. На самом краю усадьбы, ближе к реке, стояла бревенчатая баня для строителей, которая в конце 1930‑х годов получила название «Дом Прокофьева»: именно там, во время летнего отдыха, С. С. Прокофьев работал над музыкой к «Ромео и Джульетте». Белое кирпичное здание с красной крышей, прозванное за архитектуру «Аббатством», – мастерская Поленова, напротив – маленькая Избушка для детей. Хозяйственные постройки и стена вокруг усадьбы полностью сложены из местного известняка, который художник ценил, называя «тарусский мрамор». Неузнаваемо изменился и сам некогда пустынный холм: вокруг усадьбы поднялся молодой лесок, в котором стараниями художника, наряду с местной флорой – сосна, осина, береза, дуб, клен, – появились туя, американский клен, кедр, пихта. Пришло время – и прорубили просеки, проложили дорожки. Сейчас также в территорию музея входит церковь св. Троицы, построенная по проекту В. Д. Поленова в 1906 г., кладбище в Бехово, где похоронен художник и его семья, а также «Город-мастеров», Туристический центр и школа В. Д. Поленова в Страхове.