У людей всегда была тяга к всякому рода сказаниям, небылицам, легендам. Наверное каждый памятник старины седой обладает своей легендой. Не исключение и имение графа Завадовского. Архитектурное чудо в этой глуши, отдаленной от тогдашней столицы России на тысячу с лишним верст само по себе уже чудо, даже в руинном состоянии. Попадая на место, где ранее стоял роскошный дворец, проходили балы и приемы, поневоле поддаешься ошущению присутсвия чего-то или кого-то. А остатки огромных подвалов по сей день заствляют вздрагивать от холода идущего откуда-то из глубины мрака. Ощущение ни с чем не сравнимое. Где тут не поддаться уснувшему разуму, не поверить во все эти сказания?

Самая известная легенда о ляличском дворце гласит, что гдето в доме, возможно между спальней и уборной была маленькая комната, в стене которой была потайная дверь, ведущая в подземный ход, по которому никто не решался или не интересовался спуститься. Говорили, что он идет до самого озера и в какой-то склеп. Потайной ход до сей поры найден не был, а легенда обростает все новыми подробностями. Одни рассказывают, что подземный ход действительно был, но начинался не у дворца, а у церкви Святой Екатерины и тянулся на многие километры до самого Суража, а именно до часовни-усыпальницы в центре города. Можно, конечно допустить существование такого фантастического подземного хода, но "рассказчики" наверное не учли, что мало того Сураж находится в 8 км от Лялич, да еще и на противоположном берегу реки! О технологиях строительства под водоемами в 1790-х гг вряд-ли догадывались. Другие расказывают, что подземный ход начилался под дворцом и, протянувшись по 3-мя озерами, терялся где-то в дебрях парка, преходящего в лес. Третьи утверждают, что туннель соединял дом-дворец и церковь. Четвертые - дворец и таинственный колодец в Овчинце (село на противоположном берегу). Во истину фантазия людей не имеет границ!

В книге Листовского приведен характерный рассказ старожилов - легенда, передающаяся из уст в уста по сей день: "Павлу доложили, что Завадовский живет выше его, т. е. что дом в Ляличах выше Михайловского замка. Завадовский был вовремя предупрежден и успел насыпать перед домом террасу, закрыть ею нижний, подвальный этаж; дом при измерении выходил ниже, насыпь осталась и ныне". Однако упоминаемая здесь терраса находится сзади дома и явно естественного происхождения с искусственной лишь отделкой, присыпкой, образами и проч. С лицевой стороны дворца никаких возвышений нет — вся площадь совершенно ровна.

Следующая легенда самая правдоподобная на сегодняшний день и скорее всего является историческим фактом. При постройке кирпичной стены, разделявшей землю графа и участок соседа-казака, случилась очень характерная для той эпохи история. Завадовский, осматривая постройку, заметил недалеко от возводимой стены, на земле соседа, в полуметре от межи старый и красивый дуб. Дуб имел ствол два метр от земли, а дальше расходился на три могучих сука, росших вверх. Завадовскому очень понравилось дерево, которое он назвал "Троян-дуб". Ему захотелось присоединить этот дуб к своему парку, и он сейчас же послал за казаком и, когда тот явился, предложил ему продать этот участок земли с растущим на нем дубом за очень большую сумму. Казак был упрям и ни за что не желал продать этот дуб. Тогда Завадовский, истощив все способы уговоров, пригласил его на ужин, во время которого возобновил свою просьбу, но, получив решительный отказ, напоил его допьяна, велел уложить его в бричку и насыпать в нее серебра, сколько поместится...Когда казак на следующее утро проснулся, то с изумлением заметил, что спорный дуб уже отделен от его владения высокой каменной стеной, выросшей как бы из-под земли в одну ночь. Вздумал было ехать жаловаться на Завадовского высшему начальству, велел запрягать свою бричку, но когда из нее выгрузили серебро и сосчитали его, то упрямый казак никуда не поехал. Сумма денег была не маленькая, на эти деньги можно было купить целое имение. Граф сказал рабочим сделать угол стены и таким образом выгородить дуб. И сейчас еще сохранился след стены, образовавшей угол, а огромный "Троян-дуб" еще рос до 1932 года.

Рассказывают, что во времена, когда имение уже принадлежало конезаводчику Атрыганьеву к его жене (Екатерине Илларионовне) пришел очень старый и дряхлый дворовый человек и сообщил ей под секретом, что в одном из подвалов дворца замурован громадный клад, что он сам был каменщиком и закладывал эту стену в том месте, где был спрятан этот клад. Он никому не говорил об этом и, наконец, чувствуя приближение смерти, решился показать это место Екатерине Илларионовне, так как очень любит и уважает свою новую госпожу. Он предложил сводить ее в подвалы и показать это место, но только с условием, чтобы никто другой не знал об этом. Екатерина Иларионовна не решилась идти с ним в подвалы, потому что он был очень дряхл и она боялась, что он умрет в подвале. Нужно сказать, что там были тяжелые двери из кованого железа, и Екатерина Илларионовна думала, что какая-нибудь из этих подземных дверей может захлопнуться и она не выйдет из этих таинственных подвалов. Спуск в подвалы был отложен до приезда Николая Алексеевича, а затем про это совершенно забыли. Тем временем старик умер, а с ним умерла и тайна возможного клада. При Энгельгардте, который владел Ляличами до Атрыганьева, якобы был случайно найден массивный серебряный сервиз, замурованный в стене дворца. Вбивали гвоздь, чтобы повесить картину, выскочил целый кирпич и, падая внутрь стены, ударился о что-то металлическое: тогда разломали часть стены и открыли нишу, в которой был скрыт этот клад.Кто ни посещал дворец, всегда интересовался тем, что здесь где-то замурованы ценные клады. Об этом нигде никогда не писали. Но вот в 1934 году, в конце мая приехала рота солдат во главе с капитаном Дубровицким (так он назвал свою фамилию), окружив дворец, произвели несколько взрывов и, развернув какие-то бумаги, делали раскопки. Неизвестно, нашли они что-либо, или нет.