Здание было построено в 1904 году. История его возникновения окутана легендой.
В конце XIX столетия Сафоновка перешла к депутату Курского дворянского собрания Иосифу Тимофеевичу Викторову, племяннику князя Барятинского. Село было непримечательным и ничем не отличалось от соседних земель. Однажды Викторов встретил юную немку и влюбился. Ухаживания немолодого кавалера девушка не принимала, но как-то раз сказала ему: "Построй дворец в знак твоей любви". Вернувшись на родину Иосиф Тимофеевич приступил к возведению дворца. Он был непохож на местные строения, ведь его хозяйкой должна была стать прекрасна немка. Когда все работы были завершены, ухажер принялся ждать свою возлюбленную.
Все это время Иосиф Тимофеевич жил в деревянном доме, но часто поднимался в светлицу - посмотреть, не едет ли его возлюбленная. Но девушка так и не приехала. С приходом советской власти Иосиф Викторов бежал со своих земель, а его постройку стали называть "Дворец для возлюбленной".
Сегодня во "дворце" находится школа. В ней обучаются сельские дети. И хоть снаружи здание и выглядит как замок, внутри это обычное учебное заведение с доской и партами.