Rumeli Hisarı'nın inşa planının bizzat Fatih Sultan Mehmed tarafından çizildiği rivayeti kuvvetlidir. Hisarın kerestesi İzmit'ten, kireci Şile bölgesinden getirilmiş, 1000 taşçı ustası, 5 bin işçi, 10 bin civarında yamak çalıştırılmıştır. Vezirlerin, sırtında taş taşıyarak yapılmasına emekleri geçmiş; ayrıca bazı burçların yapım masrafını işçi ücretleri dahil vezirler üzerine almışlardır.

Rumeli Hisarı'nın inşası esnasında Bizans İmparatoru elçi göndererek "Kendi toprakları üzerine kale yapılmasının dostluğa ve ahde vefa'ya uymadığını" bildirir. Bunun üzerine Fatih Sultan Mehmed elçiye; "Var git kralına söyle! O, rahmetli babam zamanında ahdi çok defa bozmuştu. Arada ahid mi kaldı ki vefa'dan bahseder. Biz bu topraklara hisar yaparız, toprak elçi göndermekle kurtarılmaz. Eğer bu topraklar onunsa gelip kurtarsın" diyerek niyetini az çok bildirmiştir.