特急列車専用の線路ってなぜ作らないの？

鈍行列車と完全に別の線路にして、線路のカーブと勾配を減らして、ホームも特急停車駅のみに設置して特急専用にすれば、速く走ることが可能だと思う。
そしたら鈍行も無駄な追い越し待ちがないから快適になる気もする。
なぜ鈍行列車と特急列車で線路を完全に別にしないの？？