Корректируйте значения параметров...
Blur > Smart Blur и используйте режим Edge Only (Только край). Затем выберите команду Image (Изображение) > Adjustment (Корректировка) > Invert (Инвертировать), чтобы инвертировать слой Outline, и продолжайте, перейдя к шагу 10.