Ущелье Касаг образовалось вокруг реки Касаг, которая берёт начало на склонах горы Арагац и течёт на юг через Арагацотнскую область, проходя вблизи Апарана, Аштарака и Ошакана, пока не впадает в реку Раздан. В верхней части ущелья глубина достигает около 100 метров.
В одной из скальных ниш, образовавшихся в стенах ущелья, на высоте 1 738 метров над уровнем моря и примерно в 70 метрах над рекой Касаг, находится скальное укрытие, известное как Гегамаван-1, с древними наскальными рисунками.
В другом участке ущелья, примерно в 2 км к северу от Оханавана, на левом берегу ущелья реки Касаг, в туфовом утесе, расположена высеченная в скале церковь Святой Аствацацин, известная местным жителям как «Красные монастыри» («Кармир Ванк»). На стенах вышеупомянутой церкви Святой Аствацацин сохранились геометрические орнаменты красного цвета и кресты, высеченные в XIII веке, что и послужило источником народного названия комплекса.