Я хочу сканировать продукты из категории, но я не хочу, чтобы паук переходил по ссылкам, найденным на самой странице продукта (сопутствующие товары относятся к одному и тому же бренду, но разного типа - например, продукт, который я хочу, это духи, и это имеет в качестве связанного продукта губную помаду).
URL-адрес категории — site.com/category_name/, а URL-адрес продукта — site.com/brand_name/product-name-here/. Как определить правила сканирования?
