Веб-скрапинг нескольких похожих страниц

У вас было несколько неправильных вещей в вашем коде и одна вещь о веб-сайте, который вы очищаете.

• Первый доступ к такому URL-адресу https://www.winmar.ca/find-a-location/308 не изменит местоположение должным образом, он должен быть таким https://www.winmar.ca/find-a-location/#308 с хэш-бангом перед номером.

• На веб-сайте есть дублированный html с одними и теми же классами, это означает, что у вас почти все местоположения загружены все время, и они просто выбирают, что показывать из своего кода js - плохая практика, конечно, что заставляет ваш сопоставитель всегда получать одно и то же местоположение, что объясняет почему у вас всегда повторялось одно и то же место.

• Наконец, у вас было много ненужных циклов, вам нужно только перебрать массив чисел и все.

вот модифицированная версия вашего кода

import csv
import requests
from bs4 import BeautifulSoup

x = 0
numbers = ['305', '405', '306', '307', '308', '309', '4273']


names = []
locations = []
for x in range(0, 6):
    url = 'https://www.winmar.ca/find-a-location/#' + str(numbers[x])
    print(f"pinging url {url}")

    r = requests.get(url)
    soup = BeautifulSoup(r.content, "html.parser")
    scope = soup.find(attrs={"data-id": str(numbers[x])})

    location_name = scope.find("div", attrs={"class": "title_block"})
    location_name_items = location_name.find_all('h2')


    location_list = scope.find(class_='quick_info')
    location_list_items = location_list.find_all('p')

    name = location_name.find_all("h2")[0].text
    print(name)

    names.append(name)

    for location in location_list_items:
        loc = location.text.strip()
        if '24 Hour Emergency' in loc: 
            continue
        print(loc)
        locations.append(loc)

    x = x+1

Обратите внимание на обзор, который я сделал

    scope = soup.find(attrs={"data-id": str(numbers[x])})

это делает ваш код невосприимчивым к тому, сколько местоположений они загрузили в html, вы только ориентируетесь на область действия с нужным вам местоположением.

это приводит к:

pinging url https://www.winmar.ca/find-a-location/#305
Location | Annapolis
70 Donald E Hiltz Connector Road
Kentville, NS
B4N 3V7
pinging url https://www.winmar.ca/find-a-location/#405
Location | Bridgewater
15585 Highway # 3
Hebbville, NS
B4V 6X7
pinging url https://www.winmar.ca/find-a-location/#306
Location | Halifax
9 Isnor Dr
Dartmouth, NS
B3B 1M1
pinging url https://www.winmar.ca/find-a-location/#307
Location | New Glasgow
5074 Hwy. #4, RR #1
Westville, NS
B0K 2A0
pinging url https://www.winmar.ca/find-a-location/#308
Location | Port Hawkesbury
8 Industrial Park Rd
Lennox Passage, NS
B0E 1V0
pinging url https://www.winmar.ca/find-a-location/#309
Location | Sydney
358 Keltic Drive
Sydney River, NS
B1R 1V7

Хотя у вас есть квалифицированный ответ, я подумал придумать свой. Я постарался сделать сценарий лаконичным, избавившись от многословия. Убедитесь, что ваша версия bs4 4.7.0 или более поздняя, ​​чтобы она поддерживала псевдоселектор, который я определил в скрипте для поиска адреса.

import csv
import requests
from bs4 import BeautifulSoup

base = 'https://www.winmar.ca/find-a-location/#{}'

numbers = ['305', '405', '306', '307', '308', '309', '4273']

with open("Winmar_locations.csv","w",newline="") as f:
    writer = csv.writer(f)
    writer.writerow(['City','Address'])

    while numbers:
        num = numbers.pop(0)
        r = requests.get(base.format(num))
        soup = BeautifulSoup(r.content,"html.parser")

        location_name = soup.select_one(f"[data-id='{num}'] .title_block > h2.title").contents[-1]
        location_address = soup.select_one(f"[data-id='{num}'] .heading:contains('Address') + p").get_text(strip=True)
        writer.writerow([location_name,location_address])
        print(location_name,location_address)