Веб-скрейпинг Python: вывод в csv

Это то, что я сделал самостоятельно:

import requests
import pandas as pd
from bs4 import BeautifulSoup





url = 'https://fcf.cat/equip/1920/1i/sant-ildefons-ue-b'


soup = BeautifulSoup(requests.get(url).content, 'html.parser')

filename = url.rsplit('/', 1)[1] + '.csv'


tables = soup.select('.col-md-4 table')
rows = []

for tr in tables:
    t = tr.get_text(strip=True, separator='|').split('|')
    rows.append(t)
    df = pd.DataFrame(rows)
    print(df)
    df.to_csv(filename)

Спасибо,

Это может сработать:

import requests
import pandas as pd
from bs4 import BeautifulSoup

url = 'https://fcf.cat/equip/1920/1i/sant-ildefons-ue-b'
soup = BeautifulSoup(requests.get(url).content, 'html.parser')
tables = soup.select('.col-md-4 table')
rows = []

for table in tables:
    cleaned = list(table.stripped_strings)
    header, names = cleaned[0], cleaned[1:]
    data = [name.split(', ') + [header] for name in names]
    rows.extend(data)

result = pd.DataFrame.from_records(rows, columns=['surname', 'name', 'table'])

Вам нужно сначала выполнить итерацию по каждой таблице, которую вы хотите очистить, а затем для каждой таблицы получить ее заголовок и строки данных. Для каждой строки данных вы хотите проанализировать имя и фамилию (вместе с заголовком таблицы).

Вот подробный рабочий пример:

import requests
import pandas as pd
from bs4 import BeautifulSoup

url = 'https://fcf.cat/equip/1920/1i/sant-ildefons-ue-b'

soup = BeautifulSoup(requests.get(url).content, 'html.parser')

out = []

# Iterate through each of the three tables
for table in soup.select(".col-md-4 table"):

    # Grab the header and rows from the table
    header = table.select("thead th")[0].text.strip()
    rows = [s.text.strip() for s in table.select("tbody tr")]

    t = []  # This list will contain the rows of data for this table

    # Iterate through rows in this table
    for row in rows:

        # Split by comma (last_name, first_name)
        split = row.split(",")

        last_name = split[0].strip()
        first_name = split[1].strip()

        # Create the row of data
        t.append([first_name, last_name, header])

    # Convert list of rows to a DataFrame
    df = pd.DataFrame(t, columns=["first_name", "last_name", "table_name"])

    # Append to list of DataFrames
    out.append(df)

# Write to CSVs...
out[0].to_csv("first_table.csv", index=None)  # etc...

Всякий раз, когда вы парсите веб-страницы, я настоятельно рекомендую использовать strip() для всего текста, который вы анализируете, чтобы убедиться, что в ваших данных нет лишних пробелов.

Надеюсь, это поможет!