При использовании ответа Scrapy элемент XPath не существует, хотя элемент проверки Google Chrome показывает, что он существует

Я столкнулся с проблемой, когда элементы, которые я пытаюсь выбрать с помощью их XPath, не существуют в соответствии с ответом Scrapy. Однако, когда я просматриваю ту же страницу в Google Chrome, элемент ДЕЙСТВИТЕЛЬНО существует.

Эта проблема возникает в парсинге LinkedIn после использования расширенного поиска LinkedIn и перехода на страницу результатов. Я хочу очистить ссылки в контейнере результатов.

Например: на странице результатов поиска по «Джону» должен быть элемент div с id = «results-container» в соответствии с элементом проверки в Google Chrome. Когда я использую Scrapy response.xpath ('// div [@ id = "results-container]'), селекторы не возвращаются.

URL страницы результатов: https://www.linkedin.com/vsearch/p?firstName=John&openAdvancedForm=true&locationType=Y&rsid=4319659841436374935558&orig=ADVS

08.07.2015

Вам следует подумать об использовании LinkedIn API. 08.07.2015

Ответы:

Вы пытались найти URL-адрес, который вы указали, в окне приватного сеанса браузера (иногда это называется режимом инкогнито)?

Если вы это сделаете, вы увидите, что получаете регистрационную форму для LinkedIn.

Как предлагает alecxe в своем комментарии, попробуйте использовать LinkedIn API (это REST), и вы можете получить ответы XML, которые вы можете проанализировать, чтобы собрать необходимую информацию.

В качестве альтернативы вы можете попытаться войти в систему с помощью Scrapy и сохранить учетные данные для аутентификации и повторить свой запрос (но я бы все равно использовал API).

09.07.2015

Спасибо за ваш ответ! Выяснилось, что я не вижу контент, потому что это контент, созданный с помощью Javascript. 20.07.2015

Новые материалы

Как проанализировать работу вашего классификатора?

Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..

Работа с цепями Маркова, часть 4 (Машинное обучение)

Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..

Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]

Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..

Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter

Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..

Учебные заметки: создание моего первого пакета Node.js

Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..

Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!

Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..

ИИ в аэрокосмической отрасли

Каждый полет – это шаг вперед к великой мечте. Чтобы это происходило в их собственном темпе, необходима команда астронавтов для погони за космосом и команда технического обслуживания..

Метки

Machine Learning JavaScript Data Science Artificial Intelligence Software Development Python Web Development Coding Deep Learning AI React Software Engineering Nodejs Java Front End Development Typescript Computer Science Data Algorithms Development NLP Tech Programming Languages CSS ChatGPT HTML Python Programming Javascript Tips Angular Computer Vision Data Visualization Neural Networks Startup Tutorial Statistics Productivity Reactjs Learning