Главная » 2003 » Январь » 27 » Сохраняем данные с сайтов
17:27
Сохраняем данные с сайтов

материал переехал - сюда

Категория: Автоматизация | Просмотров: 3693 | Добавил: Semmy | Теги: imacros, Bash Linux, autoit | Рейтинг: 0.0/0
Всего комментариев: 2
avatar
0
1 kulaef • 18:41, 17.05.2016
Приветствую! Не мог бы ты ответить на такой вопрос:
Нужно спарсить фоловеров твитер-акка (любого)
Делаю так :
SET !ERRORIGNORE YES
‘URL GOTO=https://mobile.twitter.com/OllyMolander/followers
TAG POS={{!LOOP}} TYPE=SPAN ATTR=CLASS:username EXTRACT=TXT
‘PROMPT {{!EXTRACT}}
SAVEAS TYPE=EXTRACT FOLDER=* FILE=usertwit.txt
Но натыкаюсь на проблему в том что выдается только 20-ть результатов на страницу ( нужно работать только с мобильным юзер агентом ,допустим Android , для того что бы была кнопка «Показать больше» )
Так нажимаю на кнопку:
EVENT TYPE=CLICK SELECTOR=»#main_content>DIV>DIV:nth-of-type(2)>DIV>A» BUTTON=0

Как же так сделать что бы собрать 20-ть фоловеров и потом нажать на кнопку , и так по кругу ?
Заранее благодарен за ответ !
avatar
0
2 Semmy • 18:44, 17.05.2016
Задать нужный юзер агент в браузере можно поставив плагин RDS Bar. Для парсинга фолловеров я бы использовал более подходящий инструмент — программу Twidium. Она хоть и условно — бесплатная, но может полноценно работать в течении недели. Есть еще виртуальные машины, где можно ее поставить и использовать без вреда для реестра.
Imacros с Twitter всегда работал достаточно коряво, так как эта социальная сеть кишит ботами, и там всячески с ними борются. Чтобы повторить какие-то действия в скрипте, впишите эти строки туда столько раз, сколько нужно. Если код для повтора слишком большой, оформите эти строки в отдельный скрипт и вызывайте его из текущего сколько нужно раз.