Raspagem de Dados no YT com Web Scraper

Raspagem e obtenção de dados
#1

Olá, amigos fórum. Tudo bem?

Após a aula do curso Dados 360, tentei fazer a raspagem de dados de um canal no Youtube utilizando o Web Scraper, pois gostaria de verificar quantidade e tipo de conteúdo postado.

Sei que deve ser muito melhor e mais fácil fazer em Python, mas ainda não sei como fazer.

Um dos problemas que encontrei é que a página do YT não possui paginação. Então, ele acabou puxando apenas os dados que estavam “visiíveis”. Há uma forma de puxar dados em páginas que não possuem paginação, como Youtube, com Web scraper?

Em tempo, acabei encontrando uma ferramenta paga, o octoparse, que faz isso, mas gostaria de verificar se há a possibilidade no webscraper.

Muito obrigado.
Um abraço,

1 Curtida
#2

Olá,

O youtube usa scroll infinito, podes tentar usar o seletor Element scroll down selector.

Qualquer coisa informa aqui a página inicial e o que exatamente precisas extrair.

Abraço!

2 Curtidas
#3

Tenta exportar este Sitemap no Web Scraper referente ao selector “Element Scroll Down” e verifica se ajuda:

{"_id":“escola_dado”,“startUrl”:[“https://www.youtube.com/channel/UCA-1zklV0Zm2c1C-448Z03g/videos"],“selectors”:[{“id”:“titulo”,“type”:“SelectorText”,“parentSelectors”:["_root",“scroll”],“selector”:“a.ytd-grid-video-renderer”,“multiple”:false,“regex”:"",“delay”:0},{“id”:“scroll”,“type”:“SelectorElementScroll”,“parentSelectors”:["_root"],“selector”:“div#meta.ytd-grid-video-renderer”,“multiple”:true,“delay”:0},{“id”:“visualizacao”,“type”:“SelectorText”,“parentSelectors”:["_root",“scroll”],“selector”:“span.ytd-grid-video-renderer:nth-of-type(1)”,“multiple”:false,“regex”:"",“delay”:0},{“id”:“periodo”,“type”:“SelectorText”,“parentSelectors”:["_root",“scroll”],“selector”:“span.ytd-grid-video-renderer:nth-of-type(2)”,“multiple”:false,“regex”:"","delay”:0}]}

#4

Oi, @jvfreitas e @vinicius_ferreira. Tudo bem?

Muito obrigado. Deu certo usando o “Element Scroll Down”.

Achei só um pouco chatinho para visualizar, mas consegui!

Um abraço slight_smile: