Skip to content

RodrigoCarrico01/scraper_pagination

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

6 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

English

Web Scraper Racius with Pagination

This project is a Web Scraper built using Node.js to extract company information from the Racius website. It uses ScraperAPI to bypass blocks and automatically rotate IPs, ensuring efficient scraping even for large datasets.

Features

  • Scraping multiple pages automatically through pagination.
  • Extracts detailed company information, such as:
    • Address
    • Legal Form
    • Share Capital
    • Activity
    • About the Company
    • CAE (Economic Activity Code)
  • Utilizes ScraperAPI to avoid being blocked.

How to Use

1. Clone the project

git clone https://github.com/RodrigoCarrico01/scraper_pagination.git
cd scraper_pagination

2. Install dependencies

npm install

3. Set up the .env file

SCRAPER_API_KEY=YOUR_SCRAPERAPI_KEY

4. Run the project

node app.js

Visit your dashboard for more details:
https://dashboard.scraperapi.com

Português

Web Scraper Racius com Paginação

Este projeto é um Web Scraper desenvolvido em Node.js para extrair informações de empresas do site Racius. Utiliza a ScraperAPI para evitar bloqueios e fazer rotação automática de IPs, garantindo um scraping eficiente mesmo em grandes volumes de dados.

Funcionalidades

  • Scraping de várias páginas com paginação automática.
  • Extração de informações detalhadas das empresas, como:
    • Morada
    • Forma Jurídica
    • Capital Social
    • Atividade
    • Acerca da Empresa
    • CAE
  • Uso da ScraperAPI para evitar bloqueios.

Como usar

1. Clonar o projeto

git clone https://github.com/RodrigoCarrico01/scraper_pagination.git cd scraper_pagination

2. Instalar dependências

npm install

3. Configurar o ficheiro .env

SCRAPER_API_KEY=YOUR_SCRAPERAPI_KEY

.4 Executar o projeto

node app.js

https://dashboard.scraperapi.com

About

Trying to use scraping in multiple pages at the same time.

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published