Skrypt web-scraping

Closed job
no avatar
Msynergy
Employer
22 deals
Job category:
Desktop/web applications
Expected budget:

Negotiable

Published:
Valid until:

Job description

Do wykonania jest skrypt, który będzie wchodził na podane domeny (np. w pliku txt) a następnie przechodząc po wszystkich podstronach danej domeny, które sam sobie znajdzie będzie zapisywał do pliku linki wychodzące z tych podstron. Podobną funkcjonalność ma Screaming Frog, jednak jest on jakieś 100x za wolny do tego. W tym skrypcie chodzi głównie o szybkość i wielowątkowość.

Required functions: