Job description
Szukam osoby która wykona, lub przerobi odpowiednio już przez siebie stworzonego Crawler'a, który będzie ściągał tekst i podstawowe dane z Quora (bez zdjęć) i zapisywał je w plikach csv. Chcemy móc później reużywać tej aplikacji i aktualizować dane w pliku o kolejne kategorie/nowe pytania w danej kategorii.
Aplikacja nie musi mieć interfejsu graficznego. Jest wymagana na nasze potrzeby wewnętrzne.
Proponowany opis działania w krokach:
1. Program wchodzi w kategorię X
2. Dla każdego z pytań historycznie:
2.1 Wchodzi w pytanie
2.2 Zbiera wszystkie odpowiedzi
2.3 Ekstraktuje linki i je dopisuje w pliku .csv
Zbiera:
- pytania
- odpowiedzi
- daty pytań/odpowiedzi?
- URL z całym wątkiem
- tagi h1, h2 itp. wycinamy wraz z tekstem i wklejamy w inne pole w csv (headery/pogrubienia wrzucamy do osobnej kolumny w pliku csv)
- bez żadnych zdjęć, autorów, ilości views, answers, upvotes, hiperlinków etc.
Chętnie odpowiem na wszystkie pytania dot. tego zlecenia
