Klausimai pažymėti „žiniatinklio tikrinimo programa“

Žiniatinklio ieškiklis (taip pat žinomas kaip žiniatinklio voras) yra kompiuterinė programa, kuri nuskaito pasaulinį žiniatinklį metodiniu, automatiniu ar tvarkingu būdu. Kitos žiniatinklio skaitytuvų sąlygos yra skruzdėlės, automatiniai indeksai, robotai, žiniatinklio vorai, žiniatinklio robotai arba, ypač FOAF bendruomenėje, žiniatinklio judėjimas.
4
atsakymai

išsaugokite rsync, kad ištrintumėte neišsamius šaltinio failus

Turiu du automobilius, greitį ir svorį. greitis turi greitą interneto ryšį ir valdo skaitytuvą, kuris į diską įkelia daug failų. masė turi daug vietos diske. Aš noriu perkelti failus greičiu iki masės po ...
nustatyti 07 rugsėjis '08, 5:56 val
2
atsakymai

„Naudotojo agento“ siuntimas naudojant „Python Query Library“

Noriu nusiųsti vertę „Naudotojo agentui“, kai prašoma tinklalapio naudojant „Python“ užklausas. Nesu tikras, ar tai yra normalu, siųsti jį kaip antraštės dalį, kaip nurodyta toliau pateiktame kode: debug = {'verbose': sys.stderr} user_agent = ...
gegužės 15 d., 12 val
5
atsakymai

Kaip aš galiu paprašyti „Google“ iš naujo perskaityti svetainę?

Ar kas nors žino, kaip paprašyti „Google“ iš naujo nuskaityti svetainę? Jei įmanoma, tai neturėtų trukti kelis mėnesius. Mano svetainėje „Google“ paieškos rezultatuose rodomas senas vardas. Kaip galiu parodyti jį teisingu pavadinimu ...
nustatytas vasario 27 d '12 at 5:09 val
6
atsakymai

Skirtumas tarp BeautifulSoup ir Scrapy?

Noriu sukurti svetainę, kurioje būtų rodomi „Amazon“ ir „e-bay“ kainų palyginimai. Kokie veiks geriau ir kodėl? Aš esu šiek tiek susipažinęs su „BeautifulSoup“, bet nesinaudoju „Scraw“ žymekliu.
nustatyti 30 okt. '13, 18:43
9
atsakymai

Paslėptas žiniatinklio skaitytuvo aptikimas

Kokios yra galimybės aptikti interneto skaitytuvus, kurie nenori būti aptikti? (Žinau, kad sąrašo aptikimo metodai leis sumaniam slaptuoju programuotoju padaryti geresnį vorą, bet nemanau, kad mes kada nors bus blokuojami ...
nustatyti 24 okt. '08 14:46 val
10
atsakymai

kaip nustatyti paieškos robotus su php?

Kaip galiu rasti paieškos variklius naudojant PHP?
Nustatykite kovo 24 d., 09:34
4
atsakymai

Kaip perduoti įprastus argumentus skaniniam vorui

Bandau perduoti vartotojui nustatytą argumentą skrepiamam vorui. Ar kas nors gali pasiūlyti, kaip tai padaryti? Aš kažką perskaičiau apie variantą -a, bet aš nesuprantu, kaip jį naudoti.
Nustatykite kovo 25 d. 13 val
8
atsakymai

Ar kas nors žino gerą „Python“ žiniatinklio ieškiklį, kurį galėčiau naudoti?

Aš suprantu rašyti savo, bet iš tikrųjų neturiu pakankamai laiko. Mačiau atvirojo kodo Wikipedia skaitytuvų sąrašą, bet norėčiau, kad būtų parašyta Python. Suprantu, kad galbūt tik naudoju ...
nustatytas sausio 7 d '09, 7:53
5
atsakymai

Kaip rasti visas svetainės nuorodas / puslapius

Ar galite rasti visus puslapius ir nuorodas į bet kurią šią svetainę? Norėčiau įvesti URL ir sukurti visų šios svetainės nuorodų katalogų medį? Pažvelgiau į „HTTrack“, bet ji įkelia visą svetainę, ir man reikia tik katalogo medžio.
nustatytas 17 sep. '09 5:43 val
6
atsakymai

Kuo skiriasi žiniatinklio nuskaitymas ir žiniatinklio nuskaitymas?

Ar yra kokių nors skirtumų tarp nuskaitymo ir tinklinio grandiklio? Jei yra skirtumas, koks yra geriausias būdas rinkti kai kuriuos žiniatinklio duomenis duomenų bazei, kuri bus naudojama vėlesniam naudojimui pritaikytoje paieškos sistemoje?
01 gr. '10, 20:54
8
atsakymai

Kaip galima naudoti skirtingus konvejerius skirtingiems vorams viename „Scrapy“ projekte

Turiu grandininį projektą, kuriame yra keletas vorų. Ar yra kokių nors būdų nustatyti, kuriuos konvejerius naudoti tam tikram vorui? Ne visi aš apibrėžti vamzdynai yra taikomi kiekvienam vorui. Ačiū
nustatyti 04 gruodis '11, 5:08
5
atsakymai

„PyPi“ parsisiųsti atrodo nerealu.

Pirmą kartą paketą „PyPi“ įdėjau ~ prieš 2 mėnesius ir nuo to laiko atnaujinau. Šią savaitę pastebėjau atsisiuntimo atgalinį įrašą ir nustebau matydamas, kad jis buvo parsisiųstas šimtą kartų. Per artimiausias kelias dienas buvau labiau nustebęs ...
nustatytas kovo 10 d. 12 val
10
atsakymai

Kaip parašyti skaitytuvą?

Turėjau mintis apie tai, kaip bandyti parašyti paprastą ieškotoją, kuris galėtų nuskaityti ir išvardyti savo rezultatus apie NVO svetaines ir turinį. Ar kas nors turi minčių, kaip tai padaryti? Kur nukreipiate paieškos robotą, kad pradėtumėte ...
rugsėjo 19 d '08 6:09 val
12
atsakymai

Kaip sukurti paprastą skaitytuvą PHP?

Turiu tinklalapį su nuorodų krūva. Noriu parašyti scenarijų, kuris atkuria visus vietiniuose failuose esančius duomenis. Ar kas nors tai padarė su php? Atsakydami galėtume rasti bendrų rekomendacijų ir išvadų.
nustatytas vasario 22 d '10, 21:23
8
atsakymai

„Web Finder“ dizainas

Aš išbėgau į interviu klausimą: „Jei kuriate internetinį ieškiklį, kaip vengtumėte įsilaužti į begalines kilpas?“, Ir aš stengiuosi į jį atsakyti. Kaip viskas prasideda nuo pat pradžių. Tarkime, kad „Google“ pradėjo naudoti kai kuriuos centrinius puslapius ...
nustatytas balandžio 29 d '11 19:37