Automatická aktualizace dat – PHP – Fórum – Programujte.com

Lze pomocí PHP naprogramovat, aby se data na webu automaticky měnily na základě jiného webu? Konkrétně například výsledky zápasů.

#1 Shark
Jde, ale bez bližších informací asi bližší info nedostaneš. Mimo PHP budeš potřebovat ještě cron nebo něco podobného.

#1 Shark
Jde to celkem snadno i bez cronu, když místo hodin použiješ aktivitu uživatele a trochu ji omezíš, aby ses druhého serveru neptal častěji než třeba 1× za minutu. Výsledky si uložíš do nějaké cache a pokud se někdo dotáže dřív, pošleš mu data z té cache.

Pokud to však chceš jen pro sebe, cache i omezování můžeš klidně vypustit a udělat si z toho jednoduchou proxy. Přesně tak sleduji tohle (a nejen tohle) fórum. Skript si natáhne stránku z webu, vybere z ní jen to, co mě zajímá a to zobrazí.

Díky moc! Zatím PHP neumím, ale předtím než s ním začnu, jsem chtěl vědět, jestli tohle půjde udělat.

Jen tak pro zajímavost, máš v plánu data tahat z webu s API nebo použít nějaký HTML crawler? (Nevíš-li na co se tě ptám, nevěš hlavu, jednou na to příjdeš! Případně se zeptej, rád vysvětlím)

#5 JacobCZ
Jak jsem psal na PHP se teprve chystám vrhnout, takže nevím o co se jedná. Za vysvětlení bych byl moc rád. :)

#6 Shark
Pokud chceš získávat data z nějakého webu, máš vpodstatě dvě možnosti jak to udělat:

1) Pomocí tzv. API, neboli Aplikačního Rozhraní. To funguje tak, že se webu zeptáš na informace které potřebuješ a web ti to více čí méně ochotně sdělí. Bohužel né všechny weby API mají. Pro více info o API se podívej například na Wikipedii, myslím, že je to tam vysvětlené docela pěkně, i když dost odborně.

2) Pomocí WebCrawleru/HTMLCrawleru. To je knihovna (existuje jich spousta pro různé jazyky včetně PHP), která dokáže pomocí bežných CSS selektorů (class, ID, tag apod.) najít specifický element ve stránce (případně seznam několika stejných) a vypsat je. To se používá v případě, že web ze kterého potřebuješ tahat data API nemá.

#7 JacobCZ
A dá se nějak lehce zjistit, který web API má a který ne?

#8 Shark
Pokud API má, tak to bude mít někde napsané (příklad), pokud to nikde napsané není, tak API pravděpodobně nemá vůbec, nebo je jen interní a zvenčí nepřístupné, tedy pro tebe jakoby neexistující.

Jde to pomerne jednoduse. Resi se tak kurzovni listek nebo vysledky fotbaloveho zapasu, pocasi, treba. Nepritel poskytuje txt soubor a ty si jej stahnes a prepises na html pomoci php. Soubor ulozis a kontrolujes si jeho stari. Kdyz je moc stary, vygenerujes novy. Netahas to online, protoze bys zatezoval jejich server, coz se jim libit urcite nebude.

#10 peter
"Nepřítel"???

Proč přepisovat na HTML? Stačí soubor například jednou za hodinu stáhnout a v původním TXT formátu si ho uložit k sobě (případně převést do JSONu). Potom si buď nastavit CRON, aby každou např. hodinu kontroloval, jestli je soubor stále aktuální (např. pomocí MD5 checksumu) a případně ho aktualizoval. Místo cronu se to dá invokovat i aktivitou uživatele a omezit akci tak, aby ji se spustila max. 1x za hodinu, vždy na popud uživatele.

#11 JacobCZ
Jak chceš získat MD5 bez stažení celého souboru?

#12 Kit
To mě nenapadlo... Ale vzhledem k velikosti takového souboru, co bude až na výjimky v řádech kilobajtů by neměl být problém takový soubor prostě jednou za hodinu stáhnout a checksum ani nekontrolovat...

Ten kurzovni listek zobrazujes jako html. Tudiz logicky je lepsi to hned preformatovat.. Samozrejme to zalezi na konkretni aplikaci, ktera cesta bude vyhodnejsi.
Kontrolovat cronem kazdou hodinu od 22 do 6 rano, kdy neni na strance temer nikdo, no nevim :) Mozna vyhledavace tam slidi.

#14 peter
Formátovat to rovnou do HTML je s prominutím stupidní. Co když budeš potřebovat vytáhnout jen jeden údaj? Nebo třeba něco spočítat. Budeš to potom lovit v tom HTMLku? A co je špatného na tom, stahovat data i když uživatel není aktivní? Vadí to snad něčemu?

#15 JacobCZ
Ono je stupidní i to ukládání do textového souboru. Je lepší to rovnou rozparsovat a uložit do databáze.

Kurzovní lístky se stejně mění jen kolem 14:30, ale Shark se ptal za výsledky zápasů. Takový výsledek se aktualizuje jen jednou...

#16 Kit
O databázi zatím nepadlo ani slovo, tak jsem se toho držel, ale je jasné, že databáze je nejlepší variantou, už jen kvůli historii apod.

#16 Kit
Vysledky zapasu se aktualizuji, kdyz je nekdo aktualizuje :) Cili, treba prvni den se hraji 3 zapasy, druhy 0, protoze prselo, treti 5. A ted zalezi, ve kterem case to kdo aktualizuje.
V pripade skolniho turnaje se to zmakne vsechno behem dne a aktualizuje se to vetsinou hned po zapase.
Takze ten interval je tez podle okolnosti.

#15 JacobCZ
Ale obvykle se nehraje po tme, takze po 22 to nema obvykle zmysl, pokud nejde o olympiadu nebo cizi zeme s posunem casu.

#18 peter
Řekněme, že při prvním pokusu nejsou žádná data. Každý dotaz je přeposlán na server. Aktualizace se však stále nekoná, protože není co aktualizovat. Zápas je dohrán, jsou zveřejněny výsledky. Některý klient si obnoví stránku, data jsou zjištěna jako nová a uložena do cache řekněme s platností 10 minut. Všichni ostatní klienti dostanou tuto informaci. Po deseti minutách však už není platná a proto je znovu odeslán požadavek na server.

Díky moc za všechny názory! Až PHP nějak zmáknu, pustím se na to :).

Ahoj. Tak něco jsem si zjistil z PHP apod. a vrátil jsem se k tomuto problému. Chtěl bych se prosím ještě na něco zeptat.

Pomocí file_get_contects získám obsah stránky, ale teď jsem se zasekl na tom získat pouze potřebné data. Ať hledám jak hledám, bohužel na to pořád nemůžu přijít, tak abych to nějak rozumně chápal. Mohl by mě prosím někdo trochu nasměrovat? Díky :)

#21 Shark
Jak už zde bylo zmíněno, záleží, v jakém formátu data získáváš... Můžeš sem dát odkaz na stránku, odkud se je snažíš stáhnout?

#21 Shark
Zřejmě jsi stáhl HTML a chceš z něj vyzobnout jen některá data. Používají se na to různé parsery od regulárních výrazů až po DOM nebo SAX. Záleží na tobě, který si vybereš.

#23 Kit
Hmm, nemyslíš, že je na něj tohle až moc odborný? Třeba to někde našel v XML nebo JSONu... Počkejme než pošle odkaz...

Upřímně, ještě nevím z kama to budu tahat, zatím jsem pouze hledal na netu způsob jak to vyřešit. Ale dejme tomu, že to budu tahat výsledky NHL z nějaké stránky s výsledkama, např. onlajny, nebo něco podobného.

Ale v podstatě to vystihl Kit. Stáhnu html do proměnné, popřípadě z něj udělám .txt, ale jak z něj vybrat to hlavní už bohužel nevím.

#26 Shark
Tak v tom případě si vygoogli něco ve stylu "PHP DOM Crawler" a nauč se s tím. DOM Crawler je vpodstatě nástroj, pomocí kterého můžeš procházet strukturu stránky pomocí DOM selektorů (jako v CSS nebo JS: element.třída.další-třída#id) a následně z takto vybraných elementů tahat data jako text apod...

#26 Shark
Fajn. Teď si přečti i tu druhou větu, kterou jsem napsal.

#28 Kit
Vysvětloval jsem, co je to DOM Crawler... Baví tě to?

Díky moc ! :)

#29 JacobCZ
Popravdě neznám žádný "DOM Crawler", proto tohle slovní spojení nepoužívám.

#31 Kit
Tak tady jeden máš... https://github.com/symfony/dom-crawler

#32 JacobCZ
5000 řádek kvůli prkotině, která je v čistém PHP na 5 řádek? To se zase někdo urval z řetězu.

Já používám třídu Simple HTML DOM Parser http://simplehtmldom.sourceforge.net. Naprostá spokojenost.

#34 chita

Na ten jsem se díval a přišel mi také nejlepší. Jen bych se chtěl zeptat, to mám stažené soubory dát do složky a po té už mohu používat?

#34 chita

Na ten jsem se díval a přišel mi také nejlepší. Jen bych se chtěl zeptat, to mám stažené soubory dát do složky a po té už mohu používat?

#36 Shark
Ano, stáhneš, vhodně naicluduješ a můžeš používat...

#37 JacobCZ
To s tím includováním stažených souborů nemyslíš doufám vážně že?

#38 Kit
Co ty máš proboha zase za problém?

#39 JacobCZ
Nemůžeš přece cizí stažené soubory jen tak includovat. Mohl by v nich být ukrytý nějaký PHP skript.

#40 Kit
Mluvím pochopitelně o souborech toho DOM Parseru...

#41 JacobCZ
Je to dost podivná knihovna. Používá globální konstanty, nedodržuje konvence, nepoužívá standardní parser - PHP má několik rychlých parserů napsaných v C. Delší soubory bych v tom tedy parsovat nechtěl - stejně je to omezeno jen do 600 kB.

#42 Kit
Well, já ji nenavrhoval... Jen jsem reagoval na dotaz, jak ji použít...

#43 JacobCZ
Zde je ukázka, jak si mohu z této stránky vytáhnout pouze tvoji odpověď pomocí standardních nástrojů PHP: 

<?php
$url = "http://programujte.com/forum/vlakno/29963-automaticka-aktualizace-dat/";
$content = file_get_contents($url);
$dom = new \DOMDocument('1.0');
@$dom->loadHTML($content);
$hodnoceni = $dom->getElementById('hodnoceni_popis_206080');
echo $hodnoceni->textContent;

Žádná externí knihovna není potřebná.

#44 Kit
Wait, PHP má vlastní DOM parser? Tak to jsem netušil...

#45 JacobCZ
PHP má několik DOM parserů, ale pro parsování HTML se mi osvědčil DomDocument. Má své mouchy, například má problém se zpracováním stránky, na které chybí definice charset. Taková stránka se mu pak musí trochu "předžvýkat". Pro většinu stránek však funguje bezvadně.

Tak, ono se to da orezat i pres strpos, kdyz je kod duveryhodny. To delam tady
http://www.slu.cz/fpf/cz/veda - vpravo Nase publikace, vede na stranku http://nora.fpf.slu.cz/…rame-fpf.php, ktera kopiruje vzhled z predchozi :) Je to sice trochu na houby, ale aspon to klonuje realnou stranku a nemusim to porad opravovat.

	$data = file_get_contents('http://www.slu.cz/fpf/cz/veda');

	$pos = strpos($data,'<div class="main_content">') + 26;
	$pos = strpos($data,'</div>',$pos) + 6;
	$pos = strpos($data,'</div>',$pos) + 6;	// h1buttons
	$pos = strpos($data,'</div>',$pos) + 6;	// main_navpathbar
	$pos = strpos($data,'<div',$pos) + 4;	// div body
	$pos = strpos($data,'>',$pos) + 1;	// body start
	$posstart = $pos;
	$pos = strpos($data,'</div><!-- //main_content -->',$pos);	// body near end
	$posend = $pos;

	$data = substr_replace($data, $insert_code . "\n".'</div>',$posstart,$posend-$posstart);