CSFD api – PHP – Fórum – Programujte.com

Ahoj, 

používáte někdo nějaké funkční API na ČSFD? Poslední dobou se mi stalo, že mi nefunguje žádný možný přístup, ani přes simple dom html parser. Jsem jediný nebo chyba někde jinde?

Díky

#1 maniakum
Na ČSFD se svým parserem nechodím (zkusit to můžu, ale zatím jsem to nepotřeboval), ale nevidím v tom problém. V PHP na to používám třídu DomDocument, která parsování HTML zvládá docela dobře. Ty ostatní (včetně SimpleXML apod.) měly vždy nějaké mouchy, kvůli kterým jsem je přestal používat.

#2 Kit
Ok. Tak jsem zkusil napsat tohle pro vytažení názvu filmu. 

<?php
$dom = new domDocument; 
$dom->loadHTMLfile('http://www.csfd.cz/film/32'); 
$dom->preserveWhiteSpace = false;
$tables = $dom->getElementsByTagName('h1');
while($table = $tables->item($i++))
{
    echo $table->nodeValue;
}
?>

Funguje, ale napříklád jednou za 5 opakování se mi nic nenačte, čím to?

EDIT: respektive jsem ještě přišel třeba na to, že pod id 349573 to nic nezobrazí. To jako proč?

#3 maniakum
Jak kdyby se CSFD bránila a posílala tam náhodný bordel a občas se povede načíst stránka v pořádku

‹ í}K“Ç•îZúix¤nZ( Ux7‰fMÒ¤$R4›¢l‰ŠŽ*T£PÕM´ÅˆYÎbôÚ˜O„/æÆ]8B^¸É?rÉýNf֏ÐÝäXŽ‘-5*둯“'Ïã;'?¼ñ«;_ŽöøËÛŸ?8`­\þªzP.ßyz‡ýþþÓ‡ŸòäÎ=“é¥J¹|÷Q†a8Ù+—ONNJ'Õ’çÊMôå„Þ(¿ oi¾Õ75½d…VaÿÃâó/ÆŽt–¼¬·ÛmùZÚsLwÐ)ôqå{®T•Þ„»ßœ'¾z=ϵ½!›åøù~7yÞâSîà%?(õÍïzÞ¨ÔóÆÉÔ6nZû~pcÌCãN4þ]dO;…Ï ¹jOg^`=yÕ)„üEX¦Æ^g½¡éاÞÐ COÞ{ûÊOì³ÿvM6eá›ßþ}tö›ž½:åìÖÄs“øœ[f‘BîŸýÌNùøퟸÎùÛWxMpeá sMß;åîÙëq‰=FqzlŠF¨òí_ñè_§ž…öšô3Y×{ÁÆg¯P÷ÈŸÚEš£·çß«AxöÊá(â	Ëc‡¶cZÜ™môbüæÇ ¤fYœœyúxþÿýûÍ݈ÏN$£Þ£>™øƒÇ?ÄX‡vèð}ÑY¶kTôú5ö={óŸ‡÷î”z§7Êò6=èØîˆùÜ邡燽(d6>\`CŸ÷R±ÇƒR/è[x¹l˜Ö ÜÕÍfÙ›”ûæ”Þ*á?‚&:q§üB_£éOk2'‡k¡õ†òöv•‰×ÄëG¢Ö‰;ÝÎu'œ9rÎ}Þž7p¸9±AòTVvìnP>þ.âþ,²Ëz©UÒkå«ìšW÷´ÈÆX`üe?ÉÓu¾ÁªêWåس"´¸|»eù¶ú#k+¯þþ\C6MUÇÄ·ÝPV1æ–mv ¢„ã)—)ü^§PVS_2-¯Ë­p,†®ÖåfϬוšiêV·i6­¶Ñn˜•–Õªv9¯¶[¼Ù·ÊrDZCþ¹ÝÕºõZϨY=½ß5jfC¯õõV¯Ë£i4¬Z·Òh7 K¯—Ž1°7À’¨‚`U‹2}>6§¦,ÅšP\§ ÙŽl¸â›L

#3 maniakum
Na serveru je nejspíš nějaká jednoduchá ochrana proti harvestingu.

Také ten PHP klient může padnout na timeout při tom dvojitém přesměrování, které je na začátku.

#4 maniakum
To není "náhodný bordel", ale data.

Ok. V tom případě, co s tím? Nějaké nasměrování na vo se mám zaměřit? Protože opravdu netuším co s tím udělat.

Zasláno z mobilního telefonu.

#7 Maniakum
Mně to už funguje. Jsou to data komprimovaná gzipem. Stačí je dekomprimovat.

Jinak ten string, který jsi sem poslal, tomu neodpovídá. Někde sis asi vydoloval náhodná data, protože z ČSFD to sice také vypadá jako rozsypaný čaj, ale na rozdíl od toho tvého to má platnou signaturu a dá se to dekódovat.

Tak to na to zkusím mrknout.

Při reloadu se mi načítá x verzí toho "bordelu"

Zasláno z mobilního telefonu.

#8 Kit
Tak nevím, asi se to pokouším vydolovat nějak blbě. Jak to děláš? Já žádnou signaturu nevidím, jen rozsypaný čaj, který jako gzip nefunguje.

Přesměrováním to není, pokud zadám tuto url adresu http://www.csfd.cz/film/349573-creed/prehled/

tak mi to stejně pokáždý háže prázdný resp. nějakou blbost. Něco dělám špatně a nejsem schopen přijít na to co.

#10 maniakum
Prostě tam podmíněně přidám rozbalení toho gzipu.

<?php
$csfd = file_get_contents("http://www.csfd.cz/film/32");
$html = (ord($csfd[0]) == 31) ? gzdecode($csfd) : $csfd;
@$dom->loadHTML($html);

#12 Kit
Jako jo, funguje a jak jsi na to přišel? Co přesně děl ord()?

#13 maniakum
To víš, nějakou dobu už s PHP dělám, umím už dělat prototypy i testy. To je pak vcelku jednoduché na takové chyby přijít.

Také vím, že existuje dokumentace PHP, ve které je vysvětlena i funkce ord().

Opravdový programátor totiž zná nebo nezná jméno své ženy, ale zcela jistě zná tabulku ASCII a ví, že znak s ordinální hodnotou 31 není tisknutelný a začne pátrat po tom, co to číslo 31 znamená.

Kdyby to někoho zajímalo, tak jsem to nakonec udělal takto. Určitě by to šlo udělat lépe, budu rád za každý komentář. Žádný zázrak to není, ale funguje to.  

$dom = new domDocument;
$csfd = file_get_contents("http://www.csfd.cz/film/$csfd_id");
$html = (ord($csfd[0]) == 31) ? gzdecode($csfd) : $csfd;
@$dom->loadHTML($html);
$dom->preserveWhiteSpace = false;

$names = $dom->getElementsByTagName('title'); //zjištění CZ a druhého názvu filmu
$i=0;
while($names_2 = $names->item($i++))
{
    $name = $names_2->nodeValue;
    if ($name_obsahuje = strpos($name, "/") === false) {
        $names_3 = explode(" | ", $name);
        $names_4 = explode(" ( ", $names_3);
        $names_cs = $names_4[0];
        $names_en = $names_cs;
    } else {
        $names_3 = explode(" / ", $name);
        $names_4 = explode(" (", $names_3[1]);
        $names_cs = $names_3[0];
        $names_en = $names_4[0];
    }
}

$entries = $dom->getElementsByTagName('h2'); //hodnocení

for ($i=0;$i<$entries->length;$i++) {
    $entry = $entries->item($i);
    $average = $entry->attributes->getNamedItem('class')->value;
    if($average=="average") 
        $hodnoceni = str_replace('%', '', $entry->nodeValue);
}

$entries = $dom->getElementsByTagName('p'); //rok, žánr, země, délka filmu

for ($i=0;$i<$entries->length;$i++) {
    $entry = $entries->item($i);
    $p = $entry->attributes->getNamedItem('class')->value;
    if($p == "origin") 
        $podrobnosti = explode(", ",$entry->nodeValue);
    elseif($p == "genre")
        $genre = str_replace(' / ', '@;@', $entry->nodeValue);
}

$entries = $dom->getElementsByTagName('span'); //herci

for ($i=0;$i<$entries->length;$i++) {
    $entry = $entries->item($i);
    $p = $entry->attributes->getNamedItem('data-truncate')->value;
    if($p == 340)
        $hraji = $entry->nodeValue;
}

$entries = $dom->getElementsByTagName('div'); //popis

for ($i=0;$i<$entries->length;$i++) {
    $entry = $entries->item($i);
    $p = $entry->attributes->getNamedItem('data-truncate')->value;
    if($p == 570)
        $popis = $entry->nodeValue;
}

$xpath = new DOMXPath($dom); //obrázek plakátu
$nodes = $xpath->query("//img[@class='film-poster']");
$poster_url = "http:".$nodes->item(0)->getAttribute('src');

#15 maniakum
Zrovna to zkouším a hlásí mi to hromadu "PHP Notice". Bylo by dobré se jich zbavit.

#16 Kit
Jo, to souhlasím. Koukám, že errory mám vypnutý. Projedu si to. 

Každopádně děkuji za pomoc! 

#17 maniakum
Ještě koukám, že první i druhý název parsuješ z "title". První najdeš v "@header" a druhý v seznamu "@names". Rok a země původu je pak v "@origin", žánr v "@genre". Rodičovské elementy hledat nemusíš, XPath umí hledat i podle samotných class.

#18 Kit
Jo, to koukám, že bude lepší, nějak jsem to parsoval poprvé a tak mi to chvíli trvá 

#20 maniakum
Tohle už vypadá mnohem lépe.

Sám jsem si to vytáhl z toho PHP a strčil do výstupní šablony, takže to mám z jedné vody načisto :)

Jj. Jen ještě nějak lépe poresim to pole s nazvy a bude to.

Zasláno z mobilního telefonu.