Python - načtení www stránky
 x   TIP: Přetáhni ikonu na hlavní panel pro připnutí webu
Reklama

Python - načtení www stránkyPython - načtení www stránky

 
Hledat
Moderní platforma pro vytvoření vašeho nového webu – Wix.com.
Nyní už můžete mít web zdarma.
Vybavení pro Laser Game
Spuštěn Filmový magazín
Laser Game Brno

Python - načtení www stránky

Google       Google       8. 9. 2005       16 024×

Z nejrůznějších důvodů někdy potřebujeme načíst www stránku nejen v prohlížeči, ale i programově. Třeba ji chceme uložit nebo programově zjišťovat, jestli tam je nějaký tag, nebo stahovat všechny odkazy z té stránky. Většinu z toho si ukážeme.

Reklama
Reklama

Jak načíst a zpracovat obsah www stránky?

Z nejrůznějších důvodů někdy potřebujeme načíst www stránku nejen v prohlížeči, ale i programově. Třeba ji chceme uložit nebo programově zjišťovat, jestli tam je nějaký tag, nebo stahovat všechny odkazy z té stránky. Většinu z toho si ukážeme.

Stažení je snadné

Python obsahuje spousty báječných modulů přímo ve standardní distribuci. Ten, který se nám hodí pro stahování se jmenuje urllib.


# -*- coding: cp1250 -*- 
import urllib
fp = urllib.urlopen('http://www.py.cz/PythonZaciname')
data = fp.read()
fp.close()

Stránku máme v řetězci

V proměnné data máme uloženou celou webovou stránku. A můžeme si s ní hrát. Proměnná data je obyčejný řetězec, takže jako s takovým s ním můžeme zacházet.

Můžeme ji třeba uložit

s=file('StazenaStranka.html','w')
s.write(data)
s.close()

Z hlavičky HTML stránky jsem si přečetl, že : < meta http-equiv="Content-Type" content="text/html;charset=utf-8" />. Přetransformujeme tedy obyčejný řetězec v kodování utf-8 na unicode řetězec a pracujeme nadále s ním.


data=unicode(data,'utf-8')  

print data
print '-'*80
print len(data)  # kolik ma znaku
print data[100]  # pismeno na 99. miste
print len(data.splitlines())  # kolik ma radku
print data.count('program')  # kolik je tam slov 'program'

# pokud máme vše v unicode, nedělá čeština problémy
print data.count(u'začít') 

Výpis všech odkazů

Pokud bychom ale chtěli vypsat všechny tagy <a>, tak s dosavadním přístupem by to bylo obtížnější. Určitě to jde, ale to si můžeme schovat na jindy. Tento problém jistě řešilo spousty lidí před námi a nám tu po nich zbyly moduly, které to řeší. Tak mě napadá, abychom my nezapomínali na ty, co přijdou po nás ;-).

Ten vestavěný modul se jmenuje HTMLParser. Parser proto, že právě to rozebírání, rozkouskování kódu na jednotlivé elementy, tagy, .. tomu se říká parsování. My ale pouzijeme jiný, jednodušší.


BeautifulSoup

Beautiful Soup je nadstandarní, velmi pythonýrské zpracování HTML stránky. Stáhněte si ho a nakopírujte si ho nejlépe do složky, kam se ukládají všechny slušné moduly - do Python24/Lib/site-packages.

BeautifulSoup neumí zatím moc s unicode pracovat, takže pokud dostanete chybovou hlášku UnicodeEncodeError, doporučuji nepřevádět data na unicode, jak jsem naznačoval výše. Vyzkoušejte následující příklad:

import BeautifulSoup, re

soup=BeautifulSoup.BeautifulSoup(data)

print '-'*80
print soup('a')  # všechny tagy, které jsou odkazy v seznamu
atribut href
print len(soup('a'))  # kolik jich tam je
print '-'*80
print soup('h1')  # všechny nadpisy h1 v seznamu
print '-'*80        

titleTag = soup.html.head.title
print titleTag
print titleTag.string
print '-'*80        

Za použití mocného ale složitého modulu re můžeme vyhledávat třebas všechny odkazy s atributem href, které začínají na "http".


href= soup('a',  {'href' : re.compile('http.*')})
for odkaz in href:
    print odkaz['href']

S těmito rozparsovanými řetězci se pak pracuje již daleko pohodlněji než s 'data', kde to máme všechno na jedné hromadě. Daleko více ke všem možným funkcím BeautifulSoup hledejte na jeho HomePage :-). Umí toho opravdu hodně.

×Odeslání článku na tvůj Kindle

Zadej svůj Kindle e-mail a my ti pošleme článek na tvůj Kindle.
Musíš mít povolený příjem obsahu do svého Kindle z naší e-mailové adresy kindle@programujte.com.

E-mailová adresa (např. novak@kindle.com):

TIP: Pokud chceš dostávat naše články každé ráno do svého Kindle, koukni do sekce Články do Kindle.

3 názory  —  3 nové  
Hlasování bylo ukončeno    
0 hlasů
Google
(fotka) Pavel KosinaAutor programuje v Pythonu.
Web    

Nové články

Obrázek ke článku SODAT vidí budoucnost datové bezpečnosti ve strojovém učení

SODAT vidí budoucnost datové bezpečnosti ve strojovém učení

Firmy chrání svá citlivá data často nedostatečně. Podle průzkumu společnosti SODAT se v minulém roce setkalo až 80 % z nich s bezpečnostním incidentem ztráty nebo úniku dat. Jedna z pilotních firem, která testovala novou verzi řešení SODAT Protection & Analytics 2.0pro bezpečností analýzu a monitoring dat díky novince zjistila, kdo z disku smazal důležité výkresy a mohla na incident včas reagovat.

Reklama
Reklama
Obrázek ke článku Kontrolujete pracovní emaily i na dovolené? 7 tipů odborníka, jak nepřijít o data

Kontrolujete pracovní emaily i na dovolené? 7 tipů odborníka, jak nepřijít o data

Letní měsíce jsou pro většinu zaměstnanců spojené s každoroční dovolenou. Z údajů Českého statistického úřadu vyplývá, že v roce 2017 podnikli Češi přes 13 milionů delších cest (tzn. s více než čtyřmi noclehy). Přitom právě na období července, srpna a září připadá více než 7,5 milionů z nich. Nicméně tradiční představu o dovolené jako o čase, kdy má práci na starost někdo jiný, Češi boří. 

Obrázek ke článku 10 SEO mýtů, které už nemusíte v roce 2018 řešit

10 SEO mýtů, které už nemusíte v roce 2018 řešit

„Kolik má být na stránce klíčových slov?“, „Nemáš vyplněný meta tag keywords, to nebude fungovat.“, „Katalogy jsou mrtvý“. Také jste už slyšeli některé z těchto otázek? Pojďme si na ně konečně jednou provždy odpovědět.

Obrázek ke článku Trend Micro pomohlo usvědčit viníky v mezinárodním případu Scan4You

Trend Micro pomohlo usvědčit viníky v mezinárodním případu Scan4You

Společnost Trend Micro Incorporated, globální lídr v oblasti kybernetické bezpečnosti, oznámila podrobnosti o své úzké spolupráci s FBI v případu Scan4You. Trend Micro se podílelo na identifikaci osob, které byly spojeny se službou Scan4You Counter Antivirus, což vedlo k jejich odsouzení.

Hostujeme u Českého hostingu       ISSN 1801-1586       ⇡ Nahoru Webtea.cz logo © 20032018 Programujte.com
Zasadilo a pěstuje Webtea.cz, šéfredaktor Lukáš Churý