Využití více jader procesoru – Python – Fórum – Programujte.com

Ahoj,

jsem poměrně začátečník v pythonu, ale mám dotaz, napsal jsem si webový crawler a když ho pustím a druhé konzoli si si pustím htop, vidím, že vlákno s python scriptem využívá pouze jedno jádro procesoru.

Lze nějak docílit využití všech jader procesoru?

Běžím na debian 7 wheezy

Děkuji

thready

#2 KIIV

Děkuji, to jsem také našel, ovšem nikde jsem nenalezl žádnou dokumentaci, jak tento modul použít.

vetsinou to funguje tak, ze vytvoris novej thread a predhodis mu fukci, co ma vykonavat paralelne.. jen to pak musis nejak synchronizovat, pokud mas vicero threadu nacitajici joby ze stejneho mista

#1 Petr Ká
Linky si přepni pro svou verzi pythonu

Ve skutečnosti myslím, že nehledáš modul threading ale balík multiprocessing:

https://docs.python.org/2/library/multiprocessing.html#module-multiprocessing

anžto:

multiprocessing is a package that supports spawning processes using an API similar to the threading module. The multiprocessing package offers both local and remote concurrency, effectively side-stepping the Global Interpreter Lock by using subprocesses instead of threads. Due to this, the multiprocessing module allows the programmer to fully leverage multiple processors on a given machine. It runs on both Unix and Windows.

Modul threading ti ve skutečnosti, alespoň v cpythonu nepomůže s tvým problémem, jelikož:

CPython implementation detail: In CPython, due to the Global Interpreter Lock, only one thread can execute Python code at once (even though certain performance-oriented libraries might overcome this limitation). If you want your application to make better use of the computational resources of multi-core machines, you are advised to use multiprocessing. However, threading is still an appropriate model if you want to run multiple I/O-bound tasks simultaneously.