Paralerní zpracování metody ze třídy – Python – Fórum – Programujte.com

Dobrý den,

 řeším paralelní spouštění funkcí. Napadlo mě to udělat přes třídu, ale self.value mi nereaguje na paralerně zpracovanou metodu. Jde to takto udělat?

import multiprocessing as mp

class Dog():
  def __init__(self, name):
    self.name = name
    self.value = 0

  def start(self):
    self.value = 3 + 2


if __name__ == '__main__':
  dog = Dog('Rex')
  print('dog.value', dog.value)

  procedure = dog.start
  pool = mp.Pool(mp.cpu_count())
  pool.apply_async(func=[procedure])

  pool.close()
  pool.join()

  print('dog.value', dog.value)

Děkuji za informace.

Multiprocessing používá izolované procesy, které nesdílejí data. Takže ten "worker" zdědí data hlavního procesu, ale změny se nikam jinam nepromítnou. (Existují explicitně sdílené proměnné jako mp.Value, ale to už je zase jinde.)

Je to určené na volání funkcí - pošleš parametry, dostaneš návratovou hodnotu. Nekomplikuj si život :-)

Jo, a func jako list se mi nějak nezdá. Jseš si jistý, že se ti to vůbec spouští?

func=[procedure]

#3 gna
Ano,

 funguje to správně. Jen to nemění hodnotu v třídě.

Mění, ale v jiném objektu v jiném procesu. Teda ani to ne, protože se to vůbec nespustí.

#5 gna
Pravda, nesmí to být v listu (měl jsem to tam jako pozůstatek z loopu). 
pool.apply_async(func=procedure) je správně.

Opravdu není možnost, jak to přes třídu udělat?  Moc se mi nelíbí to ukládat přes 
callback do jednoho listu.

Určitě by to šlo, ale na co?

import multiprocessing as mp


def dostuff():
  return 5


if __name__ == '__main__':
  pool = mp.Pool(mp.cpu_count())
  res = pool.apply_async(dostuff)

  pool.close()
  pool.join()

  print('value', res.get())

#7 gna
Děkuji, takhle to alespoň vypadá líp, než např: 
pool.apply_async(func=fcn, args=args, callback=add_result).
 

#7 gna
Dobrý den,

 chtěl jsem se ještě zeptat ohledně paralelního zpracování v cyklu. Když to spustím v PyCharmu, vše funguje jak má. Pokud ale udělám build a spustím exe, pak se začnou procesy množit a musím program zabít. Nevíte, kde by mohl být problém?

import time
import multiprocessing

def process1():
  print('process1')
  for i in range(2):
    time.sleep(1)
  return 5

def process2():
  print('process2')
  for i in range(3):
    time.sleep(1)
  return 6

if __name__ == '__main__':
  try:
    for epoch in range(3):
      pool = multiprocessing.Pool(multiprocessing.cpu_count())

      res1 = pool.apply_async(process1)
      res2 = pool.apply_async(process2)

      pool.close()
      pool.join()

      print('results:', res1.get(), res2.get())
      print('---')
      time.sleep(5)

    input('exit')
  except Exception as err:
    pool.close()
    pool.join()
    print('err', err)
    input('exit exception')

Děkuji.

Úplně vnitřnosti neznám, ale asi je možné, že se ty procesy uvolňují až se zpožděním. Když to dáš do with, tak by se měly kompletně ukončit a uvolnit hned (po vyskočení z toho bloku with).

if __name__ == '__main__':
  try:
    for epoch in range(3):
      with multiprocessing.Pool(multiprocessing.cpu_count()) as pool:
        res1 = pool.apply_async(process1)
        res2 = pool.apply_async(process2)

        pool.close()
        pool.join()

        print('results:', res1.get(), res2.get())
        print('---')
        time.sleep(5)
    input('exit')
  except Exception as err:
    print('err', err)
    input('exit exception')

A pointa je v tom, že opuštění toho bloku zavolá pool.terminate(), což můžeš dělat i bez toho, ale s with na to nemusíš myslet.