Flask - Spouštění procesů, stdout a OS buffery – Python – Fórum – Programujte.com
 x   TIP: Přetáhni ikonu na hlavní panel pro připnutí webu
Reklama

Flask - Spouštění procesů, stdout a OS buffery – Python – Fórum – Programujte.comFlask - Spouštění procesů, stdout a OS buffery – Python – Fórum – Programujte.com

 

Toto vlákno bylo označeno za vyřešené — příspěvek s řešením.
Hledá se programátor! Plat 1 800 € + bonusy (firma Boxmol.com)
Doomista+1
Stálý člen
11. 7. 2017   #1
-
0
-

Ahoj,

nejsem úplně zběhlý v Pythonu a tak bych potřeboval poradit/vysvětlit věc, kterou teď při vývoji budu řešit.

Mám Flask server, pomocí kterého se budu dotazovat na databázi. Dotazy můžou být komplikované a jejich vyhodnocení může trvat velice dlouho (minuty, hodiny). Stejně tak může být velké i množství dat, kterými databáze přes stdout odpoví. Pro spouštění procesů používám subprocess.Popen a pro vyčítání stdout Popen.communicate. Proces dotazování by měl fungovat tak, že jedna routa flask serveru spustí proces a zapamatuje si referenci na Popen objekt. Druhá routa poskytuje informaci o stavu dotazu a třetí si pomocí communicate vytáhne stdout/stderr data a vrátí je jako výsledek.

Nicméně v dokumentaci Popen se píše i něco o tom, že by proces mohl naplnit OS buffery pro stdout/stderr. Mám obavu, že přesně toto by u mě mohlo nastat. Nejenže odpověď databáze může být opravdu hodně velká, ale zároveň se ve stejný moment může dotazovat více lidí na databázi. Jak to uvnitř funguje? Bude mít každý dotaz vlastní buffery, nebo je jeden buffer sdílen vícero procesy? Jak můžu ošetřit potenciální naplnění bufferů, aby nedošlo k deadlocku (jako se mi to už stalo s Popen.wait) a zároveň zachoval výše uvedený návrh chování aplikace (a především aby provádění jednoho dorazu nezablokovalo všem ostatním komunikaci se serverem).

Díky předem za odpovědi

Nahlásit jako SPAM
IP: 2001:67c:1220:809::93e5:9...–
Na vše stačí iostream...
Reklama
Reklama
Řešení
gna
~ Anonymní uživatel
363 příspěvků
11. 7. 2017   #2
-
+1
-
Zajímavé
Vyřešeno Nejlepší odpověď

Každý proces bude mít vlastní roury a každá roura vlastní buffer. To je v pohodě. Communicate načte všechna data z stdout/err a počká na skončení procesu.

Problém je v tom, že zápis do roury se blokne, pokud v ní není místo. Jestli čekáš na nějaký signál o skončení toho zapisujícího procesu a až potom voláš communicate, tak se ho nedočkáš, protože bude viset v zápisu do roury, ze které nikdo nečte.

Nejjednodušší mi přijde prostě výstup přesměrovat do souboru.

Nahlásit jako SPAM
IP: 213.211.51.–
Doomista+1
Stálý člen
11. 7. 2017   #3
-
0
-

#2 gna
Díky za vysvětlení i za tip na řešení :)

Nahlásit jako SPAM
IP: 2001:67c:1220:809::93e5:9...–
Na vše stačí iostream...
Zjistit počet nových příspěvků

Přidej příspěvek

×Vložení zdrojáku

×Vložení obrázku

Vložit URL obrázku Vybrat obrázek na disku
Vlož URL adresu obrázku:
Klikni a vyber obrázek z počítače:

×Vložení videa

Aktuálně jsou podporována videa ze serverů YouTube, Vimeo a Dailymotion.
×
 
Podporujeme Gravatara.
Zadej URL adresu Avatara (40 x 40 px) nebo emailovou adresu pro použití Gravatara.
Email nikam neukládáme, po získání Gravatara je zahozen.
-
Pravidla pro psaní příspěvků, používej diakritiku. ENTER pro nový odstavec, SHIFT + ENTER pro nový řádek.
Sledovat nové příspěvky (pouze pro přihlášené)
Sleduj vlákno a v případě přidání nového příspěvku o tom budeš vědět mezi prvními.
Reaguješ na příspěvek:

Uživatelé prohlížející si toto vlákno

Uživatelé on-line: 0 registrovaných, 15 hostů

 

Hostujeme u Českého hostingu       ISSN 1801-1586       ⇡ Nahoru Webtea.cz logo © 20032017 Programujte.com
Zasadilo a pěstuje Webtea.cz, šéfredaktor Lukáš Churý