Kódování výstupu procesu volaného pomocí popen – Python – Fórum – Programujte.com

Potřebuji přečíst obsah jednoho souboru ze zip souboru, který je navíc chráněn heslem. Kvůli tomu heslu nelze použít zipfile, takže se snažím použít (v linuxu) program unzip s parametrem -p (vypíše obsah do pipe - stdout) a to tak, že zavolám popen(cmd).read(), toto funguje, ale problém je v tom, že textový soubor, který rozbaluji je v kódování cp1250 a nedaří se mi žádným způsobem ho tak přečíst :(
Zkoušel jsem knohovnu codecs, různý způsob konverzí, readstream, ale nic nechodí
Pokud soubor rozbalím do souboru na disku a otevřu až ten, tak to chodí bez problému (codecs.open()), ale tomu bych se rád vyhnul.
Naťukne mne někdo na správnou cestu?

Převod řetězce do unicode nefunguje? - unicode(retezec,"cp1250") ?
A z unicode si ho pak zpětně můžeš převést na jakékoliv jiné. Více na py.cz.

To geon:
tenhle převod jsem zkoušel jako první, bohužel to ale končí chybou

UnicodeEncodeError: 'ascii' codec can't encode character u'\xfd' in position 8: ordinal not in range(128)

cmd = string.join(["unzip -p -P", self.password, fName, self.vypisyName])

out = commands.getoutput(cmd)

print unicode(out, "cp1250")

csv = os.popen(cmd,'rb')

csv = codecs.getreader("cp1250")(csv)

print csv.read()

Základ tedy je zjistit, jaké je původní kodování - v jakém kodování se ti to tiskne z unzipu na terminál - pokud v utf-8 - tak převod bude vypadat takto: unicode(retezec, "utf8").

To geon:
Tohle už jsem rovněž zkoušel. Výsledek:

UnicodeDecodeError: 'utf8' codec can't decode bytes in position 8-13: unsupported Unicode code range

LANG=cs_CZ.UTF-8

LC_CTYPE="cs_CZ.UTF-8"

LC_NUMERIC="cs_CZ.UTF-8"

LC_TIME="cs_CZ.UTF-8"

LC_COLLATE="cs_CZ.UTF-8"

LC_MONETARY="cs_CZ.UTF-8"

LC_MESSAGES="cs_CZ.UTF-8"

LC_PAPER="cs_CZ.UTF-8"

LC_NAME="cs_CZ.UTF-8"

LC_ADDRESS="cs_CZ.UTF-8"

LC_TELEPHONE="cs_CZ.UTF-8"

LC_MEASUREMENT="cs_CZ.UTF-8"

LC_IDENTIFICATION="cs_CZ.UTF-8"

LC_ALL=cs_CZ.UTF-8

Update: Před převodem je ještě proměnná typu str

Kodování řetězce se dá zjistit těžko, ale kodování souborů to víceméně jde. Enca a file. Zkus to uložit do souboru a zjistit, v jakém kodování to máš. Možná, že na Linuxech to bude iso-8859-2, ale to jen hádám.

V nejhorším zkus použít file-like objekty, jako StringIO, když ti funguje, jak jsi psal, převod přes soubor.

To geon:
tak nakonec zafungovalo třeba tohle:

cmd = string.join(["unzip -bp -P", self.password, fName, self.vypisyName])

out = commands.getoutput(cmd)

print out.decode("cp1250")

print out.decode("cp1250").encode("utf8")