Import CSV dat - analyza nejcastejsich hodnot – Python – Fórum – Programujte.com
 x   TIP: Přetáhni ikonu na hlavní panel pro připnutí webu

Import CSV dat - analyza nejcastejsich hodnot – Python – Fórum – Programujte.comImport CSV dat - analyza nejcastejsich hodnot – Python – Fórum – Programujte.com

 
Hledat
Moderní platforma pro vytvoření vašeho nového webu – Wix.com.
Nyní už můžete mít web zdarma.
Vybavení pro Laser Game
Spuštěn Filmový magazín

Spuštěný nový filmový web Filmožrouti.cz — vše o Avengers, Pacific Rim, Thor, Star Wars…
Petr
~ Anonymní uživatel
712 příspěvků
9. 1. 2018   #1
-
0
-

Ahoj.
Predem bych rád zdúraznil že jsem jsem zacatecnik a pythona jsem si zvolil jelikož potrebuju analyzovat ted i v budoucnu vetsi mnozství dat.
Mám "csv" soubory s rozpetím statisíců až miliony řádku . 

Otazka je jak správne data nacist data z csv souboru a nadale z nich vytahnout nejcasteji se opakovane hodnoty a jejich pocet.
 
Nacitam soubor pres pandase jako dataframe. Ale potom se potykam s castymi errory. 
Ten posledni je ze k provedeni prikazu potrebuji 1-dimenzionalni pole. 

Jak nacitate csv soubor vy, aby s nimi byla dale nadna manipulace?

Dekuji

Nahlásit jako SPAM
IP: 78.102.151.–
Kit+13
Guru
9. 1. 2018   #2
-
0
-

#1 Petr
CSV během načítání ukládám do databáze. S daty se pak pracuje mnohem pohodlněji, šetří to RAM a je to prakticky bez limitu velikosti.

Nahlásit jako SPAM
IP: 194.228.68.–
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
Petr
~ Anonymní uživatel
712 příspěvků
10. 1. 2018   #3
-
0
-

#2 Kit
Aha, super. A poskytnes mi tu cast kodu kde to nacitas do databze? :)
Diky

Nahlásit jako SPAM
IP: 193.86.236.–
Kit+13
Guru
10. 1. 2018   #4
-
0
-

#3 Petr

<?php
$options = array(
    PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION,
    PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC,
);
$dsn = "mysql:host=localhost;dbname=test;charset=utf8";
$pdo = new PDO($dsn, null, null, $options);
$pdo->exec("DROP TABLE IF EXISTS csv_import");
$pdo->exec("CREATE TABLE csv_import(
    id serial,
    nazev varchar(30),
    cena decimal(12,2)
)");
$insert = $pdo->prepare("INSERT INTO csv_import(nazev, cena)
    VALUES (?, ?)
");
$csv = fopen("data.csv", "r");
while(!feof($csv)) {
    $line = fgetcsv($csv, 4096, ',', '"');
    $insert->execute($line);
}

Vyzkoušeno, funkční. Ošetření chybových stavů si snad doděláš sám dle vlastních potřeb.

Nahlásit jako SPAM
IP: 194.228.68.–
Komentáře označují místa, kde programátor udělal chybu nebo něco nedodělal.
Zjistit počet nových příspěvků

Přidej příspěvek

×Vložení zdrojáku

×Vložení obrázku

Vložit URL obrázku Vybrat obrázek na disku
Vlož URL adresu obrázku:
Klikni a vyber obrázek z počítače:

×Vložení videa

Aktuálně jsou podporována videa ze serverů YouTube, Vimeo a Dailymotion.
×
 
Podporujeme Gravatara.
Zadej URL adresu Avatara (40 x 40 px) nebo emailovou adresu pro použití Gravatara.
Email nikam neukládáme, po získání Gravatara je zahozen.
-
Pravidla pro psaní příspěvků, používej diakritiku. ENTER pro nový odstavec, SHIFT + ENTER pro nový řádek.
Sledovat nové příspěvky (pouze pro přihlášené)
Sleduj vlákno a v případě přidání nového příspěvku o tom budeš vědět mezi prvními.
Reaguješ na příspěvek:

Uživatelé prohlížející si toto vlákno

Uživatelé on-line: 0 registrovaných, 33 hostů

Podobná vlákna

Import z CSV formát datumu — založil kralik

Zápis dat do CSV z UDP — založil Michal

Mysql import dát — založil Majo

 

Hostujeme u Českého hostingu       ISSN 1801-1586       ⇡ Nahoru Webtea.cz logo © 20032018 Programujte.com
Zasadilo a pěstuje Webtea.cz, šéfredaktor Lukáš Churý