Načítanie súboru s 20 miliónmi riadkov – Java – Fórum – Programujte.com
 x   TIP: Přetáhni ikonu na hlavní panel pro připnutí webu

Načítanie súboru s 20 miliónmi riadkov – Java – Fórum – Programujte.comNačítanie súboru s 20 miliónmi riadkov – Java – Fórum – Programujte.com

 

guest
~ Anonymní uživatel
24 příspěvků
2. 1. 2012   #1
-
0
-

Zdravím, potreboval by som trošku helpnúť. Skúšam načítavať súbor s veľkosťou 1.14 GB s cca 20 miliónom riadkov. Program však stále spadne pri cca 9,7 miliónoch.

Musím prejsť každý jeden riadok. Neviete ako by som mal postupovať?

Vďaka.

Nahlásit jako SPAM
IP: 85.135.189.–
KIIV
~ Moderátor
+43
God of flame
2. 1. 2012   #2
-
0
-

Potrebujes nutne vsechny radky v pameti? Nebo staci jen zpracovat kazdy radek jednotlive?

(jinak muzes zkusit ponastavovat pametove limity javy)

Nahlásit jako SPAM
IP: 62.168.56.–
Program vždy dělá to co naprogramujete, ne to co chcete...
guest
~ Anonymní uživatel
24 příspěvků
2. 1. 2012   #3
-
0
-

v subore su tagy, ktore ohranicuju jednotlive celky. avsak mozu byt rozne dlhe, od jedneho az po 100 000 riadkov. ja cele take ohranicenie ulozim do pola a ak je to ten co hladam (oznacenia su az na konci) tak ho ulozim do suboru.  

jednotlive prvky pola nasledne premazem prazdmnym znakom. 

srry som este len zaciatocnik :)

Nahlásit jako SPAM
IP: 85.135.189.–
KIIV
~ Moderátor
+43
God of flame
2. 1. 2012   #4
-
0
-

koho se zdravym rozumem napadlo davat "oznaceni" sekce az na jeji konec?

jako mit ini soubor:

a=1
b=2
c=3
[nastaveni]

hlaska1=ano
hlaska2=ne
[hlaseni]

(jinak bys mohl pouzit stavovy automat... ukladat si data az kdyz najdes zacatek spravne sekce)

Nahlásit jako SPAM
IP: 62.168.56.–
Program vždy dělá to co naprogramujete, ne to co chcete...
guest
~ Anonymní uživatel
24 příspěvků
2. 1. 2012   #5
-
0
-

tak ja nacitavam uz existujuci goe file. tiez si myslim, ze by sa za to mohlo vesat :D

ok, ale musel by som prejst celym tagom (spocitat si pocet krkov v tagu )a potom to prejst este raz, nie? ci som zle pochopil?

btw program mi uplne zamrzne, vobec nereaguje, nevyhodi ani chybu. prestane vypisovat subor(pre kontrolu) na obrazovku a procesor so 100% klesne na windowsacke minimum:(

Nahlásit jako SPAM
IP: 85.135.189.–
KIIV
~ Moderátor
+43
God of flame
2. 1. 2012   #6
-
0
-

vypisuj si debug hlasky.. at vis kde ses

Nahlásit jako SPAM
IP: 94.112.32.–
Program vždy dělá to co naprogramujete, ne to co chcete...
liborb
~ Redaktor
+18
Guru
2. 1. 2012   #7
-
0
-

Další možnost je postupovat v tvorbě programu postupně. Když uděláš program co postupně projde, načte a vypíše všechny řádky ... dokončí se? A když pak přidáš první zpracování bez nějakého ukládání ... provede se to? A když pak přidáš ukládání, tak se to zadře? Atd.

Zasláno z mobilního telefonu.

Nahlásit jako SPAM
IP: 82.145.211.–
guest
~ Anonymní uživatel
24 příspěvků
3. 1. 2012   #8
-
0
-

tak uz som to vyriesil. Povodne mi vypisoval riadok na ktorom sa nachadza. Ked som potom tie println zmazal tak nacitavanie prebehlo uplne v poriadku.    Daka za vsetky rady.

Nahlásit jako SPAM
IP: 85.135.139.–
Tomas
~ Anonymní uživatel
560 příspěvků
11. 1. 2012   #9
-
0
-

#1 guest
Aku mas velku ramku? Lebo ked nacitavas zo suboru tak sa ti to uklada do operacnej pameti, a tim padom ked je jej nedostatol tak ti to pada.

Nahlásit jako SPAM
IP: 217.31.39.–
Zjistit počet nových příspěvků

Přidej příspěvek

Toto téma je starší jak čtvrt roku – přidej svůj příspěvek jen tehdy, máš-li k tématu opravdu co říct!

Ano, opravdu chci reagovat → zobrazí formulář pro přidání příspěvku

×Vložení zdrojáku

×Vložení obrázku

Vložit URL obrázku Vybrat obrázek na disku
Vlož URL adresu obrázku:
Klikni a vyber obrázek z počítače:

×Vložení videa

Aktuálně jsou podporována videa ze serverů YouTube, Vimeo a Dailymotion.
×
 
Podporujeme Gravatara.
Zadej URL adresu Avatara (40 x 40 px) nebo emailovou adresu pro použití Gravatara.
Email nikam neukládáme, po získání Gravatara je zahozen.
-
Pravidla pro psaní příspěvků, používej diakritiku. ENTER pro nový odstavec, SHIFT + ENTER pro nový řádek.
Sledovat nové příspěvky (pouze pro přihlášené)
Sleduj vlákno a v případě přidání nového příspěvku o tom budeš vědět mezi prvními.
Reaguješ na příspěvek:

Uživatelé prohlížející si toto vlákno

Uživatelé on-line: 0 registrovaných, 3 hosté

Podobná vlákna

Načítanie zo súboru — založil Grungy

Načítanie matice zo súboru — založil DušanDinoZzo

Moderátoři diskuze

 

Hostujeme u Českého hostingu       ISSN 1801-1586       ⇡ Nahoru Webtea.cz logo © 20032024 Programujte.com
Zasadilo a pěstuje Webtea.cz, šéfredaktor Lukáš Churý