Porovnávanie riadkov súborov (10 000 a viac) – .NET – Fórum – Programujte.com

zdravím,

mám 2 súbory .txt viac ako 10 000 riadkové, pekne si ich načítam do List<string>, a napísal som si takýto algoritmus, ktorý kontroluje, či sa riadok v prvom súbore nachádza aj v druhom.

Ak sa nenechádza, tak zvyši počet riadkov nenachádzajúcich sa:

foreach (string line in prvyKomplex)

            {

                foreach (string riadkyDruhe in druhyKomplex)

                {

                    if (line == riadkyDruhe)

                    {

                        exists = true;

                    }

                }



                if (!exists)

                {

                    riadkovNenachadzajucich++;

                    

                }

                exists = false;

            }

Pro začátek alespoň tím, že za

exists = true;

break

Je opravdu potřeba procházet řádek po řádku, abys mohl soubory porovnat? Nebylo by lepší spočítat hashe daných souborů?

To djanosik : hash table by to hledani docela urychlila.. ostatne i hledani podle ciselneho hashe by to popohnalo.. pokud by tam nebyly kolize

JJ, ten break tam mám, je tam ešte niečo, čo spracúvava ten riadok, zabudol som dokopírovať to break.

Potrebujem to po riadku, lebo následne tie riadky musím spracovať a rozdeliť na tie ktoré sa nachádazjú a tie ktoré nie a pokračovať len s tými čo sa nenachádazjú.

MD5 mi vráti len hodnotu súboru, to asi nepôjde aj na riadky, však?

Lépe ovšem indexování - tj. rozdělením řádků do skupin dle počátečních N znaků řetězce. Pak prohledáš vždy jen příslušnou skupinu a když není shoda tam, není vůbec. Už od N=1 uvidíš výrazné zrychlení, pro 2 nebo 3 to bude jako blesk. :smile1:

Při načítání souboru nesypeš řádky do jednoho velkého List<string>, ale máš zvlášťList<string> pro všechny znaky začínající "AA", zvlášť pro "AB"... až "ZZ" (když předpokládám že jsou tam jen písmena a N=2).
Když pak chceš zjistit jestli soubor obsahuje "AHOJ", pouze prohledáš List<string> s řetězci začínající na "AH".
Urychlení bude odhadem v řádech stonásobků - záleží na konkrétních datech.

No len to, čo získam pri porovnávaní, statím pri načítavaní súboru, lebo musím kontrolovať čím začína nový riadok.

Ale celkovo som sa zbavil List<>, a urýchlilo sa mi to.

String textak = stream.ReadToEnd();
string[] riadkz = Regex.Split(textak, "\r\n");
foreach...



Toto mi skrátilu dobu od načítavania , na menej než polovicu v priemere. Takže to mi momenátlne plne postačuje :-)

Ale díkes za to "indexovanie", raz to určite skúsim