1 Tråd av webbsmurfen

  • webbsmurfen
  • DC-HSDPA
  • Offline
  • Registrerad: 2012-03-30
  • Inlägg: 268

Tråd: Hjälp att plocka bort dubletter

Hej.

Jag har under årens lopp samlat på mig en hel del data i .txt (vanlig oformaterad text) format och har kommit till slutsatsen att orsaken till att "databasen" blivit så onödigt stor (3gb) är just förekomsten av dubbletter.

Jag skulle vilja plocka bort dubbletterna, men då utan att behöva sitta framför datorn i månader och göra det manuellt. Att göra det via en texteditor är inte ens ett alternativ, då minnet inte räcker till att öppna filen..

Jag minns att det fanns ett kommando man kunde använda i kommandotolken, men jag har glömt detta, och syntaxen för detta. Lite hjälp skulle uppskattas...

OS = Win7 starter
Minne = Onödigt lågt.. 1024mbyte

2 Svar av Jonny

  • Jonny
  • LTE
  • Offline
  • Från: Uppsala
  • Registrerad: 2012-02-17
  • Inlägg: 2,052

Sv: Hjälp att plocka bort dubletter

i kommandotolken - skriv help (enter)

där ser du vilka doscommandon du har tillgång till.

när du hittat det som verkar bra så skriver du namnet på det "kommandot" och lägger till (med ett mellanslag) /?
du får då dom tilläg som finns till det kommandot du valt.

Sanningen är i likhet med moralen, något relativt: det finns inga fakta, bara tolkningar.
Asus main Router AC68U, 2st poynting riktantenner,5st Rt N12D1 Routers som Ap & Repeaters, Buffalo NaS, 12st ip cams (thinking, do I got the IP-Cam addict desice? tongue )

3 Svar av webbsmurfen

  • webbsmurfen
  • DC-HSDPA
  • Offline
  • Registrerad: 2012-03-30
  • Inlägg: 268

Sv: Hjälp att plocka bort dubletter

Jag får väl göra linuxkillarna glada..

Jag har tillgång till en linuxmaskin med.. Av någon anledning är alla sådana här grejer enklare i linux..

Någon som kan bidra med kommando i linux samt syntax? (Filen kan vi döpa till 1.txt)

4 Svar av svenix

  • svenix
  • itgubben
  • Offline
  • Registrerad: 2008-05-06
  • Inlägg: 1,062

Sv: Hjälp att plocka bort dubletter

Är det en samling med flera olika filer eller ligger all data i en och samma fil?

Är det samma fil så kan man i Linux t.ex. köra:

cat infil.txt | sort -u > utfil.txt

5 Svar av svenix

  • svenix
  • itgubben
  • Offline
  • Registrerad: 2008-05-06
  • Inlägg: 1,062

Sv: Hjälp att plocka bort dubletter

Såg just att sort kommandot verkar finnas i Win XP också så du kan prova detta i Win 7:

sort infil.txt  /O utfil.txt

6 Svar av webbsmurfen

  • webbsmurfen
  • DC-HSDPA
  • Offline
  • Registrerad: 2012-03-30
  • Inlägg: 268

Sv: Hjälp att plocka bort dubletter

svenix skrev:

Är det en samling med flera olika filer eller ligger all data i en och samma fil?

Är det samma fil så kan man i Linux t.ex. köra:

cat infil.txt | sort -u > utfil.txt

all data ligger i en fil..

7 Svar av webbsmurfen

  • webbsmurfen
  • DC-HSDPA
  • Offline
  • Registrerad: 2012-03-30
  • Inlägg: 268

Sv: Hjälp att plocka bort dubletter

svenix skrev:

Såg just att sort kommandot verkar finnas i Win XP också så du kan prova detta i Win 7:

sort infil.txt  /O utfil.txt

Hmma... Den sorterar bara i bokstavsordning.. den plockar inte bort dubbletter dock sad

8 Svar av svenix

  • svenix
  • itgubben
  • Offline
  • Registrerad: 2008-05-06
  • Inlägg: 1,062

Sv: Hjälp att plocka bort dubletter

Prova sort -u i Linux då. -u parametern gör just att den bara visar unika entries. D.v.s. plockar bort dubletter. Se exempel i mitt tidigare inlägg.

9 Svar av webbsmurfen

  • webbsmurfen
  • DC-HSDPA
  • Offline
  • Registrerad: 2012-03-30
  • Inlägg: 268

Sv: Hjälp att plocka bort dubletter

Det funkade finfint Svenix

10 Svar av svenix

  • svenix
  • itgubben
  • Offline
  • Registrerad: 2008-05-06
  • Inlägg: 1,062

Sv: Hjälp att plocka bort dubletter

Kul att höra!  smile