Runeberg

runeberg@lists.lysator.liu.se

299 discussions

Re: [Runeberg] OCR-rekrytering
by Roger Persson 24 Mar '05

24 Mar '05

Hej! 2005-03-19 kl. 14.43 skrev Lars Aronsson: > Hans skrev: > >> fre 2005-03-18 klockan 22.11 skrev Lars Aronsson: >> >>> Bry sig ska man definitivt och scriptet fungerar när det får rätt >>> sorts filer, men något har blivit fel i versionen du skickade. >>> >>>> Radbrytningarna i OCR-textfilerna (jmf. >>>> http://runeberg.org/naturoch/gotaland/0012.html) blev så här: >>> >>> Ja, det ser onekligen konstigt ut. Den ZIP-fil som du har laddat upp >>> har två filkataloger, "ocr" och "hyphen", där filerna i den senare >>> saknar radbrytningar, och så långt är allt väl. Men filerna under >>> "ocr" har radbrytningarna på konstiga ställen, nämligen precis så >>> som det nu ser ut på webben. Om du själv tittar på ocr/0012.txt >>> så ser du detta. >> >> Nu undrar jag lite vad du pratar om, faktiskt. Vad jag kan se är det >> bara jag som hackat på upload.pl som tar hand om uppladdade OCR-filer, >> och jag har aldrig skrivit kod för att hantera mer än en uppsättning >> filer. > > Jag pratar mest om vilka filer Roger hade laddat upp och vad jag > möjligen kunde göra av dem, med eller utan script. Det verkar som > om hans Omnipage-program uppför sig annorlunda, så jag vet inte > vilka råd jag ska ge. Jag tittade närmare på detta och vände mig till bash-prompten för att lösa det hela... Nu blir det nästa "preussisk" radbrytning. :-) Hursomhelst, min spelar det någon roll hurvida radbrytningen är ett CR (0x0D) eller LF (0x0A) tecken? När jag laddade upp "Naturbeskrivning Götaland" (http://runeberg.org/naturoch/gotaland/) använde jag CR-tecken. Eller ska jag testa och ladda upp filer med LF-radbrytning på http://runeberg.org/naturoch/norrland/ för att se om det spelar roll? Inväntar svar... Häls Roger

2 2

Jag, och fritextsökning
by karl wettin 24 Mar '05

24 Mar '05

Hej runeberglistan, jag heter Kalle och har tidigare lovat att korrläsa Olaus Magnus "Historia om de nordiska folken" den dagen verket läggs till. Att jag i dag gick med på listan beror dock på något helt annat. På wikin såg jag att ni är ute efter fritextsökning annan än det som Google tillhandahåller. Jag har jobbat ganska mycket med sånt och kan fixa en relativt bra lösning. En väldigt enkel och fullt fungerande men kanske inte så optimal lösning skulle vara att köra Egothor out-of-box mot siten. Kodar jag lite för att plocka ut enbart relevant text skulle det kunna bli riktigt bra. Det som skiljer Egothor från andra öppna Trie är den otroligt fina unversal-stemmern, d.v.s. sökmotorn kan få träffar på ord i dess grundform, även om man sökt på ordet i en helt annan form, och vice versa. Egothors algorithm för detta är helt matematisk och baseras på den data som finns i sökträdet, vilket är extra intressant då språket i de flesta verken inte är speciellt modernt. Mer konkret förklaring av stemming: en sökning på "bilmotorer" skulle resulterar i träffar på "bilmotor", "bilmotorerna", et.c. Google har inte stöd för något sånt. Innan jag börjar kan det vara bra att veta om jag behöver ta någon speciell hänsyn till webservern, kanske vill ni att jag inte tankar mer än någon sida per minut, identifierar mina anrop med en viss user-agent eller liknande? Naturligtvis har jag baktankar med mitt erbjudande. Jag är en tvättäkta datahamster som tycker om att analysera och klassificera text. Runeberg skulle vara ett intressant corpus att labba med. -- kalle

1 0

Femton hyllmeter
by Lars Aronsson 23 Mar '05

23 Mar '05

Projekt Runeberg, (Summary in English below) Tisdagen den 22 mars 2005 uppnådde Projekt Runebergs samlingar 300.000 boksidor i digital faksimil, motsvarande 15 hyllmeter! Det är många nyheter som presenteras på vår startsida, http://runeberg.org/ Tidigare milstolpar var: 13 dec 1992 Projektet grundas med e-texter 1993 1994 1995 1996 1997 15 okt 1998 Första digitala faksimilutgåvorna 10 dec 1998 14.000 sidor = 0,7 hyllmeter i digital faksimil 3 apr 1999 27.200 sidor = 1,3 hyllmeter 2000 2001 30 mar 2002 50.000 sidor = 2,5 hyllmeter 29 jun 2003 100.000 sidor = 5 hyllmeter 16 jan 2004 150.000 sidor = 7,5 hyllmeter 22 jun 2004 200.000 sidor = 10 hyllmeter 30 nov 2004 250.000 sidor = 12,5 hyllmeter 22 mar 2005 300.000 sidor = 15 hyllmeter Vår målsättning att fördubbla samlingen varje år har vi inte riktigt lyckats med, eftersom det nu var 14 månader sedan vi var hälften så stora som idag. Detta kan vi ta igen om vi prickar in 400.000 sidor under juni. Och i de senaste dagarnas utveckling finns det tecken som tyder på att vi skulle kunna klara det. Jag har själv slutat köra OCR, vilket ger mig mer tid att scanna. Flera nya frivilliga har ryckt in och börjat köra OCR. Och dessutom har Hans Persson fått en likadan scanner som jag har. Så nu är vi två personer som scannar snabbt i stället för en halv. == ENGLISH SUMMARY == On Tuesday March 22, 2005, Project Runeberg's collections in digital facsimile reached 300,000 pages, corresponding to 15 linear metres of shelving ("hyllmeter" in Swedish). In January 2004, fourteen months ago, we had half as much. This means we have not been able to double our size in a year, as is our goal. But in the last few days we have started to work faster, so there is still hope for the future. The table above show our past milestones. A link to a growth prediction report and many recently digitized works are now available on our front page, http://runeberg.org/ -- Lars Aronsson (lars(a)aronsson.se) Projekt Runeberg - fri nordisk litteratur - http://runeberg.org/

1 0

Re: [Runeberg] OCR-rekrytering
by Roger Persson 19 Mar '05

19 Mar '05

Hej ! 2005-03-19 kl. 09.32 skrev Hans Persson: > fre 2005-03-18 klockan 22.11 skrev Lars Aronsson: > >> Bry sig ska man definitivt och scriptet fungerar när det får rätt >> sorts filer, men något har blivit fel i versionen du skickade. >> >>> Radbrytningarna i OCR-textfilerna (jmf. >>> http://runeberg.org/naturoch/gotaland/0012.html) blev så här: >> >> Ja, det ser onekligen konstigt ut. Den ZIP-fil som du har laddat upp >> har två filkataloger, "ocr" och "hyphen", där filerna i den senare >> saknar radbrytningar, och så långt är allt väl. Men filerna under >> "ocr" har radbrytningarna på konstiga ställen, nämligen precis så >> som det nu ser ut på webben. Om du själv tittar på ocr/0012.txt >> så ser du detta. > > Nu undrar jag lite vad du pratar om, faktiskt. Vad jag kan se är det > bara jag som hackat på upload.pl som tar hand om uppladdade OCR-filer, > och jag har aldrig skrivit kod för att hantera mer än en uppsättning > filer. > Jag zipade filen så den fick följande struktur ocr.zip ocr/ 0001.txt 0002.txt ... hyphen/ 0001.txt 0002.txt ... och enligt min mening skötte sig upload.pl jättebra men jag vet inte om den brydde sig om hyphen-katalogen. > Jag har tänkt att lägga dit det, men jag har inte hunnit göra något åt > det (jag hade planer på att ta emot två zip-filer istället för en med > två underkataloger, men det gör väl inte så stor skillnad hur man > hanterar den delen). Du får gärna titta på det, för du vet nog bättre > hur sammanslagningen av filerna med och utan avstavningar fungerar. > Jag önskar att det räcker med en fil "ocr.zip" som har liknande struktur som ovan. På Mac OS har man börjat packetera program och vissa dokument (.html, .rtf, etc.) som kataloger (.htmld, .rtfd, etc.) med texten och bilder på ett och samma ställe, och det tycker jag är en superb idé. Även Sun's OpenOffice använder (zippade) kataloger som dokumentfiler.

1 0

Re: [Runeberg] OCR-rekrytering
by Roger Persson 19 Mar '05

19 Mar '05

2005-03-18 kl. 22.11 skrev Lars Aronsson: > > > Vad har du för OCR-program? Har du ställt in på "keep line breaks" > när du sparade versionen i "ocr"-filkatalogen? > OmniPage verkar inte ha en liknande inställning som bevarar ursprunglig textbredd. Eller åtminstone har jag inte lyckats med det, för man definierar bara area (alt. låter den automatiskt få identifiera arean) som ska OCR:as, därefter sparas den som "ASCII Text w/Line Breaks". /Roger

1 0

Re: [Runeberg] OCR-rekrytering
by Roger Persson 19 Mar '05

19 Mar '05

Skickar om brevet då jag upptäckt att jag sänder till fel destination hela tiden :-) ------------------------------------------------------------------------ ------------------- Hej! Radbrytningarna i OCR-textfilerna (jmf. http://runeberg.org/naturoch/gotaland/0012.html) blev så här: 4 SKÅNE. inte hoppa ner från vagnen för att öppna en grind, som man oupphörligt får göra i Småland. Man ser inte några diken vid åkrarna, ty lantbrukarna leda bort (let överflödiga vattnet genom rör, som de lägga ned i jorden och som inte synas. De tycka det är oförståndigt att ha öppna diken, för då mister man ett stycke jord, som man annars kunde så säd eller klöver på. Här och där går en låg jordvall fram mellan fälten, och på den växer en rad pilbuskar; då vet man, att där går gränsen mellan två jordbrukares ägor. Ganska ofta har man planterat pilträd också efter vägarna. Dessa pilar se rätt besynnerliga ut, ty deras stam är tvärt avstubbad, och från stubben skjuter det upp liksom en kvast av tunna, gröna kvistar. Det beror därpå, att, eftersom det på slätten är så ont om skog och ved, brukar folket stubba pilarna ungefär vart fjärde eller femte år för att använda grenarna till bränsle. Pilarna äro så livskraftiga träd, att de kunna tåla denna misshandel, och skjuta snart nya skott igen. Pilbuskarna användas också men avskaras nere vid roten, och de större grenarna säljas till band kring trätunnor. Ser man en kulle här på slätten, så kan man vara säker om att det är en gammal ättehög. Vill man ha en utsikt, så går man upp på en sådan, eller ännu bättre är det att gå upp i ett kyrktorn. Däruppifrån ser man då slätten som ett hav av gröna fält; som öar i detta hav ligga små grupper av träd, och innanför var och en av dem sticker det upp ett tak. Det är gårdarna. Detta är alldeles en motsats till skogsbygden: där är det skogen, som ser ut som hav, och åkrarna och ängarna, som likna öar. Visst är skogsbygden vacker med sina höjder och sjöar och forsar, men slätten är vacker den också, i synnerhet om sommaren, när sä- Är dessa former av radbrytningar i paragrafen något att bry sig om, och är detta i så fall en framtida uppgift för scriptet som slår ihop ord med bindestreck? Häls Roger PS. Notera att ordsammanslagning ("hypheneringen" eller vad man ska kalla det?) omfattar INTE specialfallet då för- och efterledet finns i två filer. DS. 2005-03-16 kl. 12.01 skrev Hans Persson: > ons 2005-03-16 klockan 11.26 skrev Roger Persson: > >> Nu har jag börjat med "Natur och arbetsliv i svenska bygder" så jag >> hoppas att ingen har börjat eller kommer att börja OCR:a denna. > > Det är i alla fall ingen mer som talat om för mig att de gjort det. Om > du nöjer dig med att ladda hem ett verk i taget och köra OCR på, och > ladda upp det innan du tar nästa tror jag att risken är väldigt liten > för att du ska kollidera med någon annan. > > Det finns lite instruktioner på http://runeberg.org/wiki/OCR som inte > är > länkade från nedladdningssidan. Jag ska se till att de blir det. > > Hans > > -- > +---------------------------------------------------------------------- > + > | Hans Persson http://www.lysator.liu.se/~unicorn/ > | > | unicorn(a)lysator.liu.se http://runeberg.org/ > | > +---------------------------------------------------------------------- > + >

1 0

Re: [Runeberg] Poaching
by Ingemar Olson 19 Mar '05

19 Mar '05

> >Ingemar, har du någon som helst grund för att uttala dig om vad jag vill >göra? Jag är en av "vi andra som korr-läser" och jag tror inte du har någon >som helst aning om huruvida jag vill "helst själv göra slut på det jag >börjat" eller inte. Jag ser gärna att andra korrläser samma verk som jag >håller på med, och jag skulle bli lätt irriterad om det visade sig att man >kastade bort en månad bara för att någon av missriktad hänsynhet väntade >för att se om jag skulle ändra något mer. > >För mig har det varit självklart att vem som helst kan korr-läsa vad som >helst när som helst på Runeberg. Om du har fått något annat intryck så kan >jag ju förstå om du är irriterad. Är det någon instruktion eller annan sida >som ger ett vilseledande intryck på den här punkten? Borde i lägga till >något stycke i korr-instruktionen om att andra kan hoppa in och redigra i >verk som man själv håller på med? > > Christer Romson Absolut, du har rätt. Det står inget om vad man kan eller inte kan. Och det är inga nyheter för mig heller. Jag visste det när jag började korr-läsa. Men i alla fall ... Förlåt om jag växlar till engelska nu (det är ju det "officiella" Runeberg språket) men jag tror inte jag kan hitta de rätta orden på svenska. Jag hoppas att ni förstår mig ändå. This has to do with why I am doing anything for Project Runeberg at all. It is a personal statement and may not apply to everyone, or anyone, else. Nonetheless, I would be surprised if I am alone. First of all let me say that the only work I have done anything with is Svenska Familj-Journalen. It's a monthly magazine - about 400 pages per year. I like reading the articles, it gives me a small measure of historical perspective of what people were thinking and doing "back then". I have no interest in novels or encyclopedias or technical manuals. There are many of those types of work available in Runeberg and if that is what you like to read and work with, then that's great. But they're not for me. Maybe I should just read the pages and not participate in the project at all? Alas, I also like the idea of making things better for those who come after me, so I "joined up". That aspect too gives me a certain satisfaction. So you see that I'm not in this just for the sake of proofreading as many pages as possible. My main reason for participating is because it gives me some pleasure and a feeling of accomplishment to do so. I don't see that anywhere in the Project goals, nor do I see how it could be. The purpose of the Project *is* to proofread as much as possible. But that is not *my* goal. If you think about it I suspect that most of you share this feeling. After all, you are all getting paid the same amount of money as I am. One of the few things that I can *see* that represents the amount of effort I have spent on this activity is that green proof-bar line. Every day I look at that green line and I say to myself: I DID THAT! I can see that it's a little longer every day. Every millimeter represents an hour of my time. I am proud of it! It's my paycheque - the only visible confirmation that I've done anything at all. It makes me happy to make that dark green line grow longer. Proof-reading a page here and a page there does not give me the same feeling of achievement. Maybe *you* don't care about seeing any confirmation of what you've done, but *I* do care. So when that green line moves without me having done anything, then it also ceases to mean anything. And there goes my payback - out the window. In Svenska Familj-Journalen there are 19 volumes. Only two of those were all green. I did those two. No one else has been interested enough to make a concerted effort to complete any of those volumes. Just me. And I was 90% of the way through a third volume. Then someone decided that they just had to jump into the line in front of me and complete the last little bit. WHY? It wasn't a coincidence that the first 90% of the line was green. It was because someone (me) was deliberately going through it from start to end. It was obvious. If *you* do nothing at all, the line will continue to grow (as I work on it) and soon the volume will be complete anyway. And the Project editors will be pleased to have another volume done. There are many thousands of pages available in the other volumes - proof-reading any one of them will also contribute to the Project. The thing is that there is nothing *special* about any of those. The only *special* pages were the ones that I hadn't got around to yet. They stood out like a sore thumb, a bunch of red and light green at the end of a long line of dark green. They were special because *I* had made them special. Not you. So let me continue. Now I am going to continue where I left off and re-proof-read the remainder of the volume anyway. I can see that it is not in fact "all ok", and I really DO want it to actually be correct. I will have to scrutinize the text just as carefully now as I do when reading a previously untouched page. But now it will not be a pleasure. There will be nothing to show me what I have accomplished. So it will just be a chore. So there you have it. You may not agree with what I have written. It is not in agreement with the official Runeberg policy, but that is how I feel about it I now consider this topic closed and do not intend to comment further. Ingemar

1 0

Poaching
by Ingemar Olson 18 Mar '05

18 Mar '05

OK, jag vet inte vad det heter på svenska. Tjuvjakt, eller något liknande. Jag hade hållit på med Svenska Familj-Journalen, 1872. Det var nästan klart med hela årgången, bara sista numret kvar. Och då måste jag resa bort ett tag. Nu när jag kommer tillbaka ser jag att någon har "hoppat in" och korr-läst resten. Och det började bara ett par dar efter jag slutade. Är jag den enda som kan lista ut att om det är en korr-stapel som är 90% grönt, så är det klart att någon "håller på" med den? Nog finns det väl många andra verk som ni kan syssla med. Titta tillbaka om en månad, och om stapeln fortfarande sitter på 90%, så fritt fram. Det spelar väl ingen roll för redaktörerna, men vi andra som korr-läser vill väl helst själva göra slut på det vi börjat. (suck) Ingemar

2 1

Re: Kursivt plustecken??
by Bo Lennart Wahlman 18 Mar '05

18 Mar '05

2005-03-17 kl. 18.38 skrev Bertil Holmström: > Nedanstående fråga tror jag intresserar dig: = = = = = = > Denna fråga ställdes nyligen av bo.lennart.wahlman(a)wah.se > > Jag har ibland frågat mig om man får kursivera operatorer. Exempel: > > Kan jag skriva den enkla ekvationen > > a+b+c(x+y)=d Hoppsan, det bidde fel! Så här skulle den enkla ekvationen ha varit: a+b+c/(x+y)=d Och så ramlade en parentes bort. V g läs a + b — c / ( x/i> + y ) = d F'låt! B L Wahlman bo.lennart.wahlman(a)wah.se

1 0

Kursivt plustecken??
by Bertil Holmström 17 Mar '05

17 Mar '05

Hej Anders! Nedanstående fråga tror jag intresserar dig: Bakgrunden är Runebergsprojektet, ett ambitiöst projekt vid Linköpings Universitet att digitalisera nordisk litteratur däribland material med matematiska och fysikaliska ekvationer. Textsidor skannas in och grov-OCR-as i Linköping, frivilliga krafter korrekturläser och korrigerar, och ställs då inför problem som diskuteras med andra medverkande i projektet. Denna fråga ställdes nyligen av bo.lennart.wahlman(a)wah.se Jag har ibland frågat mig om man får kursivera operatorer. Exempel: Kan jag skriva den enkla ekvationen a+b+c(x+y)=d som a+bc/(x+y)=d? eller måste jag krångla till det? I somliga fonter finns inte "kursiva plustecken" och "kursiva minustecken" och "kursiva likhetstecken". Och även om så skulle finnas så stämmer det inte med sättningsregler för ekvationer. Ekvationstypografiskt riktigt är a + b c / ( x + y = d vilket redan nu blev 66 tecken och 20 tecken med den förenklade formateringen. Ursprungstexten ovan innehåller 12 tecken. Värsta fallet allså mer än 5 gånger så långt som ursprunget. Hälsningar bertilh ---------------------------------------------------- Bertil Holmström Ulveliden 15 416 74 Göteborg

1 0

← Newer
1
...
13
14
15
16
17
18
19
...
30
Older →

Jump to page:

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

Runeberg