Det internationale SEO-miljø omkring år 2000 | Del 6

Når man arbejder med SEO i dag, er der ikke mangel på information.

Der findes kurser, konferencer, SEO-værktøjer, blogs, videoer og tusindvis af mennesker, der hver dag fortæller, hvordan Google og søgemaskinerne fungerer.

Sådan var det ikke, da jeg begyndte.

Jeg arbejdede allerede med IT og internet fra 1995, og da jeg fra 1999 for alvor begyndte at arbejde med websites og deres placeringer i søgemaskinerne, havde jeg derfor været en del af internetmiljøet i nogle år.

Og internettet så noget anderledes ud dengang.

Dengang et modem hylede og skreg

Før internettet blev allemandseje, havde vi blandt andet BBS – Bulletin Board Systems.

Vi koblede os op med modem til forskellige systemer og fora. Nutidens IT-folk ville sikkert smile lidt af det, men dengang var det avanceret.

Man kan næsten stadig høre lyden.

Modemmet hylede og skreg, mens det forsøgte at etablere forbindelsen. Når forbindelsen endelig var der, var der ikke tale om streaming, video eller hjemmesider fyldt med billeder.

Vi udvekslede tekst, beskeder, programmer og forholdsvis små mængder data.

Men det var begyndelsen.

Det mærkelige er, at det faktisk kun er omkring 30 år siden.

Vi var mange pionerer, der brugte en stor del af vores fritid på det. Ikke fordi nogen havde fortalt os, at der lå en stor branche og ventede forude. Vi gjorde det, fordi teknikken var spændende, og fordi vi gerne ville finde ud af, hvad den kunne.

Man fandt sammen med andre med den samme interesse.

Først lokalt.

Så på tværs af Danmark.

Og da internettet for alvor kom frem, pludselig på tværs af landegrænser.

Det var på mange måder fundamentet for den måde, jeg senere kom til at arbejde med websites og søgemaskiner på.

Man prøvede noget. Man lavede fejl. Man ændrede koden. Og man prøvede igen.

AltaVista var kongen

Omkring årtusindeskiftet fandtes der ikke én søgemaskine, som sad på næsten hele markedet.

AltaVista var kongen i en periode.

Der var Lycos, Yahoo! og en lang række andre større og mindre søgemaskiner forskellige steder i verden.

Og så var der en forholdsvis ung Google.

Google var kommet til, men var endnu ikke den altdominerende faktor, som Google senere blev.

Det betød også, at arbejdet med placeringer var anderledes.

De forskellige søgemaskiner havde forskellige måder at crawle, indeksere og rangere hjemmesider på, og der fandtes ikke en facitliste, man kunne slå op i.

Ville man vide, hvordan noget fungerede, måtte man i høj grad selv finde ud af det.

Jeg kodede, testede og så på resultaterne.

Hvis noget virkede, prøvede jeg at finde ud af hvorfor.

Hvis noget ikke virkede, gjorde jeg det samme.

Det lyder måske primitivt i dag, men det var faktisk en ganske effektiv måde at lære på.

Man kom helt ned i teknikken.

Søgemaskinerne var langt mere enkle

Søgemaskinerne var samtidig langt mere enkle end dem, vi kender i dag.

AltaVista, Lycos, Yahoo! og den helt unge Google arbejdede selvfølgelig ikke ens, men meget af arbejdet med placeringer kunne dengang føres direkte tilbage til det, der stod i HTML-koden.

Titler, metatags, overskrifter, brødtekst, links, søgeord og placeringen af teksten på siden kunne have meget stor betydning.

AltaVista var i en periode kongen, og her kunne forholdsvis enkle ændringer i kildekoden flytte ganske meget.

Yahoo! var lidt anderledes, blandt andet fordi kataloget og den menneskelige redigering spillede en stor rolle i de tidlige år.

Og Google havde allerede en væsentlig forskel.

Google kiggede ikke kun på teksten på siden. Med PageRank begyndte links mellem hjemmesiderne at få en helt anden betydning.

Det skulle senere være med til at ændre hele spillet.

Men omkring årtusindskiftet var det stadig muligt at komme meget tæt på søgemaskinernes maskinrum ved ganske enkelt at se på HTML-koden, ændre den, vente på næste crawl og se resultatet.

Det var også derfor, at doorway pages, skjult tekst, keyword stuffing og senere mere avancerede former for cloaking kunne have så voldsom en effekt.

Algoritmerne var ganske enkelt lettere at påvirke.

Og når man først havde fundet et mønster, var næste spørgsmål naturligvis:

Hvor langt kunne det presses?

Vi kaldte det ikke altid SEO

I dag kalder vi stort set det hele SEO – Search Engine Optimization.

Så entydigt var sproget ikke omkring årtusindskiftet.

Man var Webmaster, og arbejdet med søgemaskinerne blev beskrevet med betegnelser som Search Engine Placement, Search Engine Position, Submitting to Search Engines, Search Engine Promotion og Link Exchange.

Det fortæller egentlig meget godt, hvordan arbejdet foregik.

Vi arbejdede med at få siderne ind i søgemaskinerne, forstå hvordan de blev læst og derefter få dem så højt placeret som muligt.

SEO og Search Engine Optimization blev også brugt, men betegnelsen havde endnu ikke fået den dominerende betydning, den senere fik.

Derfor bliver det også lidt historisk forkert, når vi i dag tager hele perioden og beskriver alt med nutidens SEO-sprog.

Vi arbejdede med det, der senere blev en hel branche.

Men sproget var stadig ved at finde sin form.

Verden blev pludselig meget mindre

Internettet ændrede samtidig den måde, vi lærte af hinanden på.

Hvor netværket tidligere hovedsageligt havde været dansk, kunne jeg pludselig følge mennesker i USA og andre lande, som sad med præcis de samme spørgsmål.

Hvordan læste søgemaskinerne vores kode?

Hvorfor blev nogle sider indekseret og andre ikke?

Hvorfor rykkede en side pludselig op eller ned?

Hvad skete der, hvis man ændrede HTML-koden, linkstrukturen eller serveropsætningen?

Og ikke mindst: Hvor gik grænsen for, hvad man kunne få søgemaskinerne til?

Der var naturligvis også dengang masser af mennesker, der havde en mening uden nødvendigvis at vide ret meget om teknikken.

Dem lærte man hurtigt at sortere fra.

Jeg fulgte dem, der kom med noget, jeg kunne bruge.

Og derefter testede jeg det selv.

Jim Wilson og JimWorld

En af de personer, der gjorde stort indtryk på mig i de år, var Jim Wilson.

Han stod bag JimWorld og var efter min opfattelse en af de store pionerer i det tidlige internet- og søgemaskinemiljø.

Jim var en dygtig tekniker.

Men det, jeg især husker ham for, var hans villighed til at dele sine erfaringer med andre.

Han skrev om sine test og observationer og delte ud af sin viden på et tidspunkt, hvor der ikke fandtes tusindvis af artikler, man bare kunne slå op i.

Jeg fulgte hans arbejde og havde selv korrespondance med ham mange gange.

Det interessante var ikke at få en færdig opskrift fra Jim Wilson.

Det interessante var at kunne følge og diskutere erfaringer med en person, der selv sad med fingrene nede i teknikken.

Hvis Jim eller en anden dygtig tekniker skrev, at de havde observeret noget, betød det heller ikke, at jeg bare tog det for gode varer.

Jeg testede det selv.

Det har jeg egentlig gjort lige siden.

Jim døde desværre i 2003.

Men jeg synes, han fortjener at blive nævnt, når historien om det tidlige internationale miljø omkring søgemaskinerne skal fortælles.

JimWorld var mere end artikler

JimWorld var ikke bare et sted, hvor man kunne læse Jim Wilsons artikler og følge diskussionerne.

Der fandtes også værktøjer og ressourcer for webmastere, der arbejdede med søgemaskinerne.

I dag har man store SEO-platforme, som crawler et website og afleverer hundredvis af målepunkter i et dashboard.

Dengang var værktøjerne langt mere enkle.

Men de gik ofte direkte efter det, vi havde brug for.

Hvor ligger siden på et bestemt søgeord?

Hvor ofte optræder et søgeord i teksten?

Hvordan ser title, metatags og den øvrige kode ud?

Og hvad sker der med placeringen, hvis vi ændrer noget?

Keyword density var eksempelvis noget, vi faktisk målte.

Hvor mange gange stod et bestemt ord på siden? Hvor stod det? Var det placeret i <title>, overskrifterne og selve teksten?

Det samme gjaldt metatags.

I dag ville jeg ikke bruge tid på <meta name="keywords">, men dengang var metatags en naturlig del af arbejdet med flere af søgemaskinerne.

Man ændrede noget, ventede på næste besøg fra søgemaskinen og så, hvad der skete.

Det lyder simpelt i dag.

Men søgemaskinerne var også langt mere simple.

Man kunne ligefrem bygge sin egen søgemaskine

Et af de mere specielle områder på JimWorld havde navnet Running Your Own Search Engine or Directory.

Det siger næsten mere om perioden end en lang teknisk forklaring.

I dag tænker de fleste automatisk Google, når man siger søgemaskine.

Sådan så verden ikke ud dengang.

Der var mange søgemaskiner, kataloger og specialiserede tjenester, og programmører eksperimenterede også med at bygge deres egne.

Det interesserede mig.

Hvis man ville forstå, hvordan man fik sine sider ind i en søgemaskine, var det naturligvis også interessant at forstå, hvordan systemet i den anden ende fandt, læste og sorterede siderne.

Det var netop den slags tekniske diskussioner, der gjorde de internationale miljøer værdifulde.

Jim Wilson og kampen mod Scumware

Der var også en anden side af Jim Wilson, som siger noget om miljøet dengang.

I 2001 stod han bag Scumware.com og var en markant modstander af det, der dengang blev kaldt Scumware.

Det var blandt andet programmer, som kunne lægge sig mellem brugeren og det website, brugeren besøgte, og eksempelvis indsætte reklamer oven på andre menneskers websites.

Et af de kendte navne fra perioden var Gator.

For en webmaster var problemet ganske konkret.

Man havde bygget sit website, skabt indholdet og skaffet trafikken.

Så kom software på brugerens computer og lagde noget andet ovenpå.

Jim Wilson gik offentligt imod den udvikling.

Det er værd at have med i historien, fordi det fortæller noget om ham og om miljøet.

Der blev eksperimenteret voldsomt med teknikken omkring årtusindskiftet, men det betød ikke, at alle mente, at alt var i orden.

Der blev også diskuteret grænser.

WebmasterWorld og de internationale fora

JimWorld var naturligvis ikke det eneste sted.

Et andet af de store internationale miljøer, jeg fulgte og brugte, var WebmasterWorld.

Her kunne man følge diskussionerne mellem webmastere, programmører og nogle af de mennesker, der arbejdede helt tæt på søgemaskinerne.

Det var et miljø, jeg brugte gennem de tidlige år, fordi der ofte kom tekniske observationer frem, som var interessante at arbejde videre med.

Jeg deltog gennem perioden også i mere lukkede og betalte områder og grupper.

Det interessante var ikke navnene på grupperne.

Det interessante var, hvad der blev diskuteret.

Når man kom væk fra de almindelige diskussioner om metatags, søgeord og placeringer, kunne det blive meget teknisk.

Bag de lukkede døre

I nogle af de mere lukkede miljøer handlede diskussionerne ikke kun om titler, søgeord og links.

Her blev der diskuteret crawler-identifikation, IP-adresser, user-agents, redirects, doorway pages, cloaking og forskellige metoder til at afgøre, hvem der egentlig stod i den anden ende af en request.

Der blev udvekslet erfaringer om søgemaskinernes crawlere, IP-adresser og servernetværk, og der blev diskuteret scripts og forskellige tekniske løsninger.

Det var værdifuld information, hvis man arbejdede med IP-baserede systemer.

Men det var aldrig noget, jeg bare kopierede og stolede på.

En IP-adresse kunne ændre sig. En liste kunne være gammel. Og en user-agent kunne enhver skrive.

Det skulle kontrolleres.

At en crawler kaldte sig Googlebot, betød ikke nødvendigvis, at den kom fra Google.

Derfor blev det interessante ikke alene at identificere en crawler, men at kunne kontrollere, hvem der faktisk stod bag besøget.

Det er også en del af forklaringen på, hvorfor mine egne systemer efterhånden blev mere avancerede.

WebPosition Gold – et værktøj fra en anden tid

Et andet navn, jeg husker tydeligt fra perioden, er WebPosition Gold.

Det købte og brugte jeg omkring starten af 2000’erne.

Det var et af de mere seriøse kommercielle værktøjer fra perioden og samlede flere af de funktioner, en webmaster havde brug for.

Der var blandt andet funktioner som Reporter, Page Critic, Submitter og Traffic Analyzer.

Bare navnene på funktionerne fortæller meget om perioden.

Man kontrollerede sin Search Engine Position.

Man analyserede siden.

Man arbejdede med Submitting to Search Engines.

Og bagefter så man på trafikken og placeringerne.

Det var heller ikke kun Google.

AltaVista, Lycos, Yahoo! og en lang række andre søgemaskiner var en del af billedet.

En webmaster skulle derfor forholde sig til flere forskellige søgemaskiner og deres forskellige måder at behandle en hjemmeside på.

Jeg købte systemerne for at forstå dem

Jeg tror faktisk ikke, der var ret mange værktøjer og systemer på markedet dengang, som jeg ikke købte og testede.

Nogle kostede efter datidens forhold ganske betragtelige beløb, men indtjeningen på arbejdet med placeringer i søgemaskinerne var samtidig enorm. Set i det perspektiv var det småpenge at købe et system, hvis jeg kunne bruge det til at forstå teknikken og logikken bag.

Jeg købte dem ikke nødvendigvis for at tage dem i brug.

Jeg købte dem for at skille dem ad.

Hvordan var de bygget? Hvordan arbejdede de med søgemaskinerne? Hvordan genererede de siderne? Hvor var deres styrker – og måske endnu mere interessant: Hvor var deres svagheder og footprints?

For en stor del af programmerne var konklusionen forholdsvis hurtig.

Testet – og derefter delete.

Der blev solgt mange systemer med store løfter, men når man kom ned i koden og så på, hvad de rent faktisk gjorde, var det langt fra alt, der imponerede.

Efter min erfaring var der på det tidspunkt relativt få systemer, som var virkelig holdbare og bygget af folk, der både kunne kode ordentligt og samtidig forstod søgemaskinerne.

Det var de få gode systemer, der var interessante.

Ikke nødvendigvis fordi jeg ville bruge hele produktet, men fordi der kunne være en god idé, en elegant funktion eller et stykke kode, som viste en anden måde at løse et problem på.

Den viden kunne jeg tage med videre, teste mod mine egne løsninger og bruge, når jeg byggede videre på min egen software.

Mange af de dyrere systemer blev leveret med licenser eller særskilte aftaler, som gav mig meget vide muligheder for at anvende dele af koden til eget brug.

Jeg ved godt, at det måske lyder lidt vanvittigt i dag, men jeg ville have papir på tingene.

Hvis der var en komponent eller et stykke kode, som var godt lavet, ville jeg have en skriftlig aftale om, at jeg måtte anvende og bearbejde det i mine egne systemer.

Jeg har stadig en del af disse aftaler, hvor det fremgår, at jeg på livstid måtte anvende komponenterne til eget brug.

Grænsen var klar: Jeg måtte ikke tage deres produkt og videresælge det til tredjemand.

Det havde jeg heller ingen interesse i.

Jeg ville forstå det og bygge mit eget.

Når værktøjet ikke fandtes, kodede jeg det selv

Problemet var naturligvis, at der langt fra altid fandtes et system, der kunne det, jeg havde brug for.

Så var løsningen forholdsvis enkel:

Så kodede jeg det selv.

Jeg havde flere servere kørende hjemme i huset, og en af dem blev brugt som testserver.

Her kunne jeg udvikle, ændre og afprøve kode uden at risikere noget på de systemer, der allerede var i produktion.

Det var mit eget lille laboratorium.

En idé kunne blive kodet, lagt på testserveren og kørt igennem, indtil jeg kunne se, hvordan den opførte sig.

Virkede den ikke, blev den ændret.

Virkede den, kunne jeg arbejde videre med den.

Det var også her, mange af de købte værktøjer og systemer blev skilt ad og testet.

Produktionsserverne var en anden sag.

De stod ikke hjemme i huset, men var placeret eksternt og efterhånden flere forskellige steder.

I takt med at efterspørgslen steg, og mængden af trafik fra Google voksede, voksede infrastrukturen med.

Det, der var begyndt som udvikling og eksperimenter på egne maskiner, var efterhånden blevet systemer, der skulle kunne håndtere rigtig trafik og mange websites.

Derfor var der en klar forskel mellem test og produktion.

Hjemme kunne jeg eksperimentere.

På produktionsserverne skulle det virke.

To belgiere, footprints og en masse kode

Gennem det internationale miljø fik jeg blandt andet kontakt til to dygtige belgiske udviklere, som stod bag et anerkendt cloaking-system.

Vi havde gennem årene en del kontakt og udvekslede både erfaringer og software.

De havde deres løsninger.

Jeg havde mine.

Og netop forskellene gjorde det interessant.

Deres system var efter min mening teknisk godt, men der var én ting, jeg ikke brød mig om.

URL-strukturen.

Der optrådte bestemte kombinationer af tekst og mange tal i URL’erne. Når jeg så tilstrækkeligt mange af dem, kunne jeg genkende mønstret og se, at et website sandsynligvis anvendte deres system.

Min tankegang var ganske enkel:

Hvis jeg kunne finde mønstret, kunne Google også.

Hvis Googles folk først kendte mønstret, kunne det efter min vurdering bruges som et spor til at finde andre websites, der anvendte samme system.

Det havde jeg også en snak med belgierne om.

Jeg gik derfor den modsatte vej i mine egne systemer.

Der skulle helst ikke være noget ensartet mønster, som kunne bruges til at forbinde siderne med hinanden.

Mine sider kunne eksempelvis ende på .htm, .html, .php eller .asp.

Det betød ikke nødvendigvis, at de underliggende systemer anvendte alle disse teknologier.

Det var ganske enkelt endnu en måde at mudre billedet på.

Hvis nogen undersøgte flere af siderne, skulle det være svært at konkludere, at de kom fra det samme system.

Fra x.cgi til y.cgi

På et tidspunkt udviklede jeg en variant til belgiernes x.cgi.

Den kaldte jeg y.cgi.

Outputtet fra x.cgi blev sendt videre gennem y.cgi, som håndterede den del, der skulle skjule den cachede version.

Det var Google Cache, der var problemet.

Den synlige cache kunne vise den version, Google havde gemt, og dermed afsløre, at Google havde fået serveret noget andet end den almindelige besøgende.

Deres eksisterende system kunne fortsætte med at generere siderne, mens mit y.cgi lagde sig bagefter og håndterede cache-problemet.

Det var meget typisk for den måde, jeg arbejdede på.

Jeg behøvede ikke kassere en hel løsning, fordi jeg fandt en svaghed. Var grundideen eller dele af koden god, kunne jeg bygge videre på den og forsøge at fjerne de spor, jeg selv kunne se.

Og igen var min tommelfingerregel ganske enkel:

Kunne jeg selv finde et footprint, måtte jeg gå ud fra, at Google før eller siden også kunne finde det.

Mange år senere ringede en svensker

Årene gik, og på et tidspunkt forsvandt belgierne fra markedet.

Jeg mistede kontakten med dem og vidste ikke rigtig, hvad der var blevet af deres system.

Så mange år senere ringede telefonen.

Det var en svensker, som fortalte, at han havde købt hele deres platform og efterfølgende opdateret den.

Men der var en del af systemet, han ikke kunne knække.

Mit y.cgi.

Han havde fundet frem til, at det var mig, der havde udviklet den del, og spurgte, om jeg ville forklare den og hjælpe med at sætte den op.

Det havde jeg ikke noget problem med.

Som tak sendte han mig bagefter en komplet version af deres cloaking-engine.

Selvfølgelig testede jeg den.

Det ville næsten have været mærkeligt andet.

Men jeg brugte den aldrig.

Det interessante var, at jeg efter min vurdering stadig kunne finde nogle af de footprints, jeg mange år tidligere havde diskuteret med belgierne.

Det var små detaljer, og de kunne forholdsvis let have været fjernet.

Men i min verden var netop de små detaljer afgørende.

Blackhat, whitehat – eller bare teknik?

I dag bliver perioden ofte beskrevet med meget klare betegnelser.

Whitehat.

Greyhat.

Blackhat.

Så firkantet husker jeg ikke miljøet omkring årtusindskiftet.

Grænserne fandtes naturligvis, og søgemaskinerne havde regler.

Men meget af det, der senere fik faste betegnelser, blev dengang udviklet og diskuteret, mens internettet og søgemaskinerne selv stadig var under kraftig udvikling.

For mig var det først og fremmest teknik.

Hvordan virkede en crawler?

Hvordan identificerede man den?

Hvad læste den?

Hvad gemte den?

Hvad kunne den ikke læse?

Og hvad skete der, hvis man ændrede på den kode, den fik serveret?

Det var spørgsmålene.

Svarene fandt vi ofte ved selv at bygge dem.

En branche, der endnu ikke var en branche

Når jeg ser tilbage på perioden, tror jeg, det er vigtigt ikke at betragte den med nutidens briller.

Det, vi i dag samlet kalder SEO, var ikke den etablerede branche, det senere blev.

Vi var programmører, webmastere, internetfolk og teknikere, som forsøgte at forstå et nyt medie, mens det nærmest blev bygget omkring os.

Nogle sad i Danmark.

Andre sad i USA, Belgien, Sverige eller et helt andet sted.

Geografien betød pludselig mindre.

Hvis personen i den anden ende vidste noget interessant, kunne kode og var villig til at udveksle erfaringer, var afstanden ligegyldig.

Fra de første hylende modemmer og danske BBS’er til JimWorld, WebmasterWorld, Search Engine Placement, WebPosition Gold, egne testservere og udveksling af software på tværs af landegrænser gik der faktisk kun ganske få år.

Det er måske det mest fascinerende, når jeg ser tilbage.

Vi vidste godt, at udviklingen gik stærkt.

Jeg tror bare ikke, nogen af os dengang havde fantasi til at forestille sig, hvor hurtigt det egentlig skulle komme til at gå.

Og vi forsøgte hele tiden at følge med.

Helst et lille skridt foran.

Denne artikel er en del af serien SEO’s glemte historie (1999-2010)

✔ Del 1: IP Delivery – hvordan en af datidens mest avancerede SEO-teknikker fungerede

✔ Del 2: Da Google begyndte den manuelle jagt på danske IP-cloakede websites

✔ Del 3: Maskinrummet – hvordan jeg sikrede de kørende domæner midt i Googles manuelle kontroller

✔ Del 4: Serverlogfilerne fortalte sandheden

✔ Del 5: Google Cache – ven eller fjende?

➜ Del 6: Det internationale SEO-miljø omkring år 2000 (du læser den nu)

□ Del 7: Fra IP Delivery til moderne SEO og AI

□ Del 8: SEO’s vilde år 1999-2006 – erfaringerne bagefter