Datasvammel

Archive for the 'Creeper' Category

Att smyga in funktioner

Monday, March 1st, 2010

En enda liten skillnad i en uppgradering från PHP 5.3.0 till 5.3.1 gjorde att Creeper inte längre fungerade. Jag fick ett meddelande om att Creeper inte längre visade några resultat, och det tog en stund att komma på vad felet var, och varför det hade uppstått.

De finurliga människorna bakom PHP tycker att det är en bra idé att föra in nya reserverade ord lite då och då. I Creeper har (numera hade) jag en funktion som heter getHostname som hämtade hostnamn-delen av HTTP-referern som jag vidarebehandlar. Om man lusläser changeloggen för PHP release 5.3.1 hittar man denna obetydliga rad:

Added gethostname() to return the current system host name. (Ilia)

Maken till featurecreep har jag sällan skådat. Kan man inte hålla sig till major-releaser innan man inför sådana här galenskaper? Hur gör folk för att hålla sina PHP-applikationer stabila över tid, när marken under dem gungar så här?

Två år Creeper-statistik

Tuesday, June 2nd, 2009

Jag kom precis på att Creeper varit i drift lite i över två år. Mycket har hänt sedan dess. Men jag tänkte bara kort avrapportera lite av den enklare statistik jag samlat ihop, framtaget för att visa att det ändå finns en liten tillväxt.

Den första bilden visar det antalet totala träffar som Creeper samlat ihop. Här visar dock trenden att tillväxten sakta avtar. Det kanske trots allt finns ett begränsat antal anställda på de olika myndigheterna och partierna som surfar runt på bloggar. Men å andra sidan skulle man ju kunna misstänka att intresset för att läsa bloggar vore ökande.

Nästa graf nedan visar dock tydligt att intresset för att använda Creeper är stort hos bloggare och andra webbtjänster. Antalet användare fortsätter att öka. Denna graf visar helt enkelt antalet referenser till Creeper som Creeper ser (med mindre statistiska justeringar).

Antalet myndigheter som får träffar är ganska stabilt, med mindre lyft då jag faktiskt lägger till nya IP-adresser då och då till tjänsten. Detta visar denna graf ganska bra:

Den sista grafen visar enkelt bara hur många olika IP-adresser jag totalt ser över tiden. Denna siffra beror både på om jag lagt till nya IP-adresser till Creeper, men även nätkonfigurationsfrågor hos myndigheterna. Oftast har man en eller ett par gateways ut på Internet, och dessa ändras och flyttas med tiden. Man lägger också till nya IP-adresser inom de olika organisationerna med tiden.

Så sammantaget kan man väl säga att trafiken sakta ökar. Men du som läser det här får gärna hjälpa till att öka övervakningen av myndigheter ytterligare. Hur du gör kan du läsa på den lilla hjälptexten.

Favorit i repris – Regeringskansliet censurerar

Thursday, February 5th, 2009

Jag bloggade om Regeringskansliets censur redan för ett och ett halvt år sedan under rubriken Vad har jag nu ställt till med?

Det verkar dock inte som om Regeringskansliet implementerade sina censurfilter då, utan nu är det ett nytt förslag på implementation som läggs fram enligt IDG.

Ingenstans uppges anledningen till varför de vill filtrera sina nät. Vill de att arbetsplatsen ska vara en helt skyddad verkstad? Skygglappar på! Eller är anledningen att de inte vill, som jag spekulerade förut, fastna i Creepers filter när de surfar “farligt” på den riktiga webben? Vi kan väl när vi ändå håller på att bädda in de styrandes verklighet i bomull, även censurera svensk dagspress för dem.

Regeringskansliet har lite nya nät

Sunday, January 18th, 2009

Jag fick en timme över till att leta lite fler nät för Creeper idag. Regeringskansliets tekniker har varit i farten och skaffat sig en hel mängd nya nät. Det kanske är dags för dem att rensa upp rejält i sina nätverk snart, det verkar bli trassligt. Dessa är nämligen alla deras nya nät:

194.16.84.160 - 194.16.84.167   Regeringskansliet
195.84.103.128 - 195.84.103.191 Regeringskansliet Förvaltningsavdelning
195.84.15.32 - 195.84.15.47     Regeringskansliet Förvaltningsavdelning
195.84.76.0 - 195.84.76.255     Regeringskansliet Förvaltningsavdelning
212.181.33.112 - 212.181.33.115 Regeringskansliet
212.181.33.12 - 212.181.33.15   Regeringskansliet
212.28.207.32 - 212.28.207.63   Regeringskansliet
217.77.240.177 - 217.77.240.177 Regeringskansliet
217.77.247.160 - 217.77.247.163 Regeringskansliet
62.95.13.160 - 62.95.13.175     Regeringskansliet
81.216.66.0 - 81.216.66.31      Regeringskansliet Förvaltningsavdelning
91.199.170.0 - 91.199.170.255   Regeringskansliet

Fler IP-adresser övervakas

Tuesday, December 23rd, 2008

Med lite ledighet i ryggen kan man sätta sig ner i lugn och ro och leta lite i RIPE:s databas. Och minsann, har det inte hänt en del på partifronten. Jag har lagt till dessa IP-adresser till Creeper nu:

62.127.100.40 - 62.127.100.47     Arbetsgivarverket
213.80.62.4 - 213.80.62.7         Sveriges Socialdemokratiska Arbetareparti
212.37.27.8 - 212.37.27.23        Sveriges Socialdemokratiska Arbetareparti
213.80.95.40 - 213.80.95.47       Sveriges Socialdemokratiska Arbetareparti
80.252.162.192 - 80.252.162.207   Sveriges Socialdemokratiska Arbetareparti
213.134.125.128 - 213.134.125.135 Socialdemokraterna i Norrbotten
212.209.222.112 - 212.209.222.119 Socialdemokraterna Stockholms Län
213.212.40.16 - 213.212.40.31     Göteborgs Socialdemokratiska Partidistrikt
83.241.199.96 - 83.241.199.103    Skånes Socialdemokratiska Partidistrikt
194.198.255.0 - 194.198.255.255   Moderata Samlingspartiet
212.181.96.224 - 212.181.96.231   Moderata Samlingspartiet i Göteborg
62.20.85.128 - 62.20.85.143       Moderata Samlingspartiet i Halland
213.115.92.240 - 213.115.92.247   Moderaterna i Jönköpings Län
88.131.68.108 - 88.131.68.111     Moderaterna i Malmö Stad
83.241.222.192 - 83.241.222.223   Folkpartiet Liberalernas Riksorganisation
193.15.189.192 - 193.15.189.255   Centerpartiet Riksorganisationen
194.198.96.0 - 194.198.96.255     Organisation Kristdemokraterna
213.115.175.252 - 213.115.175.255 Kristdemokraterna i Jönköpings län

Mer bidrag tas dock gärna emot. Ta en tur runt fritextsökningen

Mediacreeper får upp farten

Monday, November 17th, 2008

Jag har följt Christopher Isenes arbete med MediaCreeper, och gillar idén. Precis som Creeper så funkar MediaCreeper genom att man länkar in en bild på sin webbsajt, skillnaden är att man med MediaCreeper övervakar “gammelmedia” istället för myndigheter.

Nu tror jag att journalister surfar omkring på bloggar och obskyra webbsajter i något högre grad än myndigheter, och det är lättare att försvara varför journalister surfar runt på de mest märkliga ställen på nätet. Det är till och med så att man borde uppmuntra beteendet!

Så här ser bilden för MediaCreeper ut:

Så grattis alla journalister som fastnar i MediaCreepers nät, ni tycks ju inte bara läsa pressmeddelanden och gå på mässor. Eller vad ni gör när ni inte surfar på nätet. :-)

Ny server installerad

Thursday, September 11th, 2008

Nu har jag installerat en helt sprillans ny Quad Core Xeon-maskin för den server bland annat tjänsten Creeper kör på.

Som ni förmodligen har märkt under sommaren så har Creeper och andra tjänster jag kör haft märklig nertid under vissa perioder. Detta har berott på att servern som jag kört allting på har mått allt sämre. Med min nya fina hårdvara borde dessa problem vara åtgärdade. Den gamla trotjänaren hade körts i drygt 4,5 år, så det var Verkligen Dags för en uppgradering på hårdvarufronten.

Själva flytten av innehållet i maskinen börjar jag få rutin på. Den gamla maskinen kraschade dock två gånger under flytten, så det långsamma momentet att flytta /home var det som verkligen tog tid. Det enda uppenbara felet med uppstarten av den nya hårdvaran var SASL-autentiseringen för Postfix. Det tog en stund att felsöka. Men annars verkar ju allting flyta på bra.

Nu får jag nog sova en stund.

Och sluta fundera på vad jag har missat. Vilka cron-job kördes egentligen? Och så vidare…

Just det! Nu finns det prestanda nog så att Creeper ska kunna klara av ännu flera övervakare! Har du ännu inte börjar spåra dina besökare med Creeper är det nog dags nu… Jag vill se vad den nya hårdvaran klarar av!

Nationell Internet-trafik

Tuesday, August 26th, 2008

FradarAlla är väl vid det här laget osäkra på om deras dagliga Internet-trafik färdas över landets gränser. FRA vill ju som bekant lyssna på sådan trafik, för att göra det FRA brukar göra, också i kabel.

Jag noterade att det finns en ny plugin till Firefox som heter Fradar. Den visar användaren ifall trafiken passerar landets gränser. Fiffigt. Men det finns flera problem här. En sak är det som Patrik Fältström skriver i sin blogg, det är svårt att säga vad som är svenskt. En annan är att jag inte hittar källkoden till Fradar. Den är inte publicerad genom korrekta Firefox-kanaler, så koden är inte granskad av den tredje parten heller.

Men det är en rolig idé. Hur kommer jag igång med att skriva en Firefox-plugin? Det kan ju vara trevligt att se om man är övervakad av Creeper när man är ute och surfar, till exempel.

Fin Creeper-grafik

Thursday, July 10th, 2008

En god vän till mig har fått låna hela Creeper-loggarna för att utföra sin statistik-magi på dessa. Detta är hans resultat. Får be om ursäkt för de gigantiska bilderna, men det är nog svårt att få in samma information på mindre bildyta.

Försvarets intressen Försvaret är nyfikna på KD Surfar Knullis Rikspolisstyrelsen och Knullis Var surfar de? Var surfar de mest? Var surfar de förutom istheshit? Vilka surfar mest snusk utanför arbetstid? FMV nyfikna på Jinge Regeringskansliet nyfikna på Jinge

Resultat av Creeper-enkäten

Monday, July 7th, 2008

Nu har det inte inkommit något svar alls på ett tag, och folk har väl gått på semester för länge sedan. Så då är det väl lika bra att bita i det sura äpplet och titta på de svar som inkommit. Totalt 46 personer har svarat på enkäten. Om man ska ta och presentera resultatet så blir det väl per fråga…

Hur väl tycker du att Creeper fungerat generellt?

Högsta värdet var 5, och i snitt tyckte ni 4,15, det vill säga att Creeper fungerat bra.

Tycker du att Creeper kan förbättras?

Här betyder högsta värdet 5 att allt borde göras om och 1 att allt är bra som det är. Snittet var 2,83, i stort sett att det fungerar bra, men att det borde göras lite finslipningar. Ni som svarat 4 eller 5 här, vad ska göras bättre?

Tror du att Creeper haft någon politisk påverkan?

5 betyder stor politisk påverkan, 1 ingen alls. Snittet var 3,07. Själv tror jag inte att det funnits någon politisk påverkan alls, utan det är “gammelmedia” som hakat på ibland och mest pratat etik och moral på arbetsplatsen. Att vissa arbetsplatser varit myndigheter tycks dock vara viktigt, men att övervakning skulle varit något negativt har jag inte hört.

Använder du Creepers RSS-flöden?

Två personer som svarat på enkäten använder Creepers RSS-flöden. Är de dåligt markerade? Högst upp på varje sida på Creeper finns en länk till RSS-flödet för just den sajten eller myndigheten. Det kanske kan göras ännu tydligare?

Tycker du att Creeper ska bevaka fler?

En person tycker inte att Creeper ska utvidga sin övervakning. Resterande fördelas lika på “vet inte” och “nej”.

Om ovanstående är ja eller nej, vilka ska bevakas eller inte bevakas?

Den vanligaste åsikten här är att Creeper ska övervaka samtliga organisationer som betalas av offentliga medel, ända ner på kommunal nivå. Det här tycker jag är tveksamt av flera anledningar. I många verksamheter är det individer som inte arbetar offentligt som använder datorer för internetåtkomst, till exempel bibiotek, arbetsförmedlingar och skolor. Detta gör att ett resultat från en sådan övervakning både blir etiskt ointressant, men även helt irrelevant för Creeper (vars syfte inte är att övervaka Svenne Banan).

Andra grupper som ni tycker att Creeper ska bevaka är lobbyister, enskilda politiker, tankesmedjor och medier. Flera vill också att Creeper har bättre täckning på flera och större webbplatser. Men det sista rår jag inte riktigt över, det är ju upp till innehavaren av webbplatsen att använda Creeper.

Vilken övrig övervakning av offentliganställda tycker du behövs?

Svaren på denna blev ungefär som i föregående fråga, men med ett lite mer specificerat innehåll. Övervakning av politikers hemmanät, automatisk analys av offentliga dokument och att övervakning ska ske med bild och ljud. Här har ju Creeper lite kvar att göra. :-)

Hur väl tycker du att Gammelmedia sköter sin bevakning av makten?

1 är dåligt, 5 är mycket bra. Medel på denna är 1,46. En sågning. Men det var väl inte helt oväntat heller.

Hur väl tror du att FRA kommer att sköta sin övervakning av dig?

1 är dåligt, 5 är mycket bra. Medelvärdet blev 2,61. Det lustiga är att svaren pendlade mellan extremvärdena 1 och 5. Kanske för att “dåligt” betyder bra, och att “mycket bra” betyder att man är rädd att FRA kommer att övervaka alla mycket bra. Jag vet inte.

Tror du att övervakning generellt kommer att öka eller minska inom de närmaste tio åren?

Två av svaren var “varken eller” och “vet inte”, resten var homogent “öka”. Så, om alla tror att övervakning generellt kommer att öka, varför borde vi inte anpassa lagar och regler efter detta? Att stoppa den generella övervakningstrenden verkar ju ingen tro på. I ett blogginlägg från december skriver jag detta:

Men istället för att diskutera integritet kanske man ska styra debatten om hur man faktiskt vill att framtiden ska se ut, när övervakningen kommer att vara ett faktum. Jag har hört väldigt få diskutera detta. Inte ens de flesta framtidsböcker som diskuterar singulariteten och virtuella världar diskuterar man särskilt mycket integritet.

Jag tror fortfarande att det är värt att diskutera.

Uppdaterade IP-adresser för FMV och Försvarsmakten

Tuesday, July 1st, 2008

FMV var så vänliga och påpekade att det tydligen skett förändringar i nätstrukturen. Så jag har förändrat några de adressblock som finns i Creeper. Det gamla nätet 193.241.0.0/16 som tillhörde FMV ser nu ut såhär:

193.241.0.0 - 193.241.211.255 Försvarsmakten
193.241.212.0 - 193.241.212.255 Försvarsstaben
193.241.213.0 - 193.241.251.255 Försvarsmakten
193.241.252.0 - 193.241.252.255 FMV
193.241.253.0 - 193.241.255.255 Försvarsmakten

Det gamla nätet 143.118.0.0/16 som tillhörde FMV tillhör nu Försvarsmakten.

Jag borde skriva en kort introduktion till hur man söker reda på nät och dess ägare i RIPE:s databas, så att de som är intresserade av att hjälpa till med uppdateringar av Creepers adressblock kan göra detta. Det behövs nog ytterligare research för att hitta de mindre näten.

Vad tycker du om Creeper?

Sunday, June 15th, 2008

Jag beslöt mig att fråga er alla vad ni tycker om Creeper. Så jag gjorde en enkät som ni kan få fylla i. Kommentera gärna enkäten nedan, och du hittar enkäten på gnuheter.com/creeper/survey.php.

Publicering av enkätresultatet sker när det inkommit tillräckligt många svar för att få ett vettigt underlag.

Full pudel och varför jag ogillar PHP

Wednesday, April 23rd, 2008

PHP är ett väldigt trevligt språk när man ska utveckla någonting kort och enkelt för webben. Som att till exempel utveckla en applikation som Creeper.

Creeper har dock med tiden börjat få lite problem med prestandan, vilket jag löst på olika sätt, bland annat genom att använda XCache för att inte låta PHP kompilera om varje PHP-sida för varje ynka request. Vad jag också provat att optimera är denna kodsnutt (och nu blir det tekniskt):

      Array(
        min => 3256002816, # ip2long('194.18.169.0'),
        max => 3256003583, # ip2long('194.18.171.255'),
        name => 'Försvarets Radioanstalt FRA',
        short => 'forsvaret'
      )

Det jag optimerat är alltså att ta bort funktionen ip2long() för att se om detta ger någon prestandavinst. Det är dock oklart hittills om det lett till någon förändring. Annat än detta:

ip2long() returnerar det heltal som finns i min och max ovan. Problemet med PHP:s variabelhantering är att man aldrig vet vilken datatyp som används. Hade jag kunnat bestämma att max och min skulle vara unsigned 32-bitars integers hade detta fungerat. Nu blir det unsigned int om jag använder ip2long() men inte om jag skriver in heltalet i koden själv. Efter att ha letat runt en stund verkar det som om heltal+0 hade fungerat och gett mig en unsigned 32 bit integer, men nu vågar jag inte prova detta utan har konverterat tillbaka koden till att använda ip2long().

Konsekvensen av allt detta då? Jo, alla myndigheter vars IP-adresser fyllt ut alla 32 bitar har blivit minustal. Detta gör att alla jämförelser med tal som jag sedan konverterar med ip2long(), dvs tal jag får via klientens IP-adress, inte fungerar eftersom värdena helt förändrats. Så då har alltså dessa myndigheter sett ut att försvinna från Creeper. Vi får se om loggen fylls upp av lite mer korrekt information nu.

Jag trodde naturligtvis att min kod fungerade utmärkt efter denna optimering och konstaterade att en serialize() på min array med IP-adresser gav samma resultat (den innehöll samma tal åtminsone). Detta är dock ett projekt jag aldrig skrivit några automatiserade tester på. Hade jag gjort det hade jag hittat detta fel omgående.

Någon som har ett förslag på ett bättre programmeringsspråk att skriva enkla små webbapplikationer med? Perl har jag god erfarenhet av, men det blir snabbt knöligt att få in en massa Perl-applikationer i en Apache som driver ett 50-tal webbsajter.

Creeper bortfiltrerad?

Monday, April 21st, 2008

Det verkar som om Creeper blivit bortfiltrerat. Det är över en vecka sedan jag sett trafik komma från Migrationsverket, FRA, FMV eller PTS.

Man kan ju tro att det är så att våra myndigheter inte vill känna sig övervakade längre. Och att de gemensamt på någon myndighetsnivå fattat ett kollektivt beslut att det är ok att filtrera bort “vissa saker” i sina brandväggar. Detta kommer ju mycket lägligt också när man kan konstatera att FRA kommer att få sin efterlängtade avlyssningslag.

Att dölja eller inte

Friday, January 18th, 2008

Det är väl få vid det här laget som undgått nyheten om att Kristdemokraterna surfar porr. Expressen var först ut följt av di.se, och sedan körde dn.se en notis utan att nämna vare sig Creeper eller Gnuheter.

Det har skrivits mycket förut om Creeper, i midsomras skrev Aftonbladet om Creeper och porrsurfning också, TechWorld Säkerhet har skrivit flera gånger, och till och med Ekot rapporterade i somras. Men det var inte det som var det intressanta, utan det som dök upp när jag tittade på det som trillade in på Creeper idag.

I samband med denna “porrskandal” så började plötsligt Moderaterna att dölja sina surfvanor. Tanken som slog mig var att jag instinktivt blev väldigt misstänksam och undrade var de surfade nu, och varför de vill dölja det. Är det så att Moderaterna bytt åsikt och nu tycker illa om Övervakning. Knappast, men de tycker nog att det är väldigt olustigt att själva bli övervakade. Dvs, Creeper kanske gör sitt jobb och utgör någon form av subversiv åsiktskampanj, utan att jag själv behöver göra det.

RSS-feedar på Creeper

Saturday, September 22nd, 2007

Nu har jag lagt till RSS2.0-feedar på Creeper, för i princip allting. Ta gärna en titt på dem och prova lite. Jag har gjort dessa feedar för de senaste träffarna, samt för alla sajter och namn. Det finns en bildlänk från varje rubrik som går direkt till RSS:en.

Finns det nu några andra funktioner som jag borde göra, men som saknas på Creeper?

Vad har jag nu ställt till med?

Sunday, September 2nd, 2007

När jag skapade Creeper var inte mitt syfta att diskutera etik och moral på arbetsplatsen, utan att försöka höja nivån på debatten om övervakning. Nu har det slumpat sig som så att Creeper har listat ut att diverse myndigheter och regeringspersonal har surfat på porrsajter, vilket tyvärr bara har lett till en diskussion om hurivida det är ok att surfa porr på arbetstid eller på för statligt medel inköpta datorer.

För att slippa se porrsurfning på Creeper har nu IT-personalen (tillsammans med socialminister Göran Hägglund) tagit på sig propellermössorna och tänkt till ordentligt. Så nu gott folk så slipper de 6000 datorerna och dess användare slippa se sig själva på Creeper, utan istället får de inte alls surfa till konstiga webbsidor. Det har nämligen installerats ett URL-filter på regeringskansliets nätverk. Göran Hägglund säger detta till DN:

- Det ska inte förekomma att personer i regeringskansliet avsiktligt eller oavsiktligt hamnar på olämpliga sidor, säger han och påpekar att han verkligen inte ser ett begränsat surfandet som någon frihetskränkning.

Nej, olämpliga webbsidor vore olämpligt att hamna på. Särskilt när det kan ses av andra vilka webbsidor de besökt. Samtidigt borde det verkligen vara så att folk som stiftar lagar borde veta vad de stiftar lagar om, och fritt kunna tillgodogöra sig den informationen på nätet, så censur borde ligga riktigt långt borta.

Mer censur på arbetsplatser var ju inte direkt det jag hade tänkt mig skulle vara resultatet av Creeper. Min åsikt om detta är snarare att om personalen har svårt att låta bli att surfa porr på arbetstid kanske de skulle ges några mer intressanta arbetsuppgifter eller annan hjälp. Inte helt förhindras att surfa till en stor mängd webbsajter. Vidare undrar jag hur dessa spärrar fungerar, någon på Regeringskansliet surfade ju porr så sent som i förrgår.

Tyvärr kommer vi in på en diskussion som jag skulle vilja slippa. För hände med diskussionen om övervakning?

• DN.se: Inget porrsurfande på regeringsdator

Ny funktionalitet

Thursday, July 5th, 2007

Jag har funderat lite på hur jag ska lösa visning av enskilda bloggar och myndigheter på Creeper. Nu har jag fixat till den enklast möjliga lösning jag kom på, enkla korslänkar mellan myndigheter och sajter. Så nu kan man enkelt kolla vilka som porrsurfat eller vilka sajter som FRA gillar att besöka. En asterisk i senaste-listan ger de som besökt sajten, och ett klick på myndigheten ger de sajter som de besökt. Enkelt och smidigt.

En sökning ger alltid som mest de 500 senaste träffarna. Håll till godo.

FRA-förslaget fördröjs

Thursday, May 24th, 2007

Stackars svenska trupper som befinner sig utomlands. Så sammanfattar regeringen sin position vad gäller fördröjningen av beslutet. Detta är ett svagt argument, men det låter som om det skulle kunna bita. Men exakt vilken trafik som färdas över Sveriges gränser är det som FRA (nej, regeringen…) tror skulle kunna avlyssna som hjälper dessa trupper? Gömmer sig Usama i Dalarna och skickar okrypterade mail till Afghanistan?

Tillsvidare nöjer jag mig med att titta på när Västkustens Marinkommando slösurfar och när Rikspolisstyrelsen surfar porr. Om det är sådant som våra skattepengar går till slutar jag snart betala skatt.

Tysk Creeper – uberwach.de

Tuesday, May 15th, 2007

Nu har den tyska versionen av Creeper lanserats av Dirk Adler, uberwach.de.