easy_install-2.7 lxml
ikke
easy_install lxml

Dette er mest et notat til megselv, kanskje jeg husker det til neste gang selv nå.

Webscraping anser jeg som et metodisk verktøy som burde brukes mer. Ikke fordi det er den beste måten å gjøre ting på, lagt der i fra, men fordi det er enkelt, nyttig og relativt raskt. Et verktøy for scraping jeg har lekt med er scraperwiki.

Ikke bare kan du lage scrapers (skrapere?) med scraperwiki, du kan også lage views (presentasjonslag). Etter litt leking kom jeg fram til dette:

NRK P3s spillanmeldelser bruker 3 av 6 terningsider til 75% av sine anmeldelser. De har kun brukt terningkast 1 én eneste gang, og da til å feilkategorisere en film. Hva betyr det?

Betyr det at spill, som en relativt ny kulturform, trenger evangelister og entusiaster til å pushe spillets utmerkede egenskaper på oss? Anmelder de ikke de dårlige spillene? (jeg har selv spilt flere spill jeg kunne gitt terningkast 1 og 2 de siste årene, skriver ikke P3 om disse?) Har spillanmeldere noen insentiv for å vurdere "snilt"? Eller har de lave forventninger?

Tja, jeg som gjorde dette av metodisk interesse får vel innse at kvantitative mål ikke besvarer disse spørsmålene, men; det viser at terningkast ikke hverken er normalfordelt eller jevnt distribuert.

.. kanskje jeg får en jevn distribusjon hvis jeg gjør dette på popmusikk eller amerikanske filmer?

Hvordan skattelistene i Norge har blitt brukt har rettvis blir kritisert. Det betyr ikke at offentlige skattelister er noen dårlig idé, det betyr bare at de ideene som ble tatt i bruk i liten grad fulgte intensjonene om et åpent samfunn. Even Westvang i Bengler har en helt annen idé, og viser oss noe du neppe har sett før på denne måten: ved å se sjekkeskattelistene mellom to år viser prosjektet hvordan folk flytter rundt i Norge. Det må da sies å både værer vakrere og nyttigere enn å vite hvilken kjendis som har høyest inntekt?

Debugging av javascript i firebug gjør avlusing til en langt mer oversiktlig og ryddig affære. Å benytte en liten leksehjelp som denne bundlen hjelper deg videre fra alert() og console.log(), som fort blir tungvindt i lengden.

Få alle console-funksjonene rett i handa med Firebug bundle for TextMate.

Last ned .dmg-filen, åpne og dobbeltklikk. Ferdig arbeid..

Åpne menyen i TextMate med cmd + D

Via doctyper.com.

Har du lyst til å studere på MIT? Jeg óg.

I følge denne diskutable (i den mest positive forstand) grafen skårer MIT best på ROI over 30 år. Samtidig koster det flesk.

Å studere på MIT koster flesk, men betaler seg tydeligvis i lengden.

Det virkelig kule er at en del innhold fra utdanningen ved MIT er tilgjengelig på nett. Via MIT OpenCourseWare er fag som "Introduction to Computer Science and Programming" tilgjengelig for alle. Det er faktisk like kult som at bøker er gratis tilgjengelig i offentlige bibliotek. Bare bedre.

På denne nettsiden er videoer av alle forelesningene tilgjengelige. Og om du er en eplefantast eller ellers har iTunes kan du laste det samme ned via iTunesU.

Så innholdet, - kunnskapen kan tilegnes gratis. Med hjelp av MITs forelesere på video. Vitnemålet, nettverket og opplevelsen derimot; det forblir for de få.

Alt i django er mer eller mindre tilgjengelig for å utvides. Koden er åpen, og den som vil knote seg fram til nye løsninger kan bare sette i gang. I denne posten viser jeg hvordan du får tak i verdier fra fra dine modeller fra admin-panelet via change_form.html

Fordelen med rammeverk er selvsagt at noen allerede har tenkt på det aller meste fra før, ulempen er at du ikke vet hva de tenkte da de skreiv koden. Det meste er vell dokumentert et-eller-annet sted, men hvor skal du begynne å leite? Google, så klart, men hvilke søke-termer?

Min klasse i models.py har mange verdier, som dermed er representert med samme kolonne-navn i databasen. Men hvordan henter jeg disse enkeltvis ut når jeg skal redigere objektet fra admin-panelet? Hva heter objektet?
{{ obj.verdi }}, {{ object.verdi }} ?

Hvordan skal man gjette slikt?

Vell, det heter {{ original.verdi }}.
Dette er sakset ut fra min nå redigerte /templates/admin/appname/app/change_form.html (eksempler på appname og app: flatpages/flatpage)

{% block form_top %}
{% if original.url  and original.organization != 'nytimes.com' %}
< iframe src ="{{ original.url }}" width="100%" height="500">
{% endif %}

Ja, jeg vill ha en iframe som viser nettsiden som er laget, men ikke hvis den ligger hos nytimes.com, for de videresender panelet mitt til sin artikkel.

Jeg krangler tidvis med python på sen server som kjører freeBSD, som jeg leier hos subsys.no. Hovedpoenget med prosjektet er å lære django og python for mer effektiv webutvikling/prototyping. Å lære ny teknologi handler ofte, for min del i alle fall, om å sitte fast før jeg får med meg hvordan ting fungerer. Denne posten inneholder info om hvordan legge til foldere på python-stien, slik at importering med "from module import stuff" fungerer. Grunnen til at jeg blogger dette er at jeg glemmer det mellom hver gang det er nyttig, og derfor fint å ha tilgjengelig på nett, for meg og kanskje deg.

I roten på webhotellet mitt (og ditt) ligger det en usynlig fil som heter .bash_profile. Den kan hete andre ting som .bashrc, men i mitt tilfelle altså .bash_profile. Denne kan redigeres med nano, eller andre terminal-baserte editorer.

$ nano .bash_profile

Legg til en ny sti:

export PYTHONPATH=/home/users/dittbrukernavn/mappen_du_vil_adde:$PYTHONPATH

Lagre (ctrl + o i nano).

Du må logge ut og inn igjen via ssh for at dette skal tre i kraft.

For å teste om ting virket kan du printe ut sys.path'n i python:

$ python
Python 2.6.5 (r265:79063, May 21 2010, 00:49:11)
[GCC 4.2.1 20070719  [FreeBSD]] on freebsd7
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys.path

det du får ut på skjermen er da en liste over foldere som er på python-stien:
['', '/usr/local/lib/python2.6/site-packages/setuptools-0.6c11-py2.6.egg', '/usr/local/lib/python2.6/site-packages/pytz-2010h-py2.6.egg', '/usr/local/lib/python2.6/site-packages/Pygments-1.3.1-py2.6.egg', '/usr/local/lib/python2.6/site-packages/boto-1.9b-py2.6.egg', '/usr/local/lib/python2.6/site-packages/lxml-2.2.4-py2.6-freebsd-7.3-RELEASE-amd64.egg', '/usr/local/lib/python2.6/site-packages/simplejson-2.1.1-py2.6-freebsd-7.3-RELEASE-amd64.egg', '/usr/local/lib/python2.6/site-packages/Genshi-0.6-py2.6.egg', '/usr/local/lib/python2.6/site-packages/flup-1.0.2-py2.6.egg', '/home/users/dittbrukernavn/mappen_du_vil_adde', '/usr/local/lib/python26.zip', '/usr/local/lib/python2.6', '/usr/local/lib/python2.6/plat-freebsd7', '/usr/local/lib/python2.6/lib-tk', '/usr/local/lib/python2.6/lib-old', '/usr/local/lib/python2.6/lib-dynload', '/usr/local/lib/python2.6/site-packages', '/usr/local/lib/python2.6/site-packages/PIL']

Hvori den nye forhåpentligvis er å finne.

Jeg har ikke funnet noen måte å lager indexer på i Sequel Pro, og med det har jeg alternativet klart; i terminalen.

Antagelsen er at mysql kjører i MAMP på OSX (10.5.8).

Åpne terminalen.
Skriv inn

/Applications/MAMP/Library/bin/mysql -uroot -p

kvitter med root-passordet som ut-av-boksen er root.

Velg en database:

mysql> USE tabellnavn;

Vis tabellene i databasen (fint å vite hva som finnes):

mysql> SHOW tables;

Sjekk om tabellen har en index:

mysql> SHOW indexes FROM 2009analyse_int;

Lag en index

mysql> CREATE INDEX minNye_index ON tabellnavn(kolonne_du_vil_lage_index_på);

Done.

PS - Note to self: Behovet for indexer dukket for min del opp når jeg skulle hente ut ca 75.000 rader fra en tabell over nettartikler, hvorav noen var duplikater. For å hente ut kun én linje per unike url gjorde jeg følgende spørring:

SELECT *, COUNT(unik_id) AS duplikat
FROM min_fine_tabell
GROUP BY unik_id
ORDER BY duplikat DESC;
 

Da kommer duplikatene (med antall større enn 1) øverst, følger alle som er unike.

CocoaMySQL er en fantastisk liten klient til DBMSet mySQL. For Mac. På tross av at cocoamysql alltid fikk jobben gjort, så ser videreføringen i Sequel Pro ut som et steg opp.

Sequel Pro GUI.

At CocoaMySQL hverken var fullt av fancy funksjoner eller revolusjonerende teknologier var aldri noe hinder for arbeidsflyten for oss som stort sett jobber med databaser for web. Sequel Pro følger i samme fotspor. Det er først og fremst GUIet som er oppdatert til dagens standard for Mac, så vell som mindre endringer som nærmest likner bugfixer. Personlig er det bare muligheten til å kommentere tabellene som jeg virkelig savnet.

(som er uendelig nyttig hvis du lagrer verdier av typen verdiskalaer, f.eks. 0 - 10 hvor 10 er admin og tallene nedover beskriver ulike tilgangrettigheter, eller tallskalaer som kategoriserer variabler i et analyseopplegg).

En av de viktigste egenskapene til en SQLklient, er at den er enkel å bruke og sette opp. Typisk kjører jeg en lokal server på laptop'n min, og da stort sett en ferdig pakke ala MAMP. At det tar mindre enn 2 minutter å sette dette opp er målet, og dette viderefører Sequel Pro. Se f.eks. instruksene for MAMP/XAMP her.

Jeg snublet over Sequel Pro da cocoamysql, av en aller annen grunn, tok urimelig mye systemresurser i et stort datasett jeg jobber med. Sequel Pro kjører som det skulle være det neste på skjermen her, noe som er langt fram sannheten. At små detaljer som redigering av innhold i celler, reorganisering av tabellstrukturer og bedre håndtering av tabellenes metadata er betydelig smoothere enn før gjør opplevelsen sammenliknbar med forgjengeren, men samtidig et skritt opp. Jobber du med mysqldatabaser på mac, så er Sequel Pro absolutt verdt å ta en titt på. Open source er det også.

- Resultater etter prøv og feil metoden.
Å kjøre cron-jobber er et spennende skritt videre fra å kun scripte for kode som trigges av brukeres aktivitet. Med cron-jobber kan prosesser kjøres automatisk på tidspunkt etter dine preferanser.

Å sette opp cronjobber fordrer at du kan logge deg inn på serveren via kommandolinjen (SSH), og videre redigere innstillingene for oppsettet i terminalen. For meg var det ikke intuitivt hvordan dette skulle gjøres i praksis, så her er hvordan jeg gjorde det hos subsys.

Koble til med SSH.

ssh -L 8888:server10.subsys.no:3306 brukernavn@server10.subsys.no

Kvitter med passord.

Så skriver du inn crontab -e

[brukernavn@server10 ~/mevi]$ crontab -e

-e står for "edit", du kan lese mer om handlingsrommet ditt her.

Hos subsys.no kjører de freeBSD, og der åpnes contab-filen i en "editor" i terminalen, denne heter nano(?). Du kan skrive inn tekst i filen (som er helt blank i utgangspunktet og som ikke vises/finnes via en ftp-klient), lagre, bla, osv. Hva du kan gjøre listes under det som i første omgang er en helt hvit terminal.

Rediger filen etter mønsteret "alle" guider for crontab gir, du kan f.eks. ta wikipedias tekst om saken som utgangspunkt.

$HOME fungerer fint i stede for å skrive inn hele adressen som er noe slikt som /home/users/brukernavn/.

Her er et eksempel på mine redigeringer:

MAILTO=gjett@stavelin.com
30 * * * * $HOME/pythonscript/python.py
0 0 * * * $HOME/phpscript/phpfil.php


MAILTO er en glimrende sak som sender deg en rapport på mail hver gang oppgaven utføres. Den er særlig nyttig når du setter dette opp for første gang, for å sjekke at ting fungerer som det skal, event hva som ikke fungerer.

Den første oppgaven jeg satt opp var å kjøre et pythonscript. Husk

#!/usr/local/bin/pytho

i starten av filen, slik at scriptet vil kjøre. Husk også å sette rettighetene på filen slik at den blir kjørbar (executable), med

chmod +x filnavn.py

Slike ting avslører feilmeldingene som jeg fikk på mail fram MAILTO-biten.

Når det kommer til tidsaspektene hvor når disse kommandoene skal gå av, så finner du også mye dokumentasjon rundt om. Selv hadde jeg en hvis glede av denne crontab kalkulatoren. Kodene jeg bruker i eksemplet over leser du slik:
30 * * * * betyr det 30. minuttet, hver time, hver dag, hver måned, alle ukedager. aka hver eneste time, 30 minutter over hel. Altså 24 jobber i døgnet.
0 0 * * * betyr det 0. minuttet, den 0. timen hver dag, hver måned, alle ukedager. aka første minutt den første timen i døgnet. Altså ved midnatt hvert døgn.

Håper dette er nyttig for noen, det hadde vært det for meg for noen dager siden.