Posted By

stavelin on 10/19/10


Tagged

python


Versions (?)

List of elected representatives in the Norwegian municipalities - VG scraper


 / Published in: Python
 

URL: http://stavelin.com/uib/data/

  1. #!/usr/local/bin/python
  2. # -*- coding: UTF-8 -*-
  3. import sys
  4. reload(sys)
  5. sys.setdefaultencoding("utf-8") # dette funker jo..!
  6. from BeautifulSoup import BeautifulSoup
  7. import urllib, re, time
  8.  
  9. url = 'http://www.vg.no/nyheter/innenriks/norsk-politikk/folkevalgte/'
  10. html = urllib.urlopen(url).read()
  11. suppe = BeautifulSoup(html)
  12. table = suppe.findAll('a', href=re.compile('.*?kid=.*'))
  13.  
  14. for i in table:
  15. time.sleep(0.5) # don't panic!
  16. kommune_id = i['href'].split("=")
  17. kommune_id = kommune_id[1]
  18. if len(kommune_id) == 3:
  19. kommune_id = "0" + kommune_id
  20. kommune = i.text
  21. print '<li><a href="http://www.vg.no/nyheter/innenriks/norsk-politikk/folkevalgte/api/?kid=%s&format=xml">%s xml</a>, <a href="http://www.vg.no/nyheter/innenriks/norsk-politikk/folkevalgte/api/?kid=%s&format=json">json</a></li>' % (kommune_id, kommune, kommune_id)

Report this snippet  

You need to login to post a comment.