27 Jan

[Scrapy] ‘scrapyd.webservice’ doesn’t define any object named ‘DaemonStatus’

I was using scrapy v1.0.3 and scrapyd v1.1.0 when I got "Module 'scrapyd.webservice' doesn't define any object named 'DaemonStatus'"  error as I throw deploy command through my scrapyd-client .

let me at 'em

let me at ’em

I doesnt know exactly why scrapinghub team doesnt release a new package to pypi, the documentation of scrapyd allready showing the latest docs describing about DaemonStatus.json  endpoint, but the latest package on cheese-shop still doestn provide this function.

In case you’re hurry and need this to be fixed asap, just pull the code from their github repo, I’m using Chempig.
extract, and install it. restart your scrapyd and everything just fine except you still cannot access the daemonstatus.json  endpoint.

naah not bad, at least I still can manage to deploy my latest spider to the production server.

hints:

if you are working with virtualenv, make sure you activate the virtualenv before firing these command

after that, resume your delayed task.

22 Oct

[python][flask] SQLAlchemy resultproxy to json

so today I was trying to serialize SQLAlchemy resultproxy directly to json using flask’s jsonify, and I’m fail *doh*

if you have a same problem when serializing SQLAlchemy resultproxy to json, maybe this trick will help you :))

so, I have a model, look like this:

then I add one property, so my model now look like this:

and the usage:

 

06 Oct

[python] Join two list with specified identifier

so I have two diferent data, but they had a relationship in between, a good relationship. and I need to ‘join’ them. thinking for a while and I came with this:

in action:

result:

simple right?

11 Jun

[snippet] Sorting Dictionary in Python

I think the code for sorting dictionary was self explained :)

25 Aug

[python] menampilkan pesan help berdasarkan docstring tiap method

langsung aja, method di bawah ini gw pakai untuk menampilkan pesan help.
 pesan help gw ambil dari docstring tiap method yang ada di dalam class yang bersangkutan.

Penjelasan tiap line:
line 1: nama methodnya :p
line 2: cetak string :p
line 3: memotong 3 method pertama dari semua method yang ada di class tersebut, kemudian membuat list yang isinya “self.<nama methodnya>.__doc__, dan mengiterasinya sesuai jumlah isi dari list tersebut
line 4: mengeksekusi item di list yang telah di buat
line 5: jika tidak ada docstring di function tersebut, jangan di print
line 6: print hasil eval() di line 4 jika memenuhi kondisi pada line 5

jadi nanti kalau pengen nampilin pesan dari tiap method saat method help() dipanggil, bikin kayak gini:

13 Aug

mengimplementasikan switch case di python

mengimplementasikan switch case di python | python switch case implementation

ini cuman catatan pribadi, daripada ntar nyari-nyari lagi. kalo ada kekurangan, mohon dikoreksi yah :)

jadi, di python itu ga ada syntax switch-case, yang dikenal itu nested if-else, nah kalo pengecekan kondisinya masih sedikit ya masih rada enak lah. nah kalo kondisinya banyak, buat gw sih puyeng juga.

switch-case di python bisa diakalin dengan menaruh kondisi dan action di dalam dictionary.

kemudian dipanggil dengan:

atau kalo actionnya itu memerlukan parameter, bisa dibuat gini:

terus kalo tiap function membutuhkan jumlah parameter yang berbeda beda gimana?

kalau gw sih, biasanya parameternya gw kirim dalam format string yang gw kasi delimiter, misal delimiternya pakai tanda “|” atau gw nyebutnya “pipe”. nanti sama actionnya bakalan diformat sesuai kebutuhan. kayak gini:

ya rada ribet sih jadinya, apalagi kalo yang parameternya ga seragam. misal action_a butuh parameter yang tipenya string, sedang action_b butuh parameter yang tipenya integer

solusi lainnya sih gw belum nemu, hehe :D
kalau misalnya ada yang punya solusi atau tips trick lain, mohon infonya yah :)

22 May

simple python twitter client using tweepy

yak inilah hasil dari belajar hari ini.
kalo mau nyobain, pastiin udah nginstal python-tweepy. jadi python tweepy ini wrapper untuk bikin python twitter client yang akan kita bahas disini.
bisa install from source dari sini, atau pakai command

buat yg udah nginstall python setuptools
jangan lupa untuk mengisi consumer secret dan consumer key supaya script ini bisa digunakan. bisa bikin di sini atau pakai ini

nanti itu ngupdatenya via OllyDbg (courtesy: om dru )
code tested on fedora 16 (verne), untuk os lain belum dicoba karna gw ga punya windus atau mekbuk
at last,

Sorry for the lack of features and code

Continue reading