トップページ⇒php
1001コメント283KB

Google App Engine for Python 4アプ目

レス数が900を超えています。1000を超えると表示できなくなるよ。
0001nobodyさん2011/04/12(火) 17:54:29.62ID:???
Google App Engine
http://code.google.com/appengine/

■過去スレ
Google App Engine
http://pc11.2ch.net/test/read.cgi/php/1207754942/
Google App Engine 2アプ目
http://pc11.2ch.net/test/read.cgi/php/1243654802/
Google AppEngine 3アプ目
http://hibari.2ch.net/test/read.cgi/php/1267057923/

■リンク集
はてなブックマーク
http://b.hatena.ne.jp/t/gae
http://b.hatena.ne.jp/t/Google%20App%20Engine
Delicious
http://delicious.com/popular/gae
http://delicious.com/popular/googleappengine

■参考サイト
App Engine ギャラリー
http://appgallery.appspot.com/
ドキュメント
http://code.google.com/appengine/docs/python/overview.html
0809nobodyさん2012/05/15(火) 15:37:36.17ID:???
https://developers.google.com/appengine/docs/java/memcache/overview?hl=ja
CacheManager.getInstance().getCacheFactory().createCache(Collections.emptyMap());
この行の意味はなんですか?
参照のたびにcreateCacheが呼び出されるのは正しいんですか?
0810nobodyさん2012/05/15(火) 16:17:13.86ID:???
ユニークキーにid()を使ってるんですが、桁が増えるスピード早すぎません?
体感的にインクリメントの10倍くらいのスピードで増えてる気がする
0811nobodyさん2012/05/15(火) 16:26:45.84ID:???
>>793
ありがとうございます。実は質問した時もwebapp2_extrasはテストしていたけど失敗してました。
1回プロジェクトを削除したらうまくいくようになりました。
0812nobodyさん2012/05/15(火) 17:23:03.18ID:???
質問です。
下記のサイトでIPアドレスから国名を取得する方法を提供しています。

ttp://code.google.com/p/python-geoip/

GeoIP.dat というIPアドレスと国名の対応情報が格納されたDB的バイナリファイル
を使ってIPアドレスから国名を取得しているのですが、
このDB的なバイナリファイルはどうやって作るんでしょうか??
0813nobodyさん2012/05/15(火) 17:58:52.21ID:???
そのページにリンクがある
0814nobodyさん2012/05/15(火) 20:38:16.91ID:???
>>809
Google App Engine for java
http://toro.2ch.net/test/read.cgi/tech/1317639323/
0815nobodyさん2012/05/16(水) 12:14:06.64ID:???
全文検索使ってみた人いる?なんか思ったより検索文字ヒットしなくね?
0816nobodyさん2012/05/18(金) 21:02:43.71ID:???
全文検索てngram?
0817nobodyさん2012/05/20(日) 03:14:30.25ID:???
形態素だと思う
https://developers.google.com/appengine/docs/python/search/
0818nobodyさん2012/05/28(月) 10:15:03.87ID:???
cronをいっぱい仕掛けるとタスクが混んで新しいスレッドが立ち上がってしまったり応答が遅くなったりするので
毎時何分にそれぞれズラして起動したいのですが、そういう指定ってできますでしょうか?
0819nobodyさん2012/05/28(月) 10:19:02.40ID:???
>>818
>>734
0820nobodyさん2012/05/28(月) 10:43:38.96ID:???
同一スレに答えが書いてあるとは orz
0821nobodyさん2012/05/28(月) 10:44:53.53ID:???
同一スレに答えが書いてあるとは orz
ごめんなさい
0822nobodyさん2012/05/31(木) 15:22:00.58ID:mdpT8+st
j
0823nobodyさん2012/06/01(金) 19:12:50.98ID:???
blobstore は画像だけではなくfiles api など使えばどんなデータも保存できますが
JSONデータの一時保存に使おうと思うと直接ダウンロードできるURLを取得する get_serving_urlがエラーを起こします。
image api だから当然かと思うのですが、どこかでblobkeyからURLを生成するのを見た気がするのですが
ご存知ではありませんか?
0824nobodyさん2012/06/01(金) 20:45:01.89ID:???
DSのBlobPropertyでいいじゃない
ndbならJsonPropertyもある
0825nobodyさん2012/06/02(土) 09:05:34.75ID:???
容量をめいっぱい確保しておきたいのとトラフィックを節約できるのでできればblobstoreサーバーにリダイレクトしたいのです
0826nobodyさん2012/06/02(土) 10:45:36.42ID:???
ちょっと調べましたがdatastoreのkeyを生成する方法しかありませんでした
勘違いだったみたいです
0827nobodyさん2012/06/03(日) 16:27:55.72ID:???
Built-in IndexesがDataStoreの500MB超を占有していて困ってます。
保存してるデータ量からすると異常にも見えるのですが(Entity 170MB に対してIndexes 530MB)
このindexのサイズが正しいのか調べる方法とか、過去のBuilt-in Indexesに対する
事例なんかを知ってたら教えてくれませんか。
1GB未満の利用のまま解決したいのだけど、手がかりになるデータが少なくて困ってます。
0828nobodyさん2012/06/04(月) 22:53:20.82ID:OLIL9p2L
blobstore って条件付きリクエストに対応していないんだね。
自力で実装したよ。
08298272012/06/06(水) 20:34:37.04ID:???
グループに投稿してみました。
解決したらこっちにも原因と対策反映しておきます。
0830nobodyさん2012/06/07(木) 15:36:30.27ID:???
>>827
Datastore Statistics見れば一つ一つのindexの使用量書いてあるよ
減らすにはindex使わないでkeyアクセスのみで頑張るしか無いね
0831nobodyさん2012/06/12(火) 14:46:21.66ID:???
今までフロントで動かしてたサービスをバックエンドで動かしたいんですが
要するに今までフロントで動かしてたURLを
mytask = taskqueue.Queue('mintask')
task = taskqueue.Task(url='/front', params={},target="backends")
mytask.add(task)

的なことをやればいいようですが、いままで使ってたGETとPOSTのハンドラにそのまま
パラメータを投げるにはどうしたらいいでしょうか?
params={}の部分に与えるDictをどう作ればスマートか、ということです。
request.POSTの中身をごちょごちょやったのをみたことあるんですが探しても見つからないし
なんかスマートじゃないので
0832nobodyさん2012/06/12(火) 15:10:00.66ID:???
日本語でおk
フロントエンドをバックエンドにまわしただけなら何も変更する必要はないよね
バックエンドの処理結果をフロントに投げたいってこと?
0833nobodyさん2012/06/12(火) 15:56:03.92ID:???
バックエンドを起動するためにフロントエンドのリクエストハンドラが必要かと思ったんですが
設定だけでバックエンドで動くリクエストハンドラが作れますか?
0834nobodyさん2012/06/12(火) 16:13:14.17ID:???
フロントエンドとバックエンドのリクエストハンドラは共通
targetの指定で切り替えるだけ
cronにもtargetが指定できる
0835nobodyさん2012/06/12(火) 17:03:42.17ID:???
あれ?フロントのリクエストハンドラ内に
mytask = taskqueue.Queue('mintask')
task = taskqueue.Task(url='/front', params={},target="backends")
mytask.add(task)
って書いてバックエンドに渡すんじゃないんですか?

バックエンドに指定したURLにGETで直接バックエンドが動いちゃえばそれでいいです
0836nobodyさん2012/06/12(火) 17:57:39.43ID:???
わかった。もともとタスクじゃないハンドラのリクエストから
バックエンドでタスクとして起動したいってことか
すでにタスクにしてあるのかと思った。つーか、バックエンド関係ないよね
paramsはエラーチェックとかして普通に渡せばいいよ
直接渡すなら params=dict(request.POST) とかでおkなはず
(webapp使ってないから試してない)
0837nobodyさん2012/06/14(木) 11:53:08.32ID:???
>>836
dict(request.POST)でためしてみます
伝わる書き方できなくて申し訳なかったです
0838nobodyさん2012/06/19(火) 15:54:42.83ID:???
送信量のリミットは32Mくらいあったはずだけどうちの場合datastoreから必要なデータ取り出してる間にメモリーオーバーになっちゃう
どうしたらいい?
response.out.writeがバッファかまさず送出してくれてしかもループの中で何度も呼び出せればいいんだけど
そのへんの仕様がわからない
0839nobodyさん2012/06/19(火) 15:56:52.01ID:???
webappに頼らずに自前で吐けばいい
それでもうまくいくかどうかは試してないので知らない
0840nobodyさん2012/06/19(火) 18:35:41.66ID:???
うぎゃー 難易度高いよ
0841nobodyさん2012/06/23(土) 14:03:34.45ID:???
Keyの入ったlistから順次エンティティを取り出してフィルタリング処理をする部分でメモリーエラーが出ます。
chanksizeが大きいと巨大なエンティティを一度に取得してしまいメモリエラーになるのはわかりますが
相当減らしても一向にエラーが収まりません。
あまりに下げすぎると(10以下)今度はタイムアウトが出てしまいます。

一括処理では同じエンティティを500ほど取得しても問題ないこともありまして
もしかしたらほんとにメモリリークをさせているのではないかと疑っています。
下記コードにメモリリークを疑う場所や対処法がありましたらお知恵を貸して
いただけると助かります。

   reskey = []
   chanksize = 100
   listcount = list.count(99999)
   for i in range(0,listcount,chanksize):
   db1 = db.get(list[i:i+chanksize])
   db2 = cls.do_filter(db1, sddb)
   reskey.extend(db2)
0842nobodyさん2012/06/23(土) 22:34:12.49ID:???
あ
08438272012/06/25(月) 00:19:11.39ID:???
>>830
Indexesに表示されてる各Kindのサイズに収まってないから変だなと思ったわけです。

Blobstoreのexperimentalである"Writing Files to the Blobstore"を使ってるのだけど…それについてテストしてみた。
Blobstoreにput/deleteしまくって、そのblobkeyをdatastoreの1EntityにStringList(indexes=False)で格納
  # blobkeyはこんなので取得
  blob_io = files.blobstore.create(mime_type=content_type, _blobinfo_uploaded_filename=img_name)
  with files.open(blob_io, 'a') as f:
    f.write(img_data)
  files.finalize(blob_io)
  blobkey = files.blobstore.get_blob_key(blob_io) # blobkeysというStringListPropertyにappendする
08448272012/06/25(月) 00:23:02.02ID:???
数日後に上記Entityのblobkeysを持ってきてblobstore.delete(blobkeys)実行後、全Entity削除してみる。
すると、DashboardのBlobstoreは0MBになってもDatastoreに100MBほどの何かのデータが残ったまま。
あと、Blob Viewerで消したはずの画像ファイルが見れる。これって、こういうことでしょうか。
1) Blobstoreのデータが消えてない
2) Blobstoreのデータは消えているが、>>827で問題にしたIndexのデータが残ってる
自分は2と思っていて、BlobStoreのIndexesが上記blobkeyのdeleteで消えてないのではと推測しています。
そうだとして、どうすればIndexが消えるとかまでは分からんのですけど…。

誰か教えてください…blobstoreのこと…Indexesのこと…Datastoreのこと…。
0845nobodyさん2012/06/30(土) 07:55:41.16ID:???
GAE1.7リリースされたのになんでレスが無いんだよwwwさすが糞ジャップ
0846nobodyさん2012/06/30(土) 10:03:12.62ID:???
それよりGoogleがIaaS始めるらしい
0847nobodyさん2012/06/30(土) 10:20:44.14ID:???
そんなことよりDartのPaaSはよ
0848nobodyさん2012/07/01(日) 15:37:32.66ID:???
App Engine SSL for Custom Domainsくらいしか目玉無かったけど
それすらSSL使ってない俺には関係なかった
0849nobodyさん2012/07/01(日) 16:37:36.93ID:???
もしかしてSSL for Custom DomainsでiPhoneのPushも実装できちゃうんでしょうか??
0850nobodyさん2012/07/01(日) 20:52:33.84ID:???
SSLCustomDomain高すぎ
0851nobodyさん2012/07/10(火) 01:02:29.54ID:???
やっぱGAEは諦めてEC2とかにいった方がいいのか
slim3の開発も去年から進んでない・・・
0852nobodyさん2012/07/10(火) 01:48:36.03ID:???
他人任せの無能はとっとと他所に行くといいよ?
0853nobodyさん2012/07/10(火) 01:56:57.11ID:???
GAEとEC2って全然別物だと思うんだが..
0854nobodyさん2012/07/10(火) 07:46:56.93ID:???
EC2に対応するのはGoogle Conpute Engineだよね
0855nobodyさん2012/07/10(火) 15:09:26.44ID:???
また僕の技術料はコストゼロ円君か
0856nobodyさん2012/07/11(水) 03:16:54.43ID:???
851だが、ちゃんと調べたら作ってるっぽい

 I am going to release slim3 1.0.16 next week.
 JSON problem has been fixed in trunk.
 
 Yasuo Higa

心配させやがってやすお
0857nobodyさん2012/07/11(水) 03:20:42.15ID:???
しかしGAEのフレームワークに限った話ではないけれど、
使ってるフレームワークが開発中止になったら、それに依存しまくってた場合とかどうなるんだろうか

フレームワークを使わないというのも手なのか

みんなどういう認識なの?
0858nobodyさん2012/07/11(水) 09:07:39.35ID:???
フレームワーク程度なら何とでもなるかなあ
書き直せばいい
そういうのへの依存ってたかが知れてるというか、すぐに乗り換えられるレベル

本当に重要なロジックの関わるところに対しては安易に外部ライブラリは使わないようにしてる
言語自体の公式な組み込みだけ使って、先行き不透明なサードパーティー製のはなるべく使わない
時には車輪の再発明してでも自分達ででゼロから開発することで将来性と保守性を担保できるっていうスタンス
この辺は人・企業によって考え方がかなり違うので一概に正解って無いと思う
0859nobodyさん2012/07/12(木) 12:41:14.67ID:???
>>852 >>853
いい加減GAEに夢見るのは諦めたほうがいいと思うよ?
0860nobodyさん2012/07/13(金) 12:59:40.66ID:???
urlfetch→DataStoreWriteってだけのコードなんだけど、
同じコード・設定一緒・同じアカウントなのに、アプリ(置く場所)によって速度が違う・・・
最初TaskQueueおっせーwとか思ってたら違うアプリ名の場所に置いたら爆速
これって仕様ですかね?
0861nobodyさん2012/07/19(木) 12:26:17.48ID:???
GAEはもういいからDartのPaaSはよ
0862nobodyさん2012/07/25(水) 18:43:33.33ID:???
なぜDart
クライアントサイドだろ
nodeとかの上で動かすんじゃ、あんまり意味ないしな
0863nobodyさん2012/07/25(水) 20:18:57.30ID:???
Dartはサーバサイドも視野に入れてるのが売りの一つなんだけど
0864nobodyさん2012/07/26(木) 00:40:32.26ID:???
DartやるにしてもGAEでいいんじゃ
0865nobodyさん2012/09/01(土) 20:18:24.01ID:0FcFAh+r
GAE は糞
0866nobodyさん2012/09/06(木) 14:19:49.93ID:???
いつの間にか1.7.1がリリースされてんじゃねえか
0867nobodyさん2012/09/08(土) 00:42:48.27ID:???
書き込みが激減してるな
完全に終わったのか
0868nobodyさん2012/09/13(木) 14:27:59.65ID:???
契約があるから5つ管理してるけど
増やそうって気にならないな
料金だけでもメリット出してくれたらいいのにな
0869nobodyさん2012/09/20(木) 18:18:57.08ID:???
料金そんなにダメなの?
EC2なんかに比べるとさすがに安かろう?
0870nobodyさん2012/09/20(木) 18:45:55.13ID:???
ダメってほどのことはないけど
やっぱコスト抑えたくなるじゃん?
そこで儲けが決まるから

プログラミングがそんなことばっかで
建設的なことがやれなくなるのがダメやん?
0871nobodyさん2012/09/20(木) 19:33:30.01ID:???
無限スケールを何もせず手に入れられるってのも時間的コストは激減すると思う

EC2だといくらボタンひとつでスケールするとは言っても、
DBのレコードが増えるとMySQLのチューニングが必要だったり、
NoSQLでやるにしてもその知識が必要だったりする

GAEが人気無いのは、単純にGAE的なメリットが活かされるようなアプリを作る人が少ないからだと思う
0872nobodyさん2012/09/24(月) 19:14:58.36ID:PjuCm/UC
今北
とりあえずPython版から始めてみよう
0873nobodyさん2012/09/24(月) 23:34:09.33ID:???
ようこそ
0874nobodyさん2012/09/25(火) 02:01:17.56ID:yXRlmANa
DSの読み書きコストがきつすぎる
コスト削減のためにインデックス増やさないよう、
ひたすらトリッキーなコード組んでくとか糞すぎるわ。
拡張性もクソもない
0875nobodyさん2012/09/25(火) 15:25:02.30ID:???
いまさらだけど、脱M/Sでidに-hdr付ける移行方法って、作れるapp数を圧迫しちゃうの?

hdr化して元のIDに戻すのは無理っぽいって結論になったんだけど、それでOK?
0876nobodyさん2012/09/27(木) 09:49:16.64ID:???
>>874
まったくそうだよ
最適化をしないとコストが高くなりすぎるのはソリューションの問題だろう
0877nobodyさん2012/09/27(木) 09:49:52.79ID:???
ところでN/S廃止決まったの?
最近あちこちで移行の話題見るけど
0878nobodyさん2012/09/27(木) 13:18:55.92ID:???
>>877
あちこちってどこ?
0879nobodyさん2012/10/01(月) 10:58:27.60ID:???
pythonで非同期処理書いても1インスタンスで動かしたら結局逐次実行なの?
0880nobodyさん2012/10/02(火) 10:28:00.93ID:???
個人でiphoneアプリ、Windowsアプリをマーケットに売って生き残れ

経済産業省は若者らの小規模な起業を促すため 数百万円を補助
http://matome.naver.jp/odai/2134667637844882401

格安iPhoneEラーニング(学習動画多数あり)
http://tinyurl.com/7wj77om

コワーキング帳
http://tinyurl.com/brzs486
コワーキングスペースJP
http://tinyurl.com/76vdrny

WEBサーバーIIS Win2008ServerVPS SqlServer Oracle MySql 言語はマーケットで売れるメーカー製のみやる
ASP.net(C#)+管理EXEアプリ(C#)+iPhone C#のソースを出さなければWEBアプリの著作権も守れる

C#マーケット Windows8 Metroアプリ WindowsPhone Surface PS Vita Xbox360 iphone(mono使用)
iPhoneマーケット iPhone iPad 予定 iTv iCar i (家電製品)

地方に安い土地を買いコンテナ型の格安高性能オフィスを建て(300万〜500万)
レンタル自習室&シェアオフィス・コワーキングで収入を得ながらそこでアプリを開発する
http://tinyurl.com/7pb2yaa
http://bit.ly/iLIpJa
ヤフオクで脱獄iPhone15kぐらいで買える IIJmio,イオン.BB.exite,DTIで月千円ぐらいでネット使える
0881nobodyさん2012/10/17(水) 17:21:59.06ID:???
なにこの糞スレ
0882nobodyさん2012/11/05(月) 03:57:26.61ID:pM9J2Xt4
W
0883nobodyさん2012/11/15(木) 19:19:33.58ID:???
Cloud SQLの無料トライアルはどうよ?
0884nobodyさん2012/11/16(金) 17:56:13.38ID:py0Lb2ER
今ってファイル数3000って制限ないよな?
0885nobodyさん2012/11/16(金) 18:19:32.67ID:???
えっ まじで?
0886nobodyさん2012/11/16(金) 18:54:53.61ID:???
これか
Version 1.5.5 - October 11, 2011
We have increased the number of files you can upload with your application from 3,000 to 10,000.
0887nobodyさん2012/11/16(金) 18:58:49.35ID:???
ありあり
0888nobodyさん2012/11/28(水) 13:20:41.59ID:???
無料枠でデータストアの保存容量の上限は?
0889nobodyさん2012/11/29(木) 13:28:30.38ID:???
https://developers.google.com/appengine/docs/quotas?hl=ja#Datastore
0890nobodyさん2012/11/29(木) 20:11:05.11ID:???
Googleクラウドコンピュータっていつ使えるようになるの?
0891nobodyさん2012/11/29(木) 21:17:21.29ID:???
もう使えんじゃないの?
0892nobodyさん2012/12/05(水) 20:25:08.72ID:???
今更だがGAEは転送量高すぎて、コンテンツの内容によっては全く使い物にならん
0893nobodyさん2012/12/05(水) 20:42:32.08ID:???
キャッシュでがんばれ
0894nobodyさん2012/12/06(木) 13:05:26.26ID:YzQjylG6
どんな内容扱ってんの?
バイナリはGCSに置けばいいんだし、S3使ったっていいじゃん。
0895nobodyさん2012/12/10(月) 15:13:08.19ID:???
APPS 無料枠撤廃

だんだん外堀埋めてくねGが自分から
0896nobodyさん2012/12/10(月) 15:49:55.25ID:???
APPの文字に反応してこのスレに書いちゃった子がでちゃったよ
0897nobodyさん2012/12/10(月) 15:56:07.31ID:???
GuidoがDropBox行っちゃったけど影響が出ないといいな
0898nobodyさん2012/12/10(月) 16:12:38.40ID:???
APPSが有料になると独自ドメイン使いづらいだろ
0899nobodyさん2012/12/10(月) 16:19:29.88ID:???
>>898
スレ違い。ここはApp EngineのスレでAppsではないよ
【独自ドメイン】 Google Apps【Gmail】
http://toro.2ch.net/test/read.cgi/google/1286118342/
0900nobodyさん2012/12/10(月) 18:02:01.86ID:KmNmCIRH
Guido! ndbどうすんだよ!
0901nobodyさん2012/12/11(火) 10:17:57.49ID:???
apps で独自ドメインメール使ってたんだけど
やばいよね
もう潮時かな
0902nobodyさん2012/12/11(火) 10:26:40.85ID:niOohGMF
GvRが去った今となってはGAEも安全地帯ではない。
0903nobodyさん2012/12/11(火) 10:32:26.79ID:???
ndbは粗方出来ているからいいが、3kへの対応とかどうするんだろうね
0904nobodyさん2012/12/11(火) 10:55:47.54ID:???
今使ってる独自ドメイン以外のはもう追加出来ないのか
まんどくせ
0905nobodyさん2012/12/11(火) 11:21:23.00ID:???
それは大丈夫らしい
http://googlesystem.blogspot.jp/2012/12/google-apps-no-longer-free-for-small.html
Update: Apparently, there's a workaround that lets you use the free version of Google Apps for a single account.
"If you create a new Apps account going through the App Engine Admin Console
you'll still be able to create a Standard Apps account for free
but you'll only be able to get 1 user per account rather than the 10 you get today,"
says Greg D'Alesandre, Senior Product Manager for Google App Engine.
0906nobodyさん2012/12/11(火) 16:03:52.78ID:???
Azureに無料版が出来るって
0907nobodyさん2012/12/13(木) 14:06:10.08ID:???
>>905
oh! 情報サンクス!
09088922012/12/16(日) 20:43:42.00ID:???
>>894
S3も検討したが、計算したらほとんどGAEと変わらなかった。

ちなみに画像が主体のWebサービスで、今はさくらVPSの1500円で済んでいるのに、
GAEに引っ越すと、転送量だけで5〜7万近くいく試算がでた。
S3は確かに少し安くなったと思うが、それでも1500円と比べるとありえないわー

とはいえGAEのスケールは魅力的だし、BigTable自体のストレージ費は安い
だから、コンテンツをさくらVPS、それ以外をGAEに任せる、っていう構成がおれの中で主流になりつつあるのだ
レス数が900を超えています。1000を超えると表示できなくなるよ。