GoogleAPIってどうよ？
■ このスレッドは過去ログ倉庫に格納されています
0001nobodyさん
02/04/12 21:27ID:Mmm+bS500232nobodyさん
04/08/11 01:25ID:XAxg01DA英語でも日本語でも文字化けせずに検索できるものの、
一致件数が、オリジナルGoogleを検索したときより大幅に少ないです。
例）
短歌 オリジナルGoogle⇒312,000 API⇒5610
tanka オリジナルGoogle⇒277,000 API⇒96200
とある記事で、本番で使ってるＤＢとＡＰＩ用のDBは異なると読んだのですが、
みなさん、こんなに違うもんですか？
ちなみに、PHPは、内部エンコーディングはEUC、OutputはShift_JIS。
SOAPに渡す前に検索文字列はUTF-8に変換し、結果はEUCに変換してます。
というか、検索はできてるので、文字コードはＯＫだと思うのですが・・・
うーん・・・みなさんのとこではいかがでしょう？
0233232
04/08/11 01:29ID:???あ、これ、>>231に書いてある記事だったｗ 失礼。いろいろ検索しまくってたので・・・
0234232
04/08/11 01:35ID:???やはり文字コードの問題か・・・
0236Re:APIでの検索結果が少ない問題
04/08/11 08:32ID:7ZtbNsSBこの件に関しては日本語かどうかは関係ないという認識でいいかな?根拠は>>228で示した通り、
また、APIで検索した時にHit数が少なくなるのは英語圏でも問題になっています。
>231のURI先からリンクされているforumに書かれていますが、
ブラウザで検索した時は、同一サイトのリンクをカウントするのに対し、
APIで検索した時は同一サイトのリンクは一つのみなので、結果が少なくなるそうです。
google.public.web-apiというnews groupでも同様の投稿を見かけました。
http://groups.google.com/groups?group=google.public.web-apis
頻繁に質問されてます(FAQになっていてもよさそうなのに)
どうすればブラウザで検索した時と同じ結果が得られるのかということに皆興味があるかと思うのですが
残念ながら、僕が探した限りでは結論を出している情報は見当たりませんでした。
filterオプションの設定とかが関係ありそうかなと思ったのだけど
検索する語によっては、影響があったりなかったり ...期待した通りの振舞をしてくれなかった。
0237225
04/08/12 03:09ID:???＞この件に関しては日本語かどうかは関係ないという認識でいいかな?根拠は>>228で示した通り、
全然違うと思われ
>>228に書かれていること（つまり、UTF-8でサーバに送っていないから駄目）が本当だとしたら、
>>230に示したソースは？
＞どうすればブラウザで検索した時と同じ結果が得られるのかということに皆興味があるかと思うのですが
＞残念ながら、僕が探した限りでは結論を出している情報は見当たりませんでした。
>>231のサイトには（Yahooの検索だけど）ブラウザと同じ結果が得られると書いてありましたが、
これはどうですか？
http://www.google.com/と同じ結果をgoogle web apisから得ることは、私も調べた限り不可能では、と思いました。
0238nobodyさん
04/08/12 08:45ID:BNPcYl+EAPIで検索した時のHIT数が少ないのは他の言語でも問題になっている為、
日本語かどうかが直接問題になっているのではない。という主張だったんですが、、
エンコードが違っていても検索結果が変わってくるので、全く関係なくはないかな。
"エンコードに関わらずHit数が少なくなる要因がある"に訂正します。
UTF-8以外の特定のエンコードでクエリを送った場合、
その検索文字のエンコードのみが検索対象になるようです。
例えば、EUC-JPの文字を送れば検索結果もEUC-JPで返ってくる。
期待していたサイトが上位にこないという現象は、
検索する文字列をのエンコードをUTF-8以外で送った場合に起こるはずです。
エンコードに関わらずHit数が少なくなるというのが>>236で示した別の問題です。
> ブラウザで検索した時は、同一サイトのリンクをカウントするのに対し、
> APIで検索した時は同一サイトのリンクは一つのみなので、結果が少なくなるそうです。
0239nobodyさん
04/08/12 09:06ID:BNPcYl+E>>231のサイトには（Yahooの検索だけど）ブラウザと同じ結果が得られると書いてありましたが、
これはどうですか？
これは、YahooがGoogle APIsを使っていたと言う根拠にはなると思うけど。
>>236でいいたかったのは、http://www.google.com/search の方でした。
0240nobodyさん
04/08/19 18:56ID:Kc/QSXo3注意されて止められるのかな
0241225
04/08/19 22:06ID:???(1)Google Web Apisと、http://www.google.com/がそれぞれ違うデータベースサーバを
持っているため（Google Web Apis用のデータベースは、量が少ない）
→参考：http://www.goodpic.com/mt/archives/000132.html
(2)同一サイトのリンクをカウントの違いにより、Google Web Apisの方がHIT数が少なく見える
→参考：>>236
(3)日本語で検索すると、正常に検索が出来ないため、HIT数が少ない
→正常な検索結果では無いと思う理由：
・HIT数が極端に少ない（100分の1ぐらい)(参考>>232）
・中国語など文字化けしたようなページばかりHITする（参考>>234>>227)
・上位に来るはずのページがHITしない(例：「２ちゃんねる」で検索しても上位にwww.2ch.netが来ない)(参考>>227)
→予想される原因：
・EUC-JPで送っていないから？(>>228)
→EUC-JPで送信しているプログラムの例>>230（これでも駄目）
・その他？？？
とにかく、日本語（他外国語も？）のエンコード周りでとらぶっている予感がする。
0242nobodyさん
04/08/20 07:15ID:OVDxpCAghttp://www.google.com/apis/api_faq.html#tech7
Google APIs (java)とかだったら 例外(GoogleSearchFault) が throw されます。
>>241
まとめありがとう。一点だけ訂正、EUC-JP ではなく UTF-8 ですね。
>>230 のコード
Jcodeはインストールされていなかったので、
エンコード処理を標準モジュールの Encode::from_to に変更して試したところ、
http://www.2ch.net/ が検索結果のトップに出ました。
2ちゃんの"2"は全角と半角の両方で試しましたが、どちらも同じ結果です。
EUC-JPで"２ちゃんねる"や"2ちゃんねる"を検索すると下のURLがひっかかりました、
検索上位に期待したサイトがこない、文字化けしたようなページばかりHitするって
こういう事じゃないのかな? UTF-8で検索している限りではこういう事は起こった事ないです
http://www.foundertech.com/Stock/%B7%BD%D5%FD%BF%C6%BC%BC%CD%B6%D7%CA%D5%DF%B9%D8%CF%B5%B9%DC%C0%ED%D6%C6%B6%C8.pdf
http://www.stopwar.org.uk/Resources/cairo2callpersian.pdf
(230のコードで追加/変更した箇所)
use encoding 'utf-8', STDOUT => 'euc-jp'; # consoleでテストしていた為
use Encode qw/from_to/;
my $word = shift(@ARGV); from_to($word, 'euc-jp', 'utf-8');
# snip
$search->query($word) ;
0243nobodyさん
04/08/20 09:01ID:???CGIなんかにして検索フォームを設置するとか、専用アプリケーションにするとかした場合、
自分のトークンを埋め込まないといけないわけで、利用者が多くなれば
1000クエリ/日 の制限なんてあっという間に超えてしまいそうなんだが、どういうもんなんでしょ？
0244nobodyさん
04/08/20 12:20ID:OVDxpCAg> 利用者が多くなれば
bata版は個人用途のみって事になってるので、これは規約違反になるんじゃない?
大抵のgoogle WEB APIs(beta)使ったデモは、利用者にkeyを入力してもらう形式になってるよ。
http://www.google.com/apis/api_faq.html#gen13
http://www.google.com/apis/api_terms.html
0245nobodyさん
04/08/20 15:00ID:???なるほど〜。てことは、多くのgoogleを使って面白いことをしている検索サイトは
googleで検索した結果のHTMLを解析しているってことなんだね。
Amazonのはどんな規約だったんだろう
0246nobodyさん
04/08/21 09:50ID:Ws+CcWA81日1000クエリ内に収めているか、
商用だとしたら、前のyahooみたいにgoogleと提携してるんじゃない?
> googleで検索した結果のHTMLを解析している
これも商用目的の場合は禁止だったはず。
自動で送られてくる様なクエリーはチェックされているらしいです。
# Amazonは知らない。
>>241
追加情報。
Release Notes http://www.google.com/apis/release_notes.html
> Queries in CJK languages (Chinese, Japanese, and Korean) still do not work completely correctly. A future release will address these problems.
FAQより、最後の行 http://www.google.com/apis/api_faq.html#tech26
> The APIs still do not always return complete results for Chinese, Japanese, and Korean; we are working to remedy this issue.
APIsでは、日本語の検索は、まだ完全には対応されていない
ってことで結論になりそう?
CJKって事から察するに、恐らくエンコーディグの自動判別関連だろうけど、
これって "検索対象のサイト" が日本語/中国語/韓国語の場合、他の言語と区別出来ないって事かな?
検索する語のエンコードはUTF-8って指定されてるから、こっちは問題にならないよね?
0247225
04/08/22 00:37ID:???>>242と同じように>>230を書き換えたが、
結果は>>230と全く同じ結果だった。
↓ソース
---
#!/usr/local/bin/perl
use SOAP::Lite;
use Net::Google;
use Encode qw/from_to/;
my $google = Net::Google->new(key=>'****************************************') ;
my $search = $google->search();
$word = "２ちゃんねる" ;
from_to($word, 'euc-jp', 'utf-8');
$search->query($word) ;
$search->lr("");
$search->starts_at(0);
$search->max_results(10);
$search->restrict("") ;
$search->filter(0) ;
$search->safe(1) ;
foreach $a1 ( @{$search->results()} ) {
print " URL ->" . $a1->{__URL}. "\n" ;
}
↓結果（上位５）
URL ->http://www.who.int/ifcs/Documents/Forum/ForumIII/f3-finrepdoc/Arabic/Annex1.pdf
URL ->http://www.who.int/ifcs/Documents/Forum/ForumIII/f3-finrepdoc/Arabic/MeetingSummary.pdf
URL ->http://www.who.int/entity/vaccine_safety/reports/ar/en/june2002_ar.pdf
URL ->http://www.who.int/entity/vaccine_safety/reports/ar/en/dec2002_ar.pdf
URL ->http://www.who.int/gb/ebwha/pdf_files/EB108/aeb108id2.pdf
0248225
04/08/22 01:07ID:???で、本当にutf8で送信されているか8行目の後でチェックしてみた。
utf8で送信はされているはず
（参考：http://www.cybercom.co.jp/~mikio/other/tips/tips_contents.html）
↓ソース
---
$enc = guess_encoding( $word) ;
print " QueryEnc -> " .$enc->name."\n" ;
print " Query -> " .jcode($word,'utf8')->euc ."\n" ;
↓出力結果
---
QueryEnc -> utf8
Query -> ２ちゃんねる
また、気になるのは、サーバから戻ってくるsearchQueryが、エンコード等が正しいのか怪しい
utf8で帰ってきているけど、それをEUCに変換すると、デタラメな文字列になる・・・
↓ソース
---
print " returnQueryEnc -> " .$enc->name."\n" ;
print " returnQuery -> ".jcode($r->{__searchQuery},'utf8')->euc ."\n";
$enc = guess_encoding( $r->{__searchQuery} ) ;
↓出力
---
returnQueryEnc -> utf8
returnQuery -> 羨・・〓束〓〓・・・〓〓・・
0249225
04/08/22 01:08ID:???・そもそもGoogle Web Apisは日本語検索に対応してない
・$search->query以外のパラメータが影響している
という辺りか？
>>242は日本語検索できるが、>>247は出来ないとなると、
perlのバージョンやらSOAPLiteのバージョンやらOSやらの環境の違いが影響しているのじゃないかと
疑った方がいいのやろうか？
>>242は正常に検索できているのに、「APIsでは、日本語の検索は、まだ完全には対応されていない（>>246）」
で片付けるのはなんかしゃくだな・・
どこか私の設定等が悪いのだろうか？
自分でさらに調べるとすると、流れてるパケットの>>242内容の違いを調べて見たい。。
（それが近道だと思ったりする）（ただ、>>242さんが協力してくれれば）
0250225
04/08/22 01:15ID:???ところで思ったんだけど
商用のgoogle web apisって存在するの？
少なくともyahooと連携しているのは、SOAPは使ってないと思う。
（何か別のプロトコルを使ってるんじゃないかと思った）
理由：SOAPは遅いから
（一度httpを通さないと行けないし、
わざわざhttp以外を使ってまでSOAPを使うのだろうかと、疑問に思った）
0251242
04/08/22 13:44ID:+ndPVteADebugするなら Net::Google->new( key => "...", debug => 1 ) で
HTTPのメッセージが出力されますよ。
utf-8 -> euc で化ける件は、
utf-8の文字列がそもそも日本語でない(EUC-JPの範囲外)場合に起こりそう
一度、hex dumpしてみては?
>>250
http://www.google.co.jp/intl/ja/terms.html
商用利用したい場合は、あらかじめ Google と契約を結ぶ必要があるそうです。
SOAPの通信レイヤの実装はHTTPだけとは限らないので、
また、HTTPでもチューニング次第で多少のパフォーマンス改善は出来る。(keep-aliveにして接続をプールする、等)
逆に保守とか普及コストの面からSOAPを選択。って主張もあり得るんだし、
非公開部分の実装までは、ちょっと部外者にはわからないんじゃないかな...
# APIsが異なるデータベースを持っているというのも、調べた限りでは殆んど噂レベルの推測
さすがに、通常のhttp(1queryで1接続)ではないと思うけどさ。
0252242
04/08/22 13:46ID:+ndPVteA% perl -v
This is perl, v5.8.2 built for i686-linux
...
% cat chkvers.pl
#!/usr/bin/env perl
for (@ARGV) {
my $file = $_; $file =~ s|::|/|g;
if (require "$file.pm") {
import $_; printf("%-20s\t%s\n", $_, (VERSION $_));
}
}
% ./chkvers.pl Net::Google Net::Google::Service Net::Google::Search SOAP::Lite XML::Parser Encode
Net::Google 0.61
Net::Google::Service 0.4
Net::Google::Search 0.5
SOAP::Lite 0.60
XML::Parser 2.34
Encode 1.9801
0256253
04/10/03 13:28:21ID:???GoogleのHIT数の推移
http://iroha.club.kyutech.ac.jp/mrtg/iroha_google_1.html
http://iroha.club.kyutech.ac.jp/mrtg/iroha_google_2.html
0257nobodyさん
2005/05/07(土) 22:13:08ID:???0258nobodyさん
2005/06/09(木) 01:14:47ID:0KvqtzJcUTF8に変換してdoGoogleSearchに投げてるのに結果がぬるぽすぎ。
日本語は表示はできるのに・・・・
0259nobodyさん
2005/08/15(月) 10:51:48ID:???なぜ？
0261nobodyさん
2005/08/16(火) 00:27:45ID:xBOEkY6hプログラム弄った記憶ないのに変な検索結果出てたからもしやと思ったんだけど・・
0262nobodyさん
2005/09/06(火) 17:05:56ID:???> 26. How do I make queries in languages other than English?
>
> The Google Web APIs support requests and responses in UTF-8, allowing you to make requests in all of the world's languages. The
> original release included parameters <ie> and <oe> for inputEncoding and outputEncoding. These parameters are no longer used and
> will be removed in a future release. The APIs still do not always return complete results for Chinese, Japanese, and Korean; we are
> working to remedy this issue.
0263nobodyさん
2005/09/13(火) 15:11:15ID:???0264nobodyさん
2005/09/16(金) 12:33:54ID:???0265nobodyさん
2005/09/16(金) 15:13:06ID:???>>258の問題なら、？xxxxx;にすれば通りますよ。
xxxxxはUCS-2の10進数で。
別の問題のことを言っているのならスマソ。
0266nobodyさん
2005/09/20(火) 21:47:39ID:???あ、ありがとうございます！
もし良かったら、もう少し詳しく教えていただけませんか？
調べて見ましたが、変換方法とか表記方法とかまだよく分かってなくて…
0267nobodyさん
2005/09/21(水) 13:29:50ID:???失礼、文字が化けてました…。orz
>>265の？の箇所は半角の＆＃です。
例えば、FirefoxではJavaScript:escape('あいう')は%u3042%u3044%u3046となります。
3042とかがUCS-2の16進数なので、これらを10進数に換えたもの
＆＃12354;＆＃12356;＆＃12358;
をGoogleAPIに渡してください(＆＃は実際には半角です)。
SJISからUCS-2への変換とかはiconvなりを使用して下さいな。
0268nobodyさん
2005/09/22(木) 13:09:07ID:???すみません、このようにやってもダメ…です。
ものすごく単純に考えてしまったのですけど。こういうことではなかったんでしょうか…？
my $gsrch = SOAP::Lite->service("file:$google_wsdl");
my $googlequery = "＆＃12354;＆＃12356;＆＃12358;"; #＆＃は実際には半角
my $result = $gsrch->doGoogleSearch($google_key, $googlequery, 0, 10, "false", "", "false", "lang_ja", "utf8", "utf8");
…と思ったら、以前書いたGoogle Web APIsを使ったプログラムが普通に動きました。
Google Web APIsの挙動が以前と同様に戻ったらしいです。
参考にしたところ: ttp://www.antun.net/tips/soap/google.html
>>265さん、せっかく教えていただいたのにうまく活用できる能力がなくてスミマセン…
でも勉強になりました。教えて君だったのに、丁寧に答えてくださって感動しました。
ありがとうございました。
0269265
2005/09/22(木) 15:25:48ID:???あ、元に戻ったのか。めでたい。
そのコードは参考URLとほとんど同じだけど何が違うんだろう？
ライブラリのバージョンが古かったりするのかな。
0270nobodyさん
2006/02/14(火) 22:44:24ID:yRwFk5BEデフォルトでSafeSearchという機能がOnになっていて、
sexとかセックスとかfuckとか入れても、きわどい画像はブロックされて出てこないようになっている。
この設定はなぜか日本語設定では変更できない、
というか、そういうオプションがあること自体見えないようになっている。
Googleでエロ画像検索する際の裏ワザ
http://plaza.rakuten.co.jp/erokabu/diary/200602040003/
0271nobodyさん
2006/04/19(水) 17:40:40ID:269rMMFs「502 Bad Gateway」が頻発するんだけど、
サーバーの調子悪いのかな？
0272nobodyさん
2006/04/20(木) 17:50:05ID:wQ0+Sz3iおとといあたりから
「502 Bad Gateway」連発で使い物にならんぞ
0273nobodyさん
2006/04/21(金) 14:38:51ID:D6o0Exubhttp://pcweb.mycom.co.jp/news/2006/04/21/102.html
0274nobodyさん
2006/04/22(土) 21:43:19ID:???URLとして参照してみても、画像を閲覧することができません。
しかし、↓ のものは閲覧できるみたいです。
http://mt2.google.com/mt?v=w2.6&x=3620&y=1600&zoom=5
なんでだろう? 理由が分かる人いらっしゃいますか?
mt2ってgoogleのサーバではないんですかね?
0275nobodyさん
2006/04/22(土) 22:21:19ID:???スマソ。スレ違いでした。
0276nobodyさん
2006/05/12(金) 22:50:23ID:???0279nobodyさん
2006/07/12(水) 11:31:30ID:tKxG6cwL0280nobodyさん
2006/09/14(木) 08:39:38ID:sWYXW++7http://f.hatena.ne.jp/images/fotolife/m/mdiapp/20060913/20060913075011.png
0281nobodyさん
2006/09/17(日) 17:40:04ID:???ジークGoogle!!!
0282nobodyさん
2006/10/19(木) 10:30:20ID:???Blogのモジュールとして自分のGoogleカレンダーのデータ読んだりすることはできる？
0283nobodyさん
2006/10/19(木) 22:23:36ID:???カレンダーはatom形式でexport出来なかったっけ？
出来るならそのまま、出来なかったらAPIでデータ取ってくれば、RSSなど好きな形式で出力出来る。
0284nobodyさん
2006/10/20(金) 00:45:40ID:YcOtgaoRサンクス。
でもいちいちexportしてimportするってのをユーザにやらせるわけにはいかないしね。
ライセンス的にはどうなんだろうか？もし自作のカレンダーアプリ(有料なんだけど)をAPI使ってGoogle Calendar対応にしたらまずいかな？
0285nobodyさん
2007/01/31(水) 01:23:04ID:5d1Pj9Rt0286nobodyさん
2007/04/20(金) 13:59:32ID:6fIbClrq0287nobodyさん
2007/04/21(土) 16:48:20ID:UegQ8ejSプロプライエタリなAPIなんて使いたくもない。
どうせ金になる技術を開発しても元締めが全部さらっていくだけなんだから。
アッシュアップとかいう概念なんて趣味プログラマを
うまく乗せて奴隷にしているようなもんだ。
0288nobodyさん
2007/07/08(日) 22:52:04ID:MAfkzbqx展開しているけど、アプリケーションの設定をネット上に
保管するような用途に便利なサービスってありますか？
たとえば Google Browser Sync みたいな機能を
自前のアプリケーションでやろうと思っています。
0289288
2007/07/08(日) 23:00:13ID:MAfkzbqxアプリの設定を保存するようにしようかなぁ。
0290288
2007/07/12(木) 09:07:49ID:419GePRp0291nobodyさん
2007/07/12(木) 10:32:47ID:uva72JOxhttp://news22.2ch.net/test/read.cgi/newsplus/1184200703/l50
0292nobodyさん
2007/07/22(日) 17:57:38ID:zdtbeK3Bいいじゃないか
アンタらのブログはアクセス数にこたわらなければならないほど、立派なないようなのか？
↓コイツ、バカだねぇ
70 名前： 名無しさん＠八周年 投稿日： 2007/07/18(水) 12:31:04 ID:wL1uswPu0
http://ibuling.blogspot.com/
2007年7月14日
Googleの広告審査能力は０に等しいのね（´・ω・）
名もなきネット人狙い撃ちで陰口を叩き、独り悦に入る魂の障害者、それがekken
時流に乗った新興産業の個担当者部分に媚を売り、おこぼれに預かろうとするコバンザメネット業者、それがekken
現在ネット上には八百萬のekkenがいる…
投稿者 ？ 場所 16:52
つーことで、 どいつもこいつも
http://blog.livedoor.jp/fem_dom_2006/archives/50755611.html
http://18.dtiblog.com/n/nekora/file/22362134.htm
http://blog.livedoor.jp/mixi_homer
http://ahonosatoshi.blog82.fc2.com/blog-entry-18.html
http://3.dtiblog.com/h/homer2006/file/21470389.htm
163 名前： Trackback(774) 投稿日： 2007/07/18(水) 20:03:55 ID:SmOJW1nB
えっけんの名がでると急にレスがとまるなwww
(行数制限の関係で以下略 元スレ http://pc11.2ch.net/test/read.cgi/blog/1178949190 で確認されたし)
0293nobodyさん
2008/04/22(火) 20:56:20ID:dcW1V6+R0294nobodyさん
2008/04/22(火) 22:28:10ID:???0295nobodyさん
2008/06/22(日) 21:56:07ID:???0296nobodyさん
2008/09/11(木) 15:40:45ID:???0297nobodyさん
2009/03/21(土) 23:09:40ID:???0298nobodyさん
2009/06/11(木) 18:12:01ID:8/pokb6Q0299nobodyさん
2009/07/31(金) 15:50:52ID:cojAx1EVどのような表示がされるのでしょうか？
同じ表記をした別々の地図で、片方だけにBad Requestを返してくるので
これが1000制限なのかな、と思ったのですが
0300nobodyさん
2009/09/05(土) 02:30:43ID:???0301nobodyさん
2009/11/13(金) 18:20:02ID:5y1wh76rサイズ０の画像を送ってくるそのとき４０３も投げてくる
0303nobodyさん
2009/11/26(木) 21:33:06ID:4qiIpsaT本当にありがとうございました
0304nobodyさん
2011/09/14(水) 19:18:32.70ID:???http://hibari.2ch.net/test/read.cgi/pcnews/1315836241/
0307nobodyさん
2013/01/22(火) 00:57:27.91ID:URL7W88z0308nobodyさん
2013/03/22(金) 18:56:29.17ID:???0309nobodyさん
2014/01/30(木) 14:50:28.13ID:Ipx7pFuj会議での講座
http://www.youtube.com/watch?v=k46J8zamgvQ
0310nobodyさん
2014/04/06(日) 14:48:38.56ID:???■ このスレッドは過去ログ倉庫に格納されています