How to write a parser of any search engine in PHP in 5 minutes
Удивительно, но до сих пор на вебмастерских форумах некоторые товарищи пытаются продать парсеры различных поисковиков. Будь то Google, Yahoo или MSN. Безусловно серьезный софт стоит денег, но вот простейшие варианты написать труда не составляет.
Ниже идут исходники вышеперечисленных поисковиков на PHP. Доработать и разобраться при желании труда не составит. Писано когда-то мной.
Парсер Google:
$keyword = 'php';
$pages = 1; // Amount of pages to parse (from 1 to 10)
$pattern = '/><a href="?([\S]*)" class="l(\s?onmo)?/i';<br"> for ($i = 0; $i < $pages*100; $i += 100) {
$query = "http://www.google.com/search?q=" .
urlencode($keyword)."&num=100&start=".$i;
$res = file_get_contents($query);
preg_match_all($pattern, $res, $urls);
if (!empty($urls[1])) {
for ($j = 0; $j < count($urls[1]); $j++) {
print $urls[1][$j] . "
\n";
}
}
}
$pages = 1; // Amount of pages to parse (from 1 to 10)
$pattern = '/><a href="?([\S]*)" class="l(\s?onmo)?/i';<br"> for ($i = 0; $i < $pages*100; $i += 100) {
$query = "http://www.google.com/search?q=" .
urlencode($keyword)."&num=100&start=".$i;
$res = file_get_contents($query);
preg_match_all($pattern, $res, $urls);
if (!empty($urls[1])) {
for ($j = 0; $j < count($urls[1]); $j++) {
print $urls[1][$j] . "
\n";
}
}
}
$keyword = 'php';
$pages = 1; // Amount of pages to parse (from 1 to 10)
$pattern = '/</a><a href="?([^" class="yschttl\s?href=">]*)"?/i';
for ($i = 1; $i < $pages*100; $i += 100) {
$query = 'http://search.yahoo.com/search?p=' .
urlencode($keyword) . '&n=100&b=' . $i;
$res = file_get_contents($query);
preg_match_all($pattern, $res, $urls);
if (!empty($urls[1])) {
for ($j = 0; $j < count($urls[1]); $j++) {
print $urls[1][$j] . "
\n";
}
}
}
$pages = 1; // Amount of pages to parse (from 1 to 10)
$pattern = '/</a><a href="?([^" class="yschttl\s?href=">]*)"?/i';
for ($i = 1; $i < $pages*100; $i += 100) {
$query = 'http://search.yahoo.com/search?p=' .
urlencode($keyword) . '&n=100&b=' . $i;
$res = file_get_contents($query);
preg_match_all($pattern, $res, $urls);
if (!empty($urls[1])) {
for ($j = 0; $j < count($urls[1]); $j++) {
print $urls[1][$j] . "
\n";
}
}
}
$keyword = 'php';
$pages = 1; // Amount of pages to parse (from 1 to 50)
$pattern = '/ </a>
<li>
<h3><a href="([^">]*)/i';
for ($i = 1; $i < $pages*50; $i += 10) {
$query = "http://search.msn.com/results.aspx?q=" .
urlencode($keyword) . "&first=" . $i;
$res = file_get_contents($query);
preg_match_all($pattern, $res, $urls);
if (!empty($urls[1])) {
for ($j = 0; $j < count($urls[1]); $j++) {
print $urls[1][$j] . "
\n";
}
}
}
$pages = 1; // Amount of pages to parse (from 1 to 50)
$pattern = '/ </a>
<li>
<h3><a href="([^">]*)/i';
for ($i = 1; $i < $pages*50; $i += 10) {
$query = "http://search.msn.com/results.aspx?q=" .
urlencode($keyword) . "&first=" . $i;
$res = file_get_contents($query);
preg_match_all($pattern, $res, $urls);
if (!empty($urls[1])) {
for ($j = 0; $j < count($urls[1]); $j++) {
print $urls[1][$j] . "
\n";
}
}
}
