0


0

PHPは外部リンクを見つけてデータを取得します

私はミニクローラーを作成しようとしています..サイトを指定するとき.. file_get_contents()を実行し、必要なデータを取得します。 私はすでにやった.. 今、それが存在するサイト上の外部リンクを見つけることができるコードを追加したい.. そして、データを取得..

基本的に..サイトを指定する代わりに..外部リンクをたどり、利用可能な場合はデータを取得します…​

ここに私が持っているものがあります。

前もって感謝します..


2 Answer


2


HTML DOM PARSERを使用します

// Create DOM from URL
$html = file_get_html('http://www.example.com/');

// Find all links
$allURLs = array();
foreach($html->find('a') as $element)
       $allURLs[] = $element->href;
  • $ allURLs *にはWebページのすべてのURLが含まれ、ループを使用して各リンクの `file_get_contents()`を実行できます。


0


もし私があなただったら、このコードを2つの部分で壊していたでしょう

'' '' '

最初の部分:---

  will fetch the content and display the link

第二部:---

        Second part will be called when I specify which link i want to display
        i will specify this external link back to same file recursively.

したがって、基本的にurコードは次のようになります

'' '' '

     first part --> 1)get the data
                    2)parse the link
                   if( link is chosen )
                    {
                       run current file again with selected link passed
                     }