クローリング(巡回)が難しいサイトはございます。
代表例を下記に記載いたします。
自動巡回が可能なサイト
・多重ログインが可能
・BASIC認証・ログイン設定(IDとパスワードで認証する方式)があるサイト
・インターネット経由でアクセス可能であること
・Chromeで動作するサイト
・アクセスの順番・特定の値の入力が不要であること
・日本語入力のフォームであること
自動巡回で対応不可能・手動巡回で対応可能なケースの代表例
・特定の代理店コードの入力など、特定の値の入力が必要なもの
・特定の範囲の数値の入力が必要なもの
・新規登録機能等で、重複しない値の入力が必要なもの
・チェックボックス・ラジオボタンなどの組み合わせが必要なもの
・divタグで遷移するもの
自動巡回・手動巡回共に対応不可能なケースの代表例
・アクセスに特別な設定が必要なもの
・SMS認証、メール認証、2段階認証など、 ブラウザ以外での認証が必要なサイト
・Chromeで動作しないサイト
・インターネットからアクセスできないサイト
・reCAPTCHAが必要なサイト
・一度処理を行うとサイトのURLが無効になるもの
・画像上で線や図形の作成や操作等を行うサイト
・表示されるコンテンツ全てのスクロールが必要なもの
・ファイルアップロード・ダウンロードが必要なもの