日本h无遮挡动漫在线看_欧美真人淫在线观看_亚洲成在人线a免费_av不卡无码高清在线观看

數(shù)據(jù)采集系統(tǒng)是一款智能化的互聯(lián)網(wǎng)數(shù)據(jù)采集工具，與內(nèi)容管理系統(tǒng)深度集成，可簡單快速地將目標網(wǎng)站的內(nèi)容采集到自己的網(wǎng)站中，以快速填充網(wǎng)站內(nèi)容，或者通過定時采集來實現(xiàn)自動轉(zhuǎn)載目標網(wǎng)站的新聞，以減少網(wǎng)站內(nèi)容運維工作。

與內(nèi)容管理系統(tǒng)深度集成

數(shù)據(jù)采集系統(tǒng)能夠從目標網(wǎng)站采集數(shù)據(jù)，通過智能分析，將數(shù)據(jù)與指定內(nèi)容模型的各個字段匹配生成相應的內(nèi)容實體，并保存至指定欄目中。目標網(wǎng)頁中的圖片和附件會以文件形式保存在網(wǎng)站的上傳文件夾中。

支持數(shù)據(jù)采集的內(nèi)容模型包括文章、公開信息、政策文件等。

支持多種數(shù)據(jù)源格式

  • 網(wǎng)站

  • 網(wǎng)頁

  • RSS 源

  • API 接口
    （XML 格式）

  • API 接口
    （Json 格式）

  • 支持從網(wǎng)頁、RSS 源、API 接口（Json 格式、XML 格式）采集數(shù)據(jù)。
    當數(shù)據(jù)源為網(wǎng)頁或 API 接口時，支持設置請求頭參數(shù)。

采集功能完備

  • 支持按正序或倒序進行數(shù)據(jù)采集。
  • 支持定時采集功能。
  • 支持斷點續(xù)采。
  • 支持采集排重（增量采集），可以根據(jù)標題或 URL 進行排重。
  • 支持自動下載內(nèi)容中的圖片和附件。
  • 支持自動過濾正文中的鏈接。
  • 支持更新采集，即在采集所有數(shù)據(jù)的同時不清空歷史記錄，并判斷歷史記錄中是否存在相同數(shù)據(jù)，若存在則更新數(shù)據(jù)，否則插入新數(shù)據(jù)。
  • 支持重新采集，即清空歷史記錄后重新采集全部數(shù)據(jù)。
  • 支持批量執(zhí)行采集任務。
  • 支持查看采集進度。
  • 支持采集歷史記錄管理，用戶可以查看、刪除、清空采集歷史記錄。
  • 支持僅采集為鏈接內(nèi)容，并保留至源網(wǎng)頁的鏈接。
  • 可視化配置采集規(guī)則

    提供可視化操作界面，無需編寫代碼。用戶可以通過簡單的拖拽、點選和配置來定義采集規(guī)則，使不懂技術(shù)的編輯人員也能輕松配置采集規(guī)則。

  • 支持代理服務器

    支持采集只能通過代理服務器訪問的網(wǎng)站內(nèi)容，或者通過代理服務訪問來繞過目標網(wǎng)站的反爬蟲限制。

  • 支持采集需要身份認證的網(wǎng)站

    支持采集需要認證的網(wǎng)站內(nèi)容，支持的認證方式包括 HttpBasic 認證、Token 認證和 Jwt 認證。

  • 反反爬蟲

    具備簡單的反反爬蟲機制，通過模擬正常瀏覽器的 UA、調(diào)整采集間隔時間和通過代理服務器訪問等手段，有效應對網(wǎng)站的反爬蟲機制，確保采集過程的穩(wěn)定性和可靠性。

  • 實時監(jiān)控與預警

    系統(tǒng)保存完整的采集日志記錄，可通過日志還原采集過程，幫助分析采集過程中出現(xiàn)的問題。同時，借助完善的日志功能，系統(tǒng)能夠?qū)崟r統(tǒng)計各項采集指標，并提供實時預警。

×

用戶登錄