Java+selenium自动爬取网站内容并写入本地

目的：本文主要描述如何使用Java+selenium爬取58同城招聘页，并记录指定职位的招聘公司名保存到本地

一、首先创建一个maven工程，配置依赖包

<dependencies>

        <!-- selenium-java -->
        <dependency>
            <groupId>org.seleniumhq.selenium</groupId>
            <artifactId>selenium-java</artifactId>
            <version>3.4.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.poi/poi -->
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi</artifactId>
            <version>3.9</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.poi/poi-ooxml -->
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>3.9</version>
        </dependency>
    </dependencies>

二、开始写入自动化测试代码

import org.apache.poi.xssf.usermodel.XSSFSheet;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.concurrent.TimeUnit;


public class Zhaopin {
    public static void main(String[] args) throws InterruptedException, IOException {
        System.setProperty("webdriver.chrome.driver", "C:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver.exe");
        WebDriver driver = new ChromeDriver();
        driver.manage().window().maximize();  //窗口最大化
        driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);
        driver.get("http://www.58.com/");  //输入网址

        driver.findElement(By.xpath("//*[@id=\"commonTopbar_ipconfig\"]/a[1]")).click();
        WebElement input = driver.findElement(By.xpath("//*[@id=\"selector-search-input\"]"));
        input.sendKeys("深圳"); //切换城市，打开默认是本地

        driver.findElement(By.xpath("//*[@id=\"selector-search-btn\"]")).click();
        driver.findElement(By.xpath("/html/body/div[3]/div[1]/div[1]/div/div[3]/div[1]/h2/a")).click();//打开招聘
        Thread.sleep(1000);
        String SecondtHandle = driver.getWindowHandle();     //首先得到最先的窗口 权柄
        for (String winHandle1 : driver.getWindowHandles()) {    //得到浏览器所有窗口的权柄为Set集合，遍历
            if (!winHandle1.equals(SecondtHandle)) {                //如果为 最先的窗口 权柄跳出
                driver.close();
                driver.switchTo().window(winHandle1);             //如果不为 最先的窗口 权柄，将 新窗口的操作权柄  给 driver
                System.out.println(driver.getCurrentUrl());     //打印是否为新窗口
            }
        }


        FileInputStream fis = new FileInputStream("D:\\Desktop\\test.xlsx");//创建输入流，获取本地文件
        XSSFWorkbook workbook=new XSSFWorkbook(fis);  //创建工作簿，将数据读入到workbook中
        XSSFSheet sheet1 = workbook.getSheet("Sheet1");
        String index= sheet1.getRow(0).getCell(0).getStringCellValue(); //读取文件内容，为下文做索引

        WebElement input1 = driver.findElement(By.xpath("//*[@id=\"keyword1\"]"));
        input1.sendKeys(index);
        driver.findElement(By.xpath("//*[@id=\"searJob\"]/strong")).click();   //搜索关键词

        for (int i=1;i<100;i++){
            String name=driver.findElement(By.xpath("//*[@id=\"list_con\"]/li["+i+"]/div[2]/div/a")).getAttribute("title");
            //查找每一条记录的title值
            sheet1.createRow(i).createCell(0).setCellValue(name);
        }   //遍历该页面所有公司名并写入excel

        sheet1.createRow(0).createCell(0).setCellValue(index);
        FileOutputStream os = new FileOutputStream("D:\\Desktop\\2.xlsx");//创建一个向指定位置写入文件的输出流
        workbook.write(os);//向指定的文件写入excel
        os.close();//关闭流
        driver.close();//关闭浏览器
    }
}

三、运行结果，读取本地的test.xlsx文件内容，将结果作为搜索条件