用Arduino讀取網頁資訊 - 原理解釋

使用Arduino加上Spider L3S的WiFi模組就可以將網頁的資訊給擷取下來，但是到底是如何做到的呢? 此篇就來解釋運作的原理。




首先，我們要先了解http連線的原理



Http協定是透過TCP連線，將伺服器與瀏覽器連接起來後，再透過連接起的連線跑Http的傳輸協定語法。所以我只要讓Spider L3S透過TCP客戶端對網頁伺服器連線，並且送出對應的HTTP 訊息就可以取得網頁。

整體的程式架構流程是這樣的


範例程式可以從Github取得

首先，先修改SSID與密碼，程式會在setup內Initial Spider L3S，讓Spider L3S連接上WiFi AP

/* Initial Spider L3 */
    Serial.print(F("Starting Spider L3..."));
    ret = Spider_begin();
    if(ret != 0){
        Serial.println(F("fail, please check connection pin."));
        while(1) ;
    }
    Serial.println(F("ok"));

    /* Connect to WiFi AP */
    Serial.print(F("Connect to "));
    Serial.write((unsigned char*)AP_Ssid, strlen(AP_Ssid));
    Serial.print(F(" access point..."));
    ret = Spider_Connect(3, (char*)AP_Ssid, (char*)AP_Pass);
    if(ret != 0){
        Serial.println(F("fail."));
        while(1) ;
    }
    Serial.println(F("ok"));

// Don't forget set correct WiFi SSID and Password.
char AP_Ssid[] = {"xxxxxxxx"};
char AP_Pass[] = {"xxxxxxxx"};

待Initial完成後，便開始執行loop內的程式擷取Yahoo weather RSS網頁。

我將擷取網頁的過程分為幾個步驟：

1.取得Yahoo server的IP address

透過WebClient_Get_HostIP這函式，分析api_url_link內的網址，取得Server的IP位址

/* Target URL link */
char api_url_link[] = {"http://weather.yahooapis.com/forecastrss?w=2306179&u=c"};

ret = WebClient_Get_HostIP(api_url_link, &ip[0], &ip[1], &ip[2], &ip[3]);

2.設定TCP連線

設定TCP連線，目的為剛剛取得的IP位址，Port為80

ret = WebClient_Begin_IP(&host_inf, ip[0],  ip[1],  ip[2],  ip[3], 80);

3.連上Yahoo server

ret = WebClient_Connect(&host_inf);

4.送出http request

ret = WebClient_SendRequest(&host_inf, api_url_link);

5.接收網頁

ret = WebClient_RecvData(&host_inf, ret_data, sizeof(ret_data));

6.分析資料

這階段其實分為兩個步驟，首先可以先看要抓取網頁的原始碼，並查看網頁原始碼，可以看到一堆氣象溫度資訊用XML格式顯示出來。

目前台北市內湖的氣象資訊是這一行

 yweather:condition code="11" date="Thu, 15 May 2014 11:30 am CST" temp="29" text="Light Rain">

所以我對網頁資料做分析，將temp="?"的資訊抓取出來

/* Do information parsing */
char* str1;
str1 = strstr(ret_data, "temp=\"");
if(str1 != 0){
    digitalWrite(INDICATE_LED, HIGH);
                                
    char* str2 = 0;
    int temp = 0;
 
    str1 += strlen("temp=\"");
    str2 = strstr(str1, "\"");
    *str2 = 0;
    sscanf(str1, "%d", &temp);

    /* Print tempecture */
    Serial.print(F("Tempecture of Taipei city:"));
    Serial.print(temp, DEC);
    Serial.println();
    digitalWrite(INDICATE_LED, LOW);
}

並透過Serial Monitor傳出來

這樣就完成了，有沒有很簡單啊?

但是這方法目前只適用於一些稍微簡單的網頁，或者雲端業者提供的雲端API網頁讀取資料，如果較複雜(ex. Flash, 帳號登入等)就比較不適用。不過我相信未來這邊的資訊取的會越來越便利與簡單，也可以創造出更多嶄新的應用，讓虛擬資訊也能夠實體化與人們產生互動。