Разница между read_html (url) и read_html (content (GET (url), «text»))

Я смотрю на этот отличный ответ: https://stackoverflow.com/a/58211397/3502164.

В начало решения входят:

library(httr)
library(xml2)

gr <- GET("https://nzffdms.niwa.co.nz/search")
doc <- read_html(content(gr, "text"))

xml_attr(xml_find_all(doc, ".//input[@name='search[_csrf_token]']"), "value")

Вывод постоянен для нескольких запросов:

"59243d3a2....61f8f73136118f9"

Мой способ по умолчанию был бы таким:

doc <- read_html("https://nzffdms.niwa.co.nz/search")
xml_attr(xml_find_all(doc, ".//input[@name='search[_csrf_token]']"), "value")

Эти результаты отличаются от результатов выше и меняются в нескольких запросах.

Вопрос:

В чем разница между:

• read_html(url)
• read_html(content(GET(url), "text"))

Почему это приводит к разным значениям и почему только решение «GET» возвращает csv в связанном вопросе?

(Я надеюсь, что можно будет структурировать его по типу трех дополнительных вопросов).

Что я пробовал:

Спускаемся в кроличью нору вызовов функций:

read_html
(ms <- methods("read_html"))
getAnywhere(ms[1])
xml2:::read_html
xml2:::read_html.default
#xml2:::read_html.response

read_xml
(ms <- methods("read_xml"))
getAnywhere(ms[1])

Но это привело к следующему вопросу: найдите используемый метод для функций оболочки R

Мысли:

• Я не вижу, чтобы запрос на получение принимал какие-либо заголовки или файлы cookie, которые могли бы объяснить разные ответы.

• Насколько я понимаю, оба read_htmlи read_html(content(GET(.), "text"))вернут XML / html.

• Хорошо, здесь я не уверен, есть ли смысл проверять, но поскольку у меня закончились идеи: я проверил, происходит ли какое-то кеширование.

Код:

with_verbose(GET("https://nzffdms.niwa.co.nz/search"))
....
<- Expires: Thu, 19 Nov 1981 08:52:00 GMT
<- Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0

-> Мне не кажется, что кеширование может быть решением.

• При просмотре help("GET")есть интересный раздел, касающийся "условного GET":

Семантика метода GET изменяется на «условный GET», если сообщение запроса включает поле заголовка If-Modified-Since, If-Unmodified-Since, If-Match, If-None-Match или If-Range. Условный метод GET требует, чтобы объект был передан только при обстоятельствах, описанных полями условного заголовка. Условный метод GET предназначен для уменьшения ненужного использования сети, позволяя обновлять кэшированные объекты без необходимости многократных запросов или передачи данных, уже хранящихся у клиента.

Но, насколько я понимаю, with_verbose()ни один из If-Modified-Since, If-Unmodified-Since, If-Match, If-None-Match, or If-Rangeних не установлен.

Разница в том, что при повторных вызовах httr::GETдескриптор сохраняется между вызовами. С xml2::read_html(), каждый раз создается новое соединение.

Из документации httr:

Пул дескрипторов используется для автоматического повторного использования дескрипторов Curl для той же комбинации схемы / хоста / порта. Это обеспечивает автоматическое повторное использование сеанса http и сохранение файлов cookie во всех запросах к сайту без вмешательства пользователя.

Из документации xml2, обсуждая строковый параметр, который передается read_html():

Строка может быть либо путем, либо URL-адресом, либо буквальным xml. URL-адреса будут преобразованы в соединения с помощью base::urlили, если они установлены,curl::curl

Итак, ваш ответ - read_html(GET(url))это как обновить ваш браузер, но read_html(url)как закрыть его и открыть новый. Сервер дает уникальный идентификатор сеанса на странице, которую он доставляет. Новая сессия, новый ID. Вы можете доказать это, позвонив httr::reset_handle(url):

library(httr)
library(xml2)

# GET the page (note xml2 handles httr responses directly, don't need content("text"))
gr <- GET("https://nzffdms.niwa.co.nz/search")
doc <- read_html(gr)
print(xml_attr(xml_find_all(doc, ".//input[@name='search[_csrf_token]']"), "value"))

# A new GET using the same handle gets exactly the same response
gr <- GET("https://nzffdms.niwa.co.nz/search")
doc <- read_html(gr)
print(xml_attr(xml_find_all(doc, ".//input[@name='search[_csrf_token]']"), "value"))

# Now call GET again after resetting the handle
httr::handle_reset("https://nzffdms.niwa.co.nz/search")
gr <- GET("https://nzffdms.niwa.co.nz/search")
doc <- read_html(gr)
print(xml_attr(xml_find_all(doc, ".//input[@name='search[_csrf_token]']"), "value"))

В моем случае получение вышеуказанного кода дает мне:

[1] "ecd9be7c75559364a2a5568049c0313f"
[1] "ecd9be7c75559364a2a5568049c0313f"
[1] "d953ce7acc985adbf25eceb89841c713"