Acesso à Internet em Python usando Urllib.Request e urlopen()

O que é urllib?

urllib é um módulo Python que pode ser usado para abrir URLs. Ele define funções e classes para ajudar nas ações de URL.

Com Python você também pode acessar e recuperar dados da internet como XML, HTML, JSON, etc. Você também pode usar Python para trabalhar com esses dados diretamente. Neste tutorial vamos ver como podemos recuperar dados da web. Por exemplo, aqui usamos um URL de vídeo guru99, e vamos acessar este URL de vídeo usando Python, bem como imprimir o arquivo HTML deste URL.

Neste tutorial vamos aprender

• Como abrir URL usando Urllib
• Como ler o arquivo HTML para seu URL em Python

Como abrir URL usando Urllib

Antes de executarmos o código para conectar aos dados da Internet, precisamos importar a instrução para o módulo da biblioteca de URL ou “urllib”.

• Importar URL
• Defina sua função principal
• Declare a variável webUrl
• Em seguida, chame a função urlopen na biblioteca URL lib
• A URL que estamos abrindo é o tutorial guru99 no youtube
• Em seguida, vamos imprimir o código do resultado
• O código de resultado é recuperado chamando a função getcode na variável webUrl que criamos
• Vamos converter isso em uma string, para que possa ser concatenado com nossa string “código de resultado”
• Este será um código HTTP normal "200", indicando que a solicitação http foi processada com sucesso

Como obter URL de formulário de arquivo HTML em Python

Você também pode ler o arquivo HTML usando a “função de leitura” em Python e, ao executar o código, o arquivo HTML aparecerá no console.

• Chame a função de leitura na variável webURL
• Variável de leitura permite ler o conteúdo dos arquivos de dados
• Leia todo o conteúdo do URL em uma variável chamada data
• Execute o código - Ele imprimirá os dados no formato HTML

Aqui está o código completo

Exemplo do Python 2

#  
# read the data from the URL and print it
#
import urllib2

def main():
# open a connection to a URL using urllib2
   webUrl = urllib2.urlopen("https://www.youtube.com/user/guru99com")
  
#get the result code and print it
   print "result code: " + str(webUrl.getcode()) 
  
# read the data from the URL and print it
   data = webUrl.read()
   print data
 
if __name__ == "__main__":
  main()

Exemplo do Python 3

#
# read the data from the URL and print it
#
import urllib.request
# open a connection to a URL using urllib
webUrl  = urllib.request.urlopen('https://www.youtube.com/user/guru99com')

#get the result code and print it
print ("result code: " + str(webUrl.getcode()))

# read the data from the URL and print it
data = webUrl.read()
print (data)