Web scraping é o ato de extrair dados, informações ou imagens de um site usando um método automatizado. Pense^(Think) nisso como copiar e colar^{(copy and paste)} no automático.

Nós escrevemos ou usamos um aplicativo para acessar os sites que queremos e fazer uma cópia das coisas específicas que queremos desses sites. É muito mais preciso do que baixar um site inteiro.

Como qualquer ferramenta, a raspagem da web pode ser usada para o bem ou para o mal. Algumas das melhores razões para raspar sites seriam classificá-lo em um mecanismo de pesquisa com^{(search engine)} base em seu conteúdo, fazer compras^{(price comparison shopping)} de comparação de preços ou monitorar informações do mercado de ações^{(stock market information)} . Você pode até usá-lo como uma espécie de ferramenta de pesquisa .^{(research tool)}

Como posso raspar sites com o Excel ?

Acredite ou não, o Excel tem a capacidade de extrair dados de sites há muito tempo, pelo menos desde o Excel 2003 . É só que a raspagem da web é algo em que a maioria das pessoas não pensa^{(t think)} , muito menos pensa em usar um programa de planilha^{(spreadsheet program)} para fazer o trabalho. Mas é surpreendentemente fácil e poderoso. Vamos aprender como fazer isso criando uma coleção de atalhos de teclado do Microsoft Office^{(Microsoft Office keyboard)} .

Encontre os sites que você deseja raspar

A primeira coisa que vamos fazer é encontrar as páginas da Web específicas das quais queremos obter informações. Vamos para a fonte e pesquisar^{(source and search)} em https://support.office.com/ . Vamos usar o termo de busca^{(search term)} “atalhos usados ​​com frequência”. Podemos torná-lo mais específico usando o nome do aplicativo específico, como Outlook , Excel , Word e assim por diante. Pode ser uma boa ideia marcar a página de resultados para que possamos voltar lá facilmente.

Clique^(Click) no resultado da pesquisa^{(search result)} , “Atalhos de teclado no Excel para Windows”. Uma vez nessa página, encontre a lista de versões do Excel e clique em Versões mais recentes^{(Newer Versions)} . Agora estamos trabalhando com o que há de mais recente e melhor.

Poderíamos voltar à nossa página de resultados de pesquisa e abrir os resultados de todos os outros aplicativos do Office^{(Office apps)} em suas próprias guias e marcá-los. É uma boa ideia, mesmo para este exercício. É aqui que a maioria das pessoas pararia de coletar atalhos do Office , mas não nós. ^(Office)Vamos colocá-los no Excel para que possamos fazer o que quisermos com eles, quando quisermos.

Abra o Excel e Raspe

Abra o Excel e inicie uma nova pasta de trabalho. Salve a pasta de trabalho como Atalhos do Office^{(Office Shortcuts)} . Se você tiver o OneDrive, salve-o lá para que o recurso AutoSave funcione.

Depois que a pasta de trabalho for salva, clique na guia Dados .^(Data)

Na faixa de opções da guia Dados^{(Data tab)} , clique em Da Web^{(From Web)} .

A janela do assistente da Web será aberta. ^{(From Web )}É aqui que colocamos o endereço da web ou URL^{(web address or URL)} do site do qual queremos extrair os dados. Alterne para o navegador da Web e copie^(copy) o URL.

Cole o URL no campo URL do assistente ^(URL)da Web^{(From Web wizard)} . Poderíamos optar por usar isso no modo Básico^(Basic) ou Avançado^(Advanced) . O modo Avançado^{(Advanced mode)} nos dá muito mais opções sobre como acessar os dados do site. Para este exercício, precisamos apenas do modo Básico. Clique ^(Click) em OK^(OK) .

O Excel^(Excel) agora tentará se conectar ao site. Isso pode demorar alguns segundos. Veremos uma janela de progresso^{(progress window)} , se isso acontecer.

A janela do Navegador^(Navigator) será aberta e veremos uma lista de tabelas do site à esquerda. Quando selecionamos um, veremos uma visualização da tabela à direita. Vamos selecionar a tabela de atalhos usados ​​com frequência .^{(Frequently used shortcuts )}

Podemos clicar na guia Web View para ver o site real, se precisarmos procurar a tabela que queremos. Quando o encontrarmos, podemos clicar nele e ele será selecionado para importação.

Agora, clicamos no botão Carregar^(Load) na parte inferior desta janela. Existem outras opções que poderíamos escolher, que são mais complexas e além do escopo de fazer nosso primeiro raspado. Apenas esteja ciente de que eles estão lá. Os recursos de raspagem da Web do Excel são muito poderosos.

A tabela da web^{(web table)} será carregada no Excel após alguns segundos. Veremos os dados à esquerda, onde o número 1 está na imagem abaixo. O número 2 destaca a Consulta^(Query) usada para obter os dados do site. Quando temos várias consultas em uma pasta de trabalho, é aqui que selecionamos a que precisamos usar.

Observe^(Notice) que os dados entram na planilha como uma tabela do Excel. Já está configurado para que possamos filtrar ou classificar os dados.

Podemos repetir esse processo para todas as outras páginas da Web que tenham os atalhos do Office que desejamos para Outlook , Word , Access , PowerPoint e qualquer outro aplicativo do Office^{(Office app)} .

Mantendo os dados raspados atualizados^{(Scraped Data Current)} no Excel

Como um bônus para você, vamos aprender como manter nossos dados extraídos atualizados no Excel . Esta é uma ótima maneira de ilustrar o quão poderoso o Excel é para raspagem de dados. Mesmo com isso, estamos fazendo apenas a raspagem mais básica que o Excel pode fazer.

Para este exemplo, vamos usar uma página da Web de informações de ações como ^{(stock information)}https://www.cnbc.com/stocks/ .

Reveja o que fizemos antes e copie e cole^{(copy and paste)} o novo URL da barra de endereço^{(address bar)} .

Você chegará à janela do Navegador^{(Navigator window)} e verá as tabelas disponíveis. Vamos selecionar os principais índices de ações dos EUA^{(Major U.S. Stock Indices)} .

Uma vez que os dados são raspados, veremos a seguinte planilha.

À direita, vemos a consulta dos principais índices de ações dos EUA^{(Major U.S. Stock Indexes)} . Selecione^(Select) isso para que fique realçado. Verifique^(Make) se estamos na guia Ferramentas de Tabela e na área ^{(Table Tools)}Design . Em seguida, clique na seta para baixo em Atualizar^(Refresh) . Em seguida, clique em Propriedades da conexão^{(Connection Properties)} .

Na janela Propriedades da consulta , na guia ^{(Query Properties )}Uso^(Usage) , podemos controlar como essas informações são atualizadas. Podemos definir um período de tempo específico para atualizar ou atualizar quando abrirmos a pasta de trabalho na próxima vez, ou atualizar em segundo plano ou qualquer combinação desses. Depois de escolher o que precisamos, clique em OK para fechar a janela e continuar.

É isso! Agora você pode acompanhar os preços das ações, resultados esportivos ou quaisquer outros dados que mudem com frequência em uma planilha do Excel^{(Excel spreadsheet)} . Se você é bom com equações e funções do Excel , pode fazer quase tudo o que quiser com os dados.

Talvez tente identificar tendências de ações, administrar uma piscina de esportes de fantasia no trabalho ou talvez apenas acompanhar o clima. Quem sabe? Sua imaginação e os dados disponíveis na Internet são os únicos limites.

Use Excel as a Tool to Copy Data from the Web

Web scraping is the aсt of еxtracting data, information, or images from a website using an automated method. Τhink оf it as сopy аnd paste on full autоmatic.

We either write or use an app to go to the websites we want it to and make a copy of the specific things we want from those websites. It’s much more precise than downloading an entire website.

Like any tool, web scraping can be used for good or evil. Some of the better reasons for scraping websites would be ranking it in a search engine based on its content, price comparison shopping, or monitoring stock market information. You might even use it as a research tool of sorts.

How Can I Scrape Websites with Excel?

Believe it or not, Excel has had the ability to extract data from websites for a long time, at least since Excel 2003. It’s just that web scraping is something most people don’t think of, let alone think of using a spreadsheet program to do the job. But it’s surprisingly easy, and powerful. Let’s learn how it’s done by making a collection of Microsoft Office keyboard shortcuts.

Find the Sites You Want to Scrape

The first thing we’re going to do is find the specific web pages from which we want to get information. Let’s go to the source and search at https://support.office.com/. We’re going to use the search term “frequently used shortcuts”. We can make it more specific by using the name of the specific app, like Outlook, Excel, Word, and so on. It may be a good idea to bookmark the results page so we can easily get back there.

Click on the search result, “Keyboard shortcuts in Excel for Windows”. Once on that page, find the list of Excel versions and click on Newer Versions. Now we’re working with the latest and greatest.

We could go back to our search results page and open the results for all the other Office apps in their own tabs and bookmark them. It’s a good idea, even for this exercise. This is where most people would stop in collecting Office shortcuts, but not us. We’re going to put them in Excel so we can do whatever we want with them, whenever we want.

Open Excel and Scrape

Open Excel and start a new workbook. Save the workbook as Office Shortcuts. If you have OneDrive, save it there so the AutoSave feature will work.

Once the workbook is saved, click on the Data tab.

In the ribbon of the Data tab, click on From Web.

The From Web wizard window will open. This is where we put the web address or URL of the website from which we want to scrape data. Switch to your web browser and copy the URL.

Paste the URL in to the URL field of the From Web wizard. We could choose to use this in Basic or Advanced mode. The Advanced mode gives us a lot more options on how to access the data from the website. For this exercise, we only need Basic mode. Click OK.

Excel will now attempt to connect to the website. This may take a few seconds. We’ll see a progress window, if it does.

The Navigator window will open, and we’ll see a list of tables from the website on the left. When we select one, we’ll see a table preview on the right. Let’s select the Frequently used shortcuts table.

We can click on the Web View tab to see the actual website, if we need to look around for the table we want. When we find it, we can click on it and it will be selected for import.

Now, we click on the Load button at the bottom of this window. There are other options we could choose, which are more complex and beyond the scope of doing our first scrape. Just be aware that they are there. Excel’s web scraping capabilities are very powerful.

The web table will be loaded in Excel after a few seconds. We’ll see the data on the left, where the number 1 is in the picture below. Number 2 highlights the Query used to get the data from the website. When we have multiple queries in a work book, this is where we select the one we need to use.

Notice that the data comes into the spreadsheet as an Excel table. It’s already set up for us to be able to filter or sort the data.

We can repeat this process for all the other web pages that have the Office shortcuts that we want for Outlook, Word, Access, PowerPoint, and any other Office app.

Keeping Scraped Data Current in Excel

As a bonus for you, we’re going to learn how to keep our scraped data fresh in Excel. This is a great way to illustrate just how powerful Excel is for data scraping. Even with this, we’re only doing the most basic scraping that Excel can do.

For this example, let’s use a stock information web page like https://www.cnbc.com/stocks/.

Go through what we did before and copy and paste the new URL from the address bar.

You’ll get to the Navigator window and see the tables available. Let’s select the Major U.S. Stock Indices.

Once the data is scraped we’ll see the following spreadsheet.

On the right, we see the query for Major U.S. Stock Indexes. Select that so it is highlighted. Make sure we’re in the Table Tools tab and in the Design area. Then click on the down arrow under Refresh. Then click on Connection Properties.

In the Query Properties window, under the Usage tab, we can control how this information refreshes. We can set a specific time period to refresh, or to refresh when we open the workbook the next time, or to refresh in the background, or any combination of these. Once we choose what we need, click on OK to close the window and continue.

That’s it! Now you can track stock prices, sports scores, or any other data that changes frequently from an Excel spreadsheet. If you’re good with Excel equations and functions, you can do almost anything you want with the data.

Maybe try to identify stock trends, run a fantasy sports pool at work, or maybe just keep track of the weather. Who knows? Your imagination and the data available on the Internet, are the only limits.

Related posts

• Use a nova função “Inserir dados da imagem” do Excel Mobile

• Use funções de resumo para resumir dados no Excel

• Use o Excel para descobrir uma taxa de juros efetiva a partir de uma taxa de juros nominal

• Mapeando seus dados do Excel

• Como filtrar dados no Excel

• Os 40 melhores atalhos de teclado do Microsoft Excel

• Adicionar um Regression Trendline Linear a um Excel Scatter Plot

• Como remover, quebrar ou quebrar uma senha esquecida do Excel XLS

• Como separar nomes e sobrenomes no Excel

• Como usar Minigráficos no Excel

• Como usar comparar e combinar documentos no Word

• Como subtrair datas no Excel

• Como encontrar valores correspondentes no Excel

• Como usar os recursos de AutoRecuperação e Backup Automático do Excel

• Use Format Painter no Word para copiar e colar formatação

• Como calcular Variance em Excel

• Como adicionar comentários a uma célula de planilha do Excel

• Como criar um Flowchart em Word and Excel

• Inserir uma planilha do Excel em um documento do Word

• Como adicionar barras de erro no Excel