Poly Regression: Data Visualization Tutorial

Olá a todos e bem-vindos a esta palestra. Estou muito animado porque agora estamos um pouco mais perto de realmente visualizar os dados e treinar nosso modelo também, usando a regressão polinomial. Portanto, a primeira etapa que queremos que ele faça é visualizar o conjunto de dados nesta palestra. Na aula anterior, abordamos principalmente como podemos importar todas as nossas bibliotecas e todos os nossos conjuntos de dados usando um quadro de dados do Pandas. Então, aqui temos simplesmente o nosso salário, que é um quadro de dados que contém todas as informações que os nossos dados contêm e que consiste em duas colunas, nosso número de anos de experiência versus salário. E conseguimos obter a cabeça e a cauda indicando as primeiras amostras e as últimas amostras. Vamos visualizar os dados usando o Seaborn nesta seção. Tudo bem. Vamos em frente. Então, vou dizer, ok, SNS dot joint plot e vamos passar X igual ao número de anos. Minhas desculpas. Temos que garantir que os anos de experiência. Na verdade, corresponde exatamente à coluna aqui. Portanto, temos anos de experiência. Certifique-se de que seja uma letra maiúscula. Também está em caixa alta. E essa é a primeira variável. E então vamos traçar um gráfico de y igual a dois. Esse será o nosso salário. Certo? E temos que especificar a fonte dos dados. Portanto, nossa fonte de dados é igual às nossas informações salariais. Muito bem, vamos pressionar o botão shift. Entre. Executamos isso e aqui vamos nós. Parece ótimo. Portanto, o número de anos de experiência, à medida que aumentarmos o número de anos de experiência aqui, você verá que o salário real também aumentará. E você verá aqui que os dados, na verdade, o modelo linear simples não será um bom ajuste nesse caso, o que significa que precisamos melhorar nosso jogo e, você sabe, mudar para uma regressão polinomial em vez de uma regressão linear simples. Tudo bem. A próxima etapa é dizer SNS dot LM plot e passar X igual ao número de anos de experiência. Certifique-se de que esteja em letras maiúsculas e que vamos passar nosso valor y, que é. Seremos nossas informações de salário e, em seguida, passaremos nossos dados, que são uma fonte. Seremos nosso quadro de dados de salário. Tudo bem. Se vocês se lembram das seções anteriores, esse gráfico linear será usado para simplesmente traçar uma espécie de estimativa rápida da melhor linha reta que pode se ajustar aos dados. Então, aparentemente, esta é a nossa linha reta e a linha reta é basicamente terrível. Tudo bem. Portanto, ela não se ajusta muito bem aos dados, o que faz sentido, pois agora precisamos melhorar um pouco o nosso jogo e usar a regressão polinomial em vez da regressão linear simples. Tudo bem. Agora é hora de um desafio rápido. O que estou pedindo a vocês é que realizem duas tarefas, na verdade. A primeira é usar o SNS para participar da trama. Mas, em vez de traçar o número de anos de experiência em relação ao salário, quero que vocês façam o contrário. Quero que você trace o gráfico do salário em relação ao número de anos de experiência no primeiro e no segundo caso. Quero que vocês usem o gráfico de pares como fizemos antes, apenas para plotar todas as informações, todos os dados usando o gráfico de pares. Por favor, vá em frente, pause o vídeo e eu os verei depois do desafio. Tudo bem. Espero que vocês tenham conseguido resolver o desafio sozinhos. Portanto, pedimos que vocês simplesmente acessem aqui e usem o gráfico de união. Vamos copiar isso. Vamos colocar isso aqui. E estou lhe perguntando: em vez de colocar os anos de experiência no eixo x, vamos colocar o salário aqui no eixo x e, em vez de Y, vamos colocar o número de anos de experiência. E, mais uma vez, certifique-se de que isso esteja em letras maiúsculas. E aqui vamos nós. Vamos executá-lo. E aqui vamos nós. Portanto, aqui temos o salário e aqui temos o número de anos de experiência e, obviamente, os dados também, ou a relação ainda não é linear. E, na próxima etapa ou no próximo desafio, peço que vocês usem o gráfico de pares para visualizar todos os dados. Então, vamos dizer, ok, SNS dot pair plot e vamos simplesmente passar nossas informações de salário para lá, que é o quadro de dados inteiro, e o pair plot cuidará de tudo para nós. Tudo bem, vamos mudar para enter e aqui está. Portanto, o enredo do par. Na verdade, eu prefiro o gráfico de pares porque é como se você não precisasse plotar cada uma das duas variáveis separadamente. Ele estava apenas tentando todas as combinações diferentes para todos os dados. Portanto, aqui você encontrará o número de anos de experiência e aqui você tem o salário, e essa é a curva que sobe dessa forma. Novamente, à medida que você aumenta o número de anos de experiência, o salário aumenta, e essa é basicamente a mesma curva que traçamos aqui. Certo. Está bem. E aqui, este é simplesmente o nosso salário versus os anos de experiência, que é a curva que peço que vocês tracem aqui. Novamente, não é necessário fazê-las separadamente. Você pode simplesmente usar o gráfico de pares, passar o quadro de dados e pronto. Tudo bem. E aqui ele mostrará a distribuição do número de anos de experiência. Você verá que aqui a média é de cerca de dez anos de experiência. E o salário aqui é em torno de, digamos, US$ 100.000 por ano, valor médio. E se vocês subirem, na verdade temos essa informação em algum lugar aqui. Portanto, a média salarial está em torno de 111.000, o que faz sentido, o que corresponde praticamente às nossas informações, nossas correspondências, nossos dados aqui. Tudo bem. Então vamos lá. Continue. E, na quarta etapa, aprenderemos a criar nosso conjunto de dados de treinamento. Tudo bem. Então, vamos dizer: "Tudo bem, se X, que é a nossa entrada para o modelo, for a nossa informação salarial, e aqui vamos seguir em frente e passar nossos anos de experiência". Essa será a nossa entrada para o modelo. Vamos verificar isso. Vamos dar uma olhada em X, que é a nossa entrada X. Esse é basicamente o nosso número de anos de experiência. A primeira coluna, certo? E temos 2.000 amostras, 2.000 linhas por uma coluna. Certo? Vamos realmente remover isso. E se quiser dar uma olhada nisso, vamos dar uma olhada na forma de ponto X. Se você der uma olhada, é 2000 por um. Parece perfeito. A próxima etapa dirá: "Ok, y é igual a dois". Esse seria o nosso salário. E se entrarmos nela e formos para nossa coluna salário novamente, se você for até o quadro de dados, se ele estiver em algum lugar aqui, verá que temos duas colunas, os anos de experiência versus o salário. Portanto, simplesmente porque os anos de experiência são nossa variável independente, esse será nosso X, nosso insumo e salário. Vamos usar nosso resultado, que já é nossa variável dependente. Então, vamos descer aqui. E essas são as nossas informações. Vamos executá-lo. Parece bom. Vamos dar uma olhada em Y. Tudo bem. Essa é a nossa variável y. Parece perfeito. E a última etapa é. E isso é realmente muito importante. E isso é muito importante. Observe aqui que, nessa regressão polinomial, não vamos dividir os dados em treinamento, treinamento e teste, o que vamos fazer. Vamos tentar obter o modelo mais adequado, usando apenas os dados inteiros como conjunto de dados de treinamento. Novamente, este é um exemplo muito simples. No futuro, quando passarmos para modelos mais avançados, faremos a divisão, dividiremos os dados em treinamento e teste aqui. Não vamos fazer isso. Vamos usar todos os dados para treinamento. Como vocês podem ver aqui, vou dizer, ok, X train, vamos ser iguais a X, e aqui vamos dizer Y underscore train. Seremos iguais a Y. Vamos executá-lo. E aqui está. É basicamente isso. Tudo bem. Está bem. E isso é tudo o que temos para esta seção. Vamos recapitular o que fizemos até agora. Portanto, nesta seção, podemos simplesmente visualizar os dados. Portanto, visualizamos os dados aqui usando o Seaborn, usando o gráfico de união, usando o gráfico linear. E percebemos que a linha reta será uma espécie de fracasso aqui. E é por isso que precisamos usar um modelo de regressão polinomial. Usamos também o gráfico conjunto em um minidesafio para representar o salário em relação aos anos de experiência. E também usamos o Pairplot para visualizar todos os dados em um único local. E também podemos criar nossos conjuntos de dados de treinamento aqui, como vocês podem ver. E estamos praticamente prontos com apenas o trem X e o trem Y para treinar nosso modelo. Na próxima seção, vou orientá-lo na primeira solução, que pressupõe uma suposição linear, e na seção seguinte. Vou mostrar a regressão polinomial, que é mais ou menos o melhor modelo que poderemos obter, e é isso. Espero que vocês tenham gostado desta palestra e nos vemos na próxima.