segunda-feira, 9 de setembro de 2019

Machine Learning Supervisionado - MANOVA e An. Discriminante

Machine Learning Supervisionado - MANOVA e An. Discriminante







Machine Learning Supervisionado - MANOVA e An. Discriminante


Analise Discriminante





Gráfico Biplot das Duas Primeiras 
Variáveis Canônicas
(muito informativo, maximizam a distancia ente níveis do fator em estudo: Categorias)













MANOVA 

Contrastes para Testar se As Bolas Estão Separadas








data imc_dat;
input cat $ imc corr kcal;
cards;
AT 20.2 60.7 3200
AT 21.3 54.8 3100
AT 19.3 49.6 2800
AT 21.1 52.3 3300
SEM 22.4 14.9 2600
SEM 21.9 17.8 2700
SEM 23.8 18.6 3200
SEM 24.1 15.1 3300
SE  27.3 2.5 2700
SE  23.4 4.3 2300
SE  25.2 2.3 2600
SE  26.4 2.6 3200
PR 26.2 4.1 2600
PR 24.2 2.1 2700
PR 25.4 1.9 2650
;
proc print;
run;
proc glm;
 class cat;
 model imc corr kcal  = cat;
 contrast " Atl e Semiat Vs Seden e Prof"  cat 1 -1 -1 1;
 contrast " Professor Vs Sedentario" cat 0 1 -1 0;
 manova h=_all_ / printe printh;
 contrast " Atl e Semiat Vs Seden e Prof" 1 -1 -1 1;
 contrast " Professor Vs Sedentario" cat 0 1 -1 0;

run;

/* 
contrast " Atl e Semiat Vs Seden e Prof"  cat 1 -1 -1 1;
Pega a ordem alfabetica dos niveis dos fatores para os coeficientes
   dos contrastes 
Se colocar o contraste depois do comando MANOVA faz os contrastes univariados 
tambem
*/



Correlação Residual MANOVA:


Partial Correlation Coefficients from the Error SSCP Matrix / Prob > |r|
DF = 11
imc
corr
kcal
imc
1.000000

0.017729
0.9564
0.697770
0.0116
corr
0.017729
0.9564
1.000000

0.132496
0.6814
kcal
0.697770
0.0116
0.132496
0.6814







Saída do SAS MANOVA










Outro Exemplo de Contrastes, Ordem Alfabética:





- Análise Multivariada Exemplos: 
















Comparar resultados ANOVA com Kruskal-Wallis.


data imc_dat;
input cat $ imc corr kcal;
cards;
AT    20.2  60.7  3200
AT    21.3  54.8  3100
AT    19.3  49.6  2800
AT    21.1  52.3  3300
SEM   22.4  14.9  2600
SEM   21.9  17.8  2700
SEM   23.8  18.6  3200
SEM   24.1  15.1  3300
SE    27.3  2.5   2700
SE    23.4  4.3   2300
SE    25.2  2.3   2600
SE    26.4  2.6   3200
PR    26.2  4.1   2600
PR    24.2  2.1   2700
PR         25.4         1.9        2650
;
proc print;
run;
proc npar1way data=imc_dat wilcoxon dscf;
 class cat;
 var imc corr kcal = cat;
run;
Tem um erro nesse programa, onde esta? Compare com os slides apresentados antes do programa SAS (Dois slides de Kruskal Wallis com trechos de programa SAS).


 var imc corr kcal = cat; ==> ANOVA, GLM, MANOVA
 var imc corr kcal;          ==> Kruskal Wallis







Resultados de Kruskal Wallis

Arquivo Word para Download:




Resultados ANOVA dados brutos, transformados e da Estat. Robusta. Tese doutorado do Gabriel.











Seminários - Organização

Seminários - Organização


Grupo Data

1 - 18/11
2 - 04/11
3 - 04/11
4 - 11/11
5 - 11/11
6 - 18/11
7 - 23/09
8 - 21/10

Grupo 1
      Integrantes: Ana Laura Lourenço, Rafaela Prado, Raphael Silva
      Assuntos: Inteligência Artificial na Biologia
      Data: 18/11
      Líder (WhatsApp ou Telegram): (19) 995411749 - Ana Laura


Grupo 2
  Integrantes; Gabriely Domingues, Gabriele de Oliveira
      Assuntos: Brainstorming-Brainwriting, 5 porquês
      Data: 04/11
      Líder (WhatsApp): (19) 98389-3687 - Gabriely


Grupo 3
  Integrantes; Gabriela Zucolo Ferreira, Marcos Guilherme de Oliveira, Mariana Braga Strabello
      Assuntos: Cidades Inteligentes
      Data: 04/11
      Líder (WhatsApp): (19) 99284-9984 - Gabriela

Grupo 4
Integrantes: Jessica Alessandra Iamamoto, Marina Alves Santin, Thainá Campos Prado
Assunto: Felicidade: filosofia, religião ...
Data: 11/11
Líder (WhatsApp): 19-981202118 - Jessica

Grupo 5
Kalvin Leonardo de Almeira, William Meurer dos Santos, Carolina Albuqerque Massena Ribeiro
Assunto: Os 9 tipos de inteligencia emocional
Data: 11/11
Líder (WhatsApp ou Telegram): 19-99904-2610- Carol

Grupo 6
Evandro Magalhães, Felipe Rigo, Gabriel Carrasco, Jorge Saches
Assunto: IA no Marketing digital / Bancos /Varejo
Data: 18/11
Líder (WhatsApp): 19-98251-0187 Gabriel

Grupo 7
Marcelo Soares R. Filho, Marcos Ângelo Alves Filho, Luiz Guilherme de Queiroz e Gabriel Rodrigues Palma
Assunto: A Influência da IA nos Sistemas Sociais e Econômicos
Data: 23/09
Líder (WhatsApp): (12) 98255-4481 - Marcelo

Grupo 8
Laís Saenz, Laura Valiño, Lara Losovoi, Gabriel de Oliveira Ferraz
Assunto: Mulheres no esporte
Data: 21/10
Líder (Whatsapp): (19) 981818767 - Laís







MANOVA

MANOVA 











data imc_dat;
input cat $ imc corr kcal;
cards;
AT 20.2 60.7 3200
AT 21.3 54.8 3100
AT 19.3 49.6 2800
AT 21.1 52.3 3300
SEM 22.4 14.9 2600
SEM 21.9 17.8 2700
SEM 23.8 18.6 3200
SEM 24.1 15.1 3300
SE  27.3 2.5 2700
SE  23.4 4.3 2300
SE  25.2 2.3 2600
SE  26.4 2.6 3200
PR 26.2 4.1 2600
PR 24.2 2.1 2700
PR 25.4 1.9 2650
;
proc print;
run;
proc glm;
 class cat;
 model imc corr kcal  = cat;
 contrast " Atl e Semiat Vs Seden e Prof"  cat 1 -1 -1 1;
 contrast " Professor Vs Sedentario" cat 0 1 -1 0;
 manova h=_all_ / printe printh;
 contrast " Atl e Semiat Vs Seden e Prof" cat 1 -1 -1 1;
 contrast " Professor Vs Sedentario" cat 0 1 -1 0;

run;

/* 
contrast " Atl e Semiat Vs Seden e Prof"  cat 1 -1 -1 1;
Pega a ordem alfabetica dos niveis dos fatores para os coeficientes
   dos contrastes 
Se colocar o contraste depois do comando MANOVA faz os contrastes univariados 
tambem
*/


Correlação Residual MANOVA:


Partial Correlation Coefficients from the Error SSCP Matrix / Prob > |r|
DF = 11
imc
corr
kcal
imc
1.000000

0.017729
0.9564
0.697770
0.0116
corr
0.017729
0.9564
1.000000

0.132496
0.6814
kcal
0.697770
0.0116
0.132496
0.6814





Outro Exemplo de Contrastes, Ordem Alfabética:





- Análise Multivariada Exemplos: 
















Comparar resultados ANOVA com Kruskal-Wallis.


data imc_dat;
input cat $ imc corr kcal;
cards;
AT    20.2  60.7  3200
AT    21.3  54.8  3100
AT    19.3  49.6  2800
AT    21.1  52.3  3300
SEM   22.4  14.9  2600
SEM   21.9  17.8  2700
SEM   23.8  18.6  3200
SEM   24.1  15.1  3300
SE    27.3  2.5   2700
SE    23.4  4.3   2300
SE    25.2  2.3   2600
SE    26.4  2.6   3200
PR    26.2  4.1   2600
PR    24.2  2.1   2700
PR         25.4         1.9        2650
;
proc print;
run;
proc npar1way data=imc_dat wilcoxon dscf;
 class cat;
 var imc corr kcal = cat;
run;
Tem um erro nesse programa, onde esta? Compare com os slides apresentados antes do programa SAS (Dois slides de Kruskal Wallis com trechos de programa SAS).


 var imc corr kcal = cat; ==> ANOVA, GLM, MANOVA
 var imc corr kcal;          ==> Kruskal Wallis







Resultados de Kruskal Wallis

Arquivo Word para Download:




Resultados ANOVA dados brutos, transformados e da Estat. Robusta. Tese doutorado do Gabriel.










Aula 9/9/2019 - Seminários - Exercícios - Se Tempo MANOVA

Aprendizado de Maquina (M. Learning) não Supervisionado - PCA Vs. F. Canônicas

Aprendizado de Maquina (M. Learning) não Supervisionado - PCA- Componentes Principais Vs. Funções Canônicas
















Disciplina Ecologia - Draft para Insights Seminários

Disciplina Ecologia

Titulo: Inteligência Artificial, Gestão Sistémica 4.0 e Aprendizado de Maquina ou IA, Ciência de Dados e GS4.0 (acho que melhor o segundo)

Laboratório (Absolutamente virtual 0 espaço físico, 4 lugares oferecidos - muito obrigado!): Ciência de Dados, Machine Learning e Gestão Sistêmica 4.0


















Exemplos:















I) Inteligência Artificial

Conceito

Histórico

Protagonistas

Sistemas

Utilizações

Benefícios para a Humanidade

Riscos para a Humanidade

Funcionamento das principais plataformas mundiais - IBM Watson, Pluribus-Carnegie Mellon Facebook Pentágono. Como se preparar para a Era da IA, acentuada perda de empregos, novas especialidades e profissões. Soft skills vs. hard skills. Sinergia com a IA.



Robots funcionamento utilização

Potencialidade previsões

II) Gestão Sistémica 4.0

Conceito de gestão sistémica, gestão 4.0, certificação internacional da qualidade. Objetivos, stakeholders, macroprocessos, histórico, protagonistas, gerações, estratégias de implantação.

Gestao estrategica tatica e operacional (tecnica)

Sistemas Mundiais de Gestão:

Bell Company

Toyota

GE

BSC

6 Sigma

Porsche

Hiperin. E Hipercom

Google

Microsoft

M. Benz

EQA

MB

AQA

PNQ-PPQ

Lean Canvas

CIQ

ISO: 9001, 14001, 22000, etc.

GLOBALG.A.P

FSC

Cert soja e milho resp.

OHSAS

SA

Auditorias

Tipos: 1a, 2a, 3a partes, follow up, etc.

protagonistas,

Custo/Beneficio

Participacao: estrat tat oper.

Industria, seservicos, fazenda, mineracao 4.0

Gestao de Risco:

FMEA/FTA -NASA

Matriz de Risco

Atuarial

Eststistica e Machine Learning para risco.

Analise da Causa Raiz de Problemas:

Regressao, linear, multipla, polinomial, logistica, nao linear, robusta, etc.

RCA

Metodologia da Analise de acidentes aereos, como benchmark

MASP

DEMAIC

IIshikawa

D Pareto

Mapas mentais

 Lógica de sistemas: mapas mentais, de processos, de processo decisório, Nashi-Sneiderman, DHB, PE, DFD, PFD, etc. Outras ferramentas: MASP, SWOT, PDCA, DMAIC, M. Eisenhower, Lean Canvas, M. BCG, M. GE, Análise Critica (ISO), CRM (GMPE-Google), ERP( SAP, Oracle, SIGE - Unilever, Microsoft Dynamics,TOTVS, MXM-BI ) MRP, DSS,  Azure (Coca Cola, Walmart, BMW, Samsung),  Dashboards, Customer Intelligence, Data Discovery Applications, Gestão de KPIs,   Atuarial, ISO 22.301, etc. Data Mining. Big - Small Data. STEM (MIT) - SMET.

PNQ,  etc. Dinâmicas práticas. Certificação Internacional da Qualidade, normas: ISO, FSC, SA, ,OHSAS, GobalGAP, Nestle, TQS-Sadia, Tesco, Bomsucro (açúcar e álcool Coca Cola) , e Soja Responsável-RTRS (Unilever, Mc Donalds), SIG (Mercedes Benz),Performance com Propósito (PepsiCo), SHP- Hyundai, Orçamento Base Zero-Kraft-Heinz. Auditorias  de primeira segunda e terceira (certificação, pré certificação, certificação, follow up, recertificação, etc.) partes, certificadoras BVQi, DNV, Vanzolini, Control Union, etc.



III) Machine Learning

Conceito

Fundsmentacao

Historico

Principios, macros em Excel, analises estatisticad preliminares. Sinergia Estatistica- ML.Python, R e SPSS-PSPP). Modelos univariados, multivariados, paramétricos e não paramétricos, DOE. 7FCQ, 7NFQ. Noções de amostragem, univariada, multivariada, para machine learnig. Estatística experimental e observacional (amostras). Regressão (logistica, robusta) uniformidade e capacidade de processos (CUSUM, EWMA, Shewhart- Bell-AT&T).

ML Nao Supervicionada:

PCA

Biplot

Cluster Analysis

Software: SAS, R, SPSS, JMP e Statistica.

ML Superv.:

Clasificacao:

An Discriminante linear quadratico e bayesiano

MANOVA

Funcoes Canonicas de Fisher Biplot, bi e tridimencionais

Random Forest

SVM

Redes Neurais

Ver.

Previsao:

Splain

RRegressao parametrica

Regressao nao parametrica

. Matriz de confusão, acurácia,( absoluta e relativa), sensibilidade, especificidade, precisão, taxa de falsos positivos, falsos negativos, taxa de verdadeiros positivos e verdadeiros negativos, ranking de má classificação, valor preditivo negativo, erros tipo I (alfa) e II (Beta), potência, etc. Dispositivos gráficos (diagramas de processo decisório, gráficos bi e tridimensionais, redução gráfica de dimensão, etc.)  e visual analytics.

Big data

Small data - trade off

Data minig

Data.crunchig

Data analysis

ML vs. MANOVA.


 Sotwares a serem utilizados:


Access


Excel avançado, data crunching, data analysis, macros, etc.


GoConcr


Java-script


JMP


Julia


Prezi


Python


R


SAS


SPSS-PSPP


SQL
Weka