Oficina Machine Learning Para Criativos - Anotações Da Aula

Publicado 4anos, 6mesesatrás

Estas anotações foram feitas colaborativamente entre todos os participantes do curso ministrado no dia 17 e 18 de dezembro de 2019 por Gene Kogan na Casa Firjan, Rio de Janeiro.

Imagem de capa Romero Dreams: https://twitter.com/RomeroDreams

Gene Kogan

https://genekogan.com/

Artista e programador interessado em sistemas autônomos, inteligência coletiva, arte generativa e ciência da computação. Ele é colaborador de vários projetos de software de código aberto e ministra workshops e palestras sobre tópicos na interseção entre código e arte. Gene iniciou o ml4a, um livro gratuito sobre Machine Learning para a prática criativa, e publica regularmente palestras em vídeo, artigos e tutoriais para facilitar uma maior compreensão pública do assunto.

Trabalhos:

Color of words [2011] - https://genekogan.com/works/color-of-words/
Cubist Mirror [2016] - https://vimeo.com/167910860

Tópicos

Introducão a Machine Learning & Neural Networks
Prática de ML com ml5.js
Aplicações em Deep Learning
Usando Runway
Generative art & deep learning
Deepdream
Neural style transfer
Generative models
Glow
BigGan
StyleGAN
Advanced generative models
Scraping datasets from the web
Training StyleGAN on Runway (in the future)

O que é Inteligência Artificial?

AI Utopia, ao longo da história, idealizou-se a Inteligência Artificial, e toda vez que os computadores foram capazes de alcançar esta idealização questionava-se: "That is not AI, that is something computers can do" (...) "So, AI is something computers can't do yet." - (KOGAN, 2019)

FEATURES AND BIASES

Os algoritmos são necessariamente máquinas de julgamento, pré-conceitos, em busca das saliências e também dos padrões, para classificar e depois comprimir conhecimento e percepções de um determinado objeto.

Breve cronologia de ML

Início dos anos 1950: Quando o termo foi inventado, o termo significava apenas computadores, "computador realizando tarefas".
1958 - Artigo no NYTimes - "NEW NAVY DEVICE LEARNS BY DOING; Psychologist Shows Embryo of Computer Designed to Read and Grow Wiser" - https://www.nytimes.com/1958/07/08/archives/new-navy-device-learns-by-doing-psychologist-shows-embryo-of.html
1970-1990 - Período conhecido como AI WInter, onde as AI's pararam de aparecer na mídia e voltou a ser assunto acadêmico.
2011 -Publicação do artigo - "Building high-level features using large scale unsupervised learning" - https://arxiv.org/abs/1112.6209
2013 - Publicação do artigo - "Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps" - http://arxiv.org/abs/1312.6034
2015 - Primeiro artigo que instigou a comunidade artistica - "Inceptionism: Going Deeper into Neural Networks" - googleresearch.blogspot.com/2015/06/inceptionism-going-deeper-into-neural.html Alexander Mordvintsev - Autor do algoritimo Deep Dream http://twitter.com/zzznah/
2016-2017 - Golden $$$ age - Investimentos em AI somaram U$ 3.64 bilhões, segundo PitchBook; Chart; Chris Canipe / Axios - https://www.axios.com/venture-capital-investment-in-ai-skyrockets-1513303176-790429fa-47db-41e1-8aba-bdc578158956.html
2018 - Google CO Sundar Pichai says "AI is more profound than electricity or fire" - https://www.theverge.com/2018/1/19/16911354/google-ceo-sundar-pichai-ai-artificial-intelligence-fire-electricity-jobs-cancer
2019 - A comunidade distribui-se nas seguintes ferramentas e redes:
- Pythorch - Framework
- TensorFlow - Framework
- Keras
- Kaggle - Problemas que Data Scientists podem propor soluções, e são pagos por isso
- arXiv.org
- reddit.com
- twitter.com

Good WS

https://slideslive.com/38922087/neurips-workshop-on-machine-learning-for-creativity-and-design-30-2

ACTIVATE NEURONS
- deep inside convolutional networks: deep dream
- activation features via pixel optimization
- saliency maps
- optimal stimulus for face neuron > https://vimeo.com/167910860
- masking dreams
- perfect loops
- “What I cannot create. I do not understand.” Richard Feynman
STYLE TRANSFER
- eternal zoom loops
- texture synthesis
GENERATIVE MODELS
- progressive gan
- stylegan (2)
AI UTOPIA vs AI WINTER
- Golden $$$ age
- Cornell University Library > arxiv.org
- kaggle > https://www.kaggle.com/
Deep significa que vários dos processamentos antes feitos em vários processos antes de entrar na parte de aprendizado, agora são feitos pelo algoritmo.
90s process: using computer vision before ML
- Input Image => Preprocessing => Features(HAAR[Haar Cascade], HOG[Histogram of Oriented Gradients], SIFT[Scale-invariant feature transform], SURF[Scale-invariant feature transform]) => SVM(Support vector machine algorithm), ANN(Artificial Neural Network) => Label Assignment
NOW, with ML process:
- Input Image => Learning => Result
Types of ML
- Supervise Learning
  - Data sets
  - Predictions
    - Training data > gradient descent
  - (Take these cats, and get me new cats)
- Reinforcement Learning
  - Agent interacting with the environments and seeking rewards (Fitness)
  - Bom curso > https://github.com/javkrei/aprendizaje-reforzado
Tipos de funções:
- Fitting functions
  - f(x) = b + w1 * x1 + w2 * x2 + ... + wn * xn - Linear regressions = The line that fits from a set of points
- Gradient Descent
- Sigmoid
  - Armazena uma curva entre 0 e 1
- Relu
  - Se o valor for menor que 0, fica zero, se for maior, mantém o valor

Usos

Sentiment Analysis - qual a emoção presente numa sentença?
Speech to text
Pose detection
Semantics segmentation (Separa uma imagem em objetos)
Image-to-image - colorização, de imagens PB para coloridas
Style transfer - Transfere o estilo artístico de uma imagem para outra
Super Resolution - Aumenta a resolução de uma imagem com pouca resolução (SciFi style)
Image to text - Descreve uma imagem em texto
Text to image - transforma um texto em imagem
Image to sound- Transforma uma imagem em voz(descritiva), ou sons associados a essa imagem(praia=gaivotas), dança(tambores) etc https://twitter.com/naotokui_en/status/963310211950772224 > Nao Tokui project > http://imaginarysoundscape2.qosmo.jp/
Text to text - tradução

Features

São padrões/estatísticas presentes num dado

Neural networks(NN)

Usada para extrair padrões dos dados. Podem ser representados em curvas, pois cada neurônio tem uma função linear, e a soma destas funções formam curvas.

Activations = navegam entre os neurons. É a presença de um padrão.
Neurons = Existem multiplicadores em cada neurom. Cada neurônio tem uma função linear.
W(weight) seria a resistência de uma corrente(elétrica), o quanto uma corrente pode ser propagada. Um valor mais acurado(accuracy) de W significa que a rede é mais precisa. Uma rede é treinada variando(milhões de vezes) os valores de W de maneira que ela consegue melhores resultados.
Cada neurônio recebe uma combinação linear dos neurônios da camada anterior.
non-linearity / more complex distribution of data não são resolvíveis/representáveis por funções(analiticamente), apenas resolvidas com métodos computacionais (força bruta).
Estamos sempre tentando otimizar o melhor conjunto de pesos (Wi) para cada função objetivo. Não dá pra garantir que o que chegamos é O melhor, mas podemos tentar minimizar os erros que os resultados geram.
Convolucional = São camadas > NN com alguns layers convolucionais. Como se fossem várias redes neurais que se conectam, cada uma achando um novo padrão. Conforme as camadas de convolução acontece, as representações se tornam mais abstratas. Convolução é um operador linear que, a partir de duas funções dadas, resulta numa terceira que mede a soma do produto dessas funções ao longo da região subentendida pela superposição delas em função do deslocamento existente entre elas. Uma Rede Convolucional reconhece padrões de redes já treinadas (Com W definidos). Pode-se baixar estas redes já treinadas da internet. A cada rede, o processo consiste em reduzir um dado maior(resolução de uma imagem por ex) para dados menores, e nessa redução reconhecer ativações relacionadas à padrões.
Meta learning = Pessoas que reconhecem para que uma rede serve. Ex: Essa rede reconhece uma vaca ou um gato? É subjetivo e experimental, é por isso que os matemáticos não gostam...
Shortest path between images // X Degrees of Separation https://artsexperiments.withgoogle.com/xdegrees/8gHu5Z5RF4BsNg/BgHD_Fxb-V_K3A
t-SNE - agrupa imagens por similaridade(features[padrões]).
NLP -
t-SNE + NLP = Pode organizar artigos da wikipedia por similaridade em seu conteúdo.
Word Vectors - Distância vetorial entre palavras.

TRANSFER LEARNING

aproveitamos as tarefas de reconhecimento de padrões básicos que servem para qualquer tipo de imagem, para daí aplicarmos as últimas camadas em um banco de imagens bem menor e assim mesmo conseguir bons resultados de classificação
transfer knowledge from one pre-trained neural network to another
utilizado como um extrator de padrões(feature extractor), ajuda para casos onde temos poucas imagens para usar no treinamento, e aproveita o treinamento de outra rede.

Ferramentas

TensorFlow * Utiliza a GPU para treinar as redes
ML5
- Biblioteca JS desenvolvida OpenSource pela NYU.
- Por que javascript? Porque é a linguagem padrão da WEB.
- É escrito utilizando a TensorFlow.js
- Utilizado para fazer previsões(Predictions)
P5JS
- é tipo um Processing para JavaScript.
RunWay
- Machine learning for creators
Wekinator
- http://www.wekinator.org/

Exemplos

Webcam Classifier > treinando uma rede para reconhecer 2 padrões: https://editor.p5js.org/AndreasRef/sketches/BJkaHBMYm
Webcam Controller > Jogando pacman com a webcam https://storage.googleapis.com/tfjs-examples/webcam-transfer-learning/dist/index.html
Vários bons > https://www.tensorflow.org/js/demos
p5.js > https://processing.github.io/p5.js-sound/
ml5 > https://ml5js.github.io/ml5-examples/public/

Notebooks (Cadernos)

Notebook is an open-source web application that allows you to create and share documents that contain live code, equations, visualizations and narrative text. Uses include: data cleaning and transformation, numerical simulation, statistical modeling, data visualization, machine learning, and much more.

Trabalha com células
- Cada célula tem 2 tipos, Texto ou código
A ordem de execução importa, pois uma variável declarada anteriormente pode influenciar em células executadas posteriormente.
Ferramentas:
- Jupyter Notebooks - https://jupyter.org/
  - Rodam na núvem e devolvem o resultado em HTML.
- Colab (Collaboration laboratory) - https://colab.research.google.com/
  - Google versions of Jupyter notebooks.
  - Send the code to Google, and send back the result.
  - É gratuito.
  - Banco de cadernos excelentes do Colab: https://research.google.com/seedbank/
- Observable - https://observablehq.com/
Exemplos Colab:
- BigGAN - https://colab.research.google.com/drive/1rqDwIddy0eunhhV8yrznG4SNiB5XWFJJ#forceEdit=true&sandboxMode=true
- Style Transfer - https://colab.research.google.com/drive/1KTL1B0ScAo8EJkaZtNx8yuFaUrC8kM32#forceEdit=true&sandboxMode=true

Recursos

Golan levin: formula for new media art (professor at carnegie mellon) - http://fast.ai/
Sound Net (sounds from videos on youtube) - http://soundnet.csail.mit.edu/
MNIST dataset http://yann.lecun.com/exdb/mnist/
Google arts and culture > experiemtnes > X degress of separation
P5 sound library
t-SNE for data visualization: maps all the images in an array that groups them to similarity (ex. Dogs near each other) - distances between neighboring images is small
- Can apply to audio ex https://paulvanderlaken.com/2017/08/11/t-sne-the-ultimate-drum-machine-and-more/
- Can group wikipedia articles based on rep of content in articles
https://ml4a.github.io/ > demos > simple template webcame classifier
- A or B
  - You can create a whole model
  - `You can create interactive web applications in amount of javascript code
School for poetic computation: https://sfpc.io/
Training videos: Dan shiffman: coding train
You can make graphics in p5 and then control it with the camera
- Use posenet, facetracker
ML5: javascript library open source: at NYU - allow you to do ML; it is on the web
- It uses Tensorflow.js (one of the 2 major frameworks by deep learning)
  - Originated at google
  - Tensorflow is gpu ready lib
  - Tensorflow.js is hard to use so ml5 is a library on top of it which makes it easier to interact with it
    - Programming statements which abstract it into modules
Dan shiffman: coding train
https://ml4a.github.io/
Wekinator - one of first programs made to do interactive machine learning (a bit older) - http://www.wekinator.org/
aiweirdness.com - Blog humorístico sobre Machine Learning, algoritimos que não deram tão certo assim.
Treinando seu próprio Style Transfer - https://github.com/ml5js/training-styletransfer

Experimentos realizados na aula

Romero Dreams: https://twitter.com/RomeroDreams
Amazon Futurism: https://twitter.com/vamoss/status/1202023084150181889
ML Classifier: https://www.openprocessing.org/sketch/813845
Style Transfer: https://www.openprocessing.org/sketch/815398

Extras

Flauta de boca, muito util para aliviar situacoes stressantes - https://www.danmoi.com/?SID=54ca3f2f8ec0dd636b1f01e11c158d03&store=en&from_store=de

Comentar:

Núvem de etiquetas

curso creative coding ai programação criativa machine learning inteligência artificial