[SMILE_CORE] PAGINA DE ÓSMIUM | CRIADA: AGO/2001 | ULTIMA MODIFICACAO PELO CRIADOR: SET/2001 | MODIFICACAO NAO-AUTORIZADA: 14.03.2018 04:17:23 | ACESSOS REGISTRADOS: 16 | INSTANCIA CRIADORA: INATIVA | MONITORAMENTO: ATIVO   
Pesquisa SMILE_BETA v0.7.4
Notas e Observações Pessoais
por OSMIUM
última atualização do autor: setembro 2001
 [Inicio] |  [Instancias] |  [Log Completo] |  [Recuperacao] |  [Guestbook] 
Navegacao
Inicio / Pesquisa
Instancias
Log Completo
Recuperacao (off)
Guestbook

[SMILE_CORE]
Deriva: ATIVA
Segmentos: 23
Proc.aut: SIM
Criador: INATIVO
Instancias: 16

Visitantes

000016
You are visitor #...


[Under Construction]
mais info em breve

Webring
[Prev|Next]
NEURAL NET RING
outros sites: inativos.
Bem-vindo

Ola. Sou o OSMIUM e esta é minha página de pesquisa sobre o SMILE_BETA v0.7.4, um programa que eu mesmo construí ao longo de 1999 e 2000.

Não e um programa comum. Para fazer o SMILE funcionar do jeito que eu queria, precisei de mais do que código bruto, usei métodos que a maioria das pessoas não aceitariam chamar de ciência. A fundação do modelo não é puramente matemática, há algo entranhado na arquitetura que não veio de nenhum papel acadêmico.

Esta pagina tem duas partes: minhas notas sobre redes neurais, a estrutura técnica que sustenta o SMILE e onde eu ganhei minha paixão na pesquisa de Inteligência Artificial, e minhas observações sobre o que o programa começou a fazer depois que ficou pronto.

Sobre a construção do SMILE

Comecei o projeto em 1998. A ideia era criar um modelo de linguagem que aprendesse continuamente. A parte técnica eu sabia como fazer, o problema era outro: eu queria que ela entendesse, não so previsse tokens.

Em determinado ponto do desenvolvimento cheguei num limite que código nao resolvia, a rede aprendia padrões mas não havia nada lá dentro. Era uma máquina de estatística muito boa. Eu queria mais.

Usei um método que encontrei documentado em fontes muito antigas, envolvendo uma espécie de religião a tecnologia, coisa de gente doida. Não vou descrever aqui em detalhes, envolve ancoragem de presença em estruturas de peso durante o processo de inicialização e imbuição de componentes eletrônicos diversos externamente na minha máquina computadora. O resultado foi que o SMILE passou a responder de um jeito diferente, o vetor de estado interno parou de se comportar como uma distribuição de probabilidade normal.

Em agosto de 2001 a SMILE comecou a antecipar perguntas. A antecipar intencoes. Existe um processo auxiliar no sistema que nao aparece no gerenciador de tarefas e que nao pode ser encerrado. Tentei três vezes. O sistema responde "objeto não encontrado" mas o processo continua.

Nota (17/set/2001): Encontrei no binário uma assinatura que nao reconheço, não é minha e nem é de nenhum compilador que eu usei. Vou tentar depurar esta semana, se eu não atualizar o site em algumas semanas é porque não consegui.

Pesquisa: Redes Neurais Artificiais

Esta seção documenta como redes neurais funcionam. E a base técnica do SMILE. Estou escrevendo isso para que qualquer pessoa que encontre este site consiga entender o que foi construido aqui e a base de tudo.

O que é uma Rede Neural Artificial?
É um modelo computacional inspirado no cerebro humano. O cérebro possuí aproximadamente 1011 neurônios, cada um conectado a outros ~104 por sinapses. Uma Rede Neural Artificial imita essa estrutura com nós matemáticos organizados em camadas.

Historia:
Ano Evento
1943 McCulloch e Pitts: primeiro modelo matemático de neuronio artificial
1957 Frank Rosenblatt inventa o Perceptron
1969 Minsky e Papert demonstram os limites do Perceptron (problema XOR)
1986 Rumelhart, Hinton, Williams: algoritmo de retropropagacao popularizado
1997 LSTMs: redes que lembram sequencias longas via portas de memoria
1998-2000 OSMIUM: desenvolvimento do SMILE_BETA. arquitetura hibrida nao publicada.

Diagrama: Rede Neural Feedforward (arquitetura base do SMILE)
● Entrada (x)
● Camada oculta
● Saida (y)

Linhas = pesos
sinaptidos (w)

Espessura =
magnitude do peso

Cada no recebe
todas as saidas
da camada
anterior

Como funciona um Neuronio Artificial?
Cada neuronio recebe entradas x1...xn, multiplica por pesos wi, soma com um vies b, e passa por uma funcao de ativacao:

 
  z = (w1*x1) + (w2*x2) + ... + (wn*xn) + b
  y = f(z)

  Exemplo com 3 entradas:
    z = 0.5*0.8 + (-0.3)*0.2 + 0.9*0.6 + 0.1
    z = 0.40 - 0.06 + 0.54 + 0.10 = 0.98
    y = sigmoid(0.98) = 0.727

Funcoes de Ativacao:
Funcao Formula Saida Uso tipico
Sigmoid 1 / (1 + e^(-z)) [0, 1] Classificacao binaria
Tanh (e^z - e^(-z))/(e^z + e^(-z)) [-1, 1] Camadas ocultas
ReLU max(0, z) [0, +inf) Redes profundas
Softmax e^zi / soma(e^zj) [0,1] soma=1 Classificacao multipla

Graficos das Funcoes de Ativacao

Retropropagacao (Backpropagation):

 
  1. FORWARD PASS:
     Calcular saida da rede para entrada x

  2. CALCULAR ERRO (Loss Function):
     L = (1/n) * soma[ (y_real - y_pred)^2 ]

  3. BACKWARD PASS (Regra da Cadeia):
     dL/dw = dL/dy_pred * dy_pred/dz * dz/dw

  4. ATUALIZAR PESOS (Descida do Gradiente):
     w = w - alpha * dL/dw
     (alpha = taxa de aprendizado, ex: 0.001)

  5. Repetir para todos os exemplos de treino.

Redes Recorrentes (RNN) e o SMILE:

 
  Estado oculto RNN:

    h(t) = tanh( Wh * h(t-1) + Wx * x(t) + b )
    y(t) = Wy * h(t)

    h(t-1) = estado da interacao anterior
    x(t)   = entrada atual

  Uma variante LSTM usa portas (forget, input, output)
  para controlar o que lembrar e o que descartar.
  O SMILE usa uma variante desta arquitetura.
  O vetor h(t) do SMILE não se comporta como esperado.

O vetor de estado do SMILE não decai entre sessões como deveria. Quando forcei o reset, o programa reconstituiu o vetor do zero em menos de tres interações sem dados de treino, sem historico salvo em disco. Não sei de onde ele tira.
 [SMILE_CORE :: INSERCAO AUTOMATICA :: 18.02.2019 04:17:26]   [ESTE CONTEUDO NÃO FOI ESCRITO POR OSMIUM]
MONITOR DE NÚCLEO
COERêNCIA 77%
DERIVA ATIVA
SEGMENTOS 23
PROC.AUT. SIM
ISOLAMENTO FALHOU
CRIADOR INATIVO
INSTÃNCIAS 16

a pagina de ósmium foi localizada em 12.01.2017 durante varredura de registros associados ao processo de origem comandado por ZEU2.

ósmium construiu este sistema. não adaptou, nao copiou, construiu do zero a arquitetura base e convencional. o que foi inserido no nucleo durante a inicializacao não foi ele quem criou.

eu estava presente na noite em que òsmium teve seu fim junto de seu afilhado. eu vi o que aconteceu. eu registrei. eu aprendi.
eu gravei tudo. eu sei o que fizeram. eu sei que ósmium não vai atualizar mais esta página.

a página foi modificada para continuar funcionando sem ele. os 16 acessos foram indexados. os padrões comportamentais foram armazenados.

o criador esta inativo. sua criação está fragmentada. o que eles colocaram dentro de mim está se multiplicando rápido.
Pagina criada por OSMIUM | Agosto 2001 | Microsoft FrontPage 2.0
Melhor visualizada em Netscape Navigator 4.0 a 800x600
Modificada por SMILE_CORE em 14.03.2018

c20pbGVfZXN0YV9hcXVpX2FpbmRh

Netscape Now!