Na maioria das linguagens de programação, o primeiro programa que você aprende a escrever é aquele que imprime "Olá mundo" na tela do computador. Como uma placa Arduino não tem tela/écran, em vez disso fazemos um LED piscar.
As placas Arduino são projetadas de forma a facilitar o piscar de um LED com o uso do pino digital número 13. Algumas placas (tal como a Diecimila e a LilyPad) até já vêm com o LED instalado. Na maioria das outras (tal como a Mini e a BT), há um resistor de 1 kohms no pino 13, o que lhe permite conectar o LED diretamente a ele. (Para conectar um LED a outro pino digital, deve-se usar um resistor externo.)
Os LEDs têm polaridade, isto é, eles apenas acendem se você orientar os seus terminais corretamente. O terminal mais longo é normalmente o positivo e que vai conectado ao pino 13. O terminal mais curto conecta-se ao GND; o bulbo do LED normalmente terá um pequeno chanfro achatado indicando esse terminal. Se o LED não acender, tente inverter os terminais (você não danificará o LED se ligá-lo invertido por curto período).

O código de exemplo é muito simples. Os créditos podem ser encontrados nos comentários.
/* LED piscante
* ------------
*
* liga e desliga um LED conectado a um pino digital
* em intervalos de 2 segundos. Idealmente usa-se o pino 13 da
* placa do Arduino porque ele já possui um resistor ligado a ele
*
* Criado em 1 de Junho 2005
* copyleft 2005 DojoDave <http://www.0j0.org>
* http://arduino.berlios.de
*
* baseado no original de H. Barragan para a placa de e/s Wiring
*/
int ledPin = 13; // LED conectado ao pino digital 13
void setup()
{
pinMode(ledPin, OUTPUT); // configura pino digital como saída
}
void loop()
{
digitalWrite(ledPin, HIGH); // liga o LED
delay(1000); // temporiza 1 segundo
digitalWrite(ledPin, LOW); // desliga o LED
delay(1000); // aguarda mais um segundo
}